Les archives numériques seront à la base de toutes nos analyses et de l’adaptation de notre approche théorique. Elles constitueront, pour la communauté scientifique, les premières données familiales en français et en LSF. A ce titre, ces archives auront une grande valeur patrimoniale. Le plan de collecte des données a été précisément conçu pour révéler la capacité unique humaine à utiliser des ressources multimodales dans des activités situées avec différents types de participants et à différentes échelles de temps, laissant ainsi présager de fructueuses comparaisons.
Méthode
Les méthodes ethnographiques préconisées sont inspirées du projet CELF (UCLA). Le Pr Tamar Kremer-Sadlik, ancien directeur de recherche du CELF, formera les équipes en charge au début du projet. Nous utiliserons l’interopérabilité des logiciels à notre disposition pour combiner annotations manuelles et semi-automatiques.
Coordinateurs
Christophe Parisse (Equipe 2, MoDyCo) est chargé de l’encadrement du WP 3 et veille au stockage des données sur ORTOLANG et à la compatibilité des logiciels. Les équipes 1 (française) et 3 (LSF) seront responsables de la collecte des données.
Action 3.1 : Collecte des données
Des familles de chaque groupe d’âge et de chaque population seront filmées chez elles, à deux reprises avec trois caméras, de la préparation du dîner au nettoyage. Les enfants seront recrutés dans deux groupes d’âge : (a) de 3 à 5 ans (années de maternelle) ; et (b) de 6 à 10 ans (années d’école primaire). Nous veillerons à équilibrer les effectifs entre garçons et filles. Chaque session sera complétée par un entretien avec les parents et les enfants, lorsque ce sera possible, et fera l’objet d’un rapport d’analyse.
Action 3.2 : Premier niveau d’annotation
Les données dans les familles utilisant le français ou la LSF seront codées de la même façon pour les valeurs suivantes : participation, utilisation du regard, thèmes, productions sonores, productions gestuelles. Les productions seront codées séparément selon qu’elles induisent du sens ou sont de simples actions.
Pour le français, la partie sens sera constituée d’une transcription orthographique de l’oral, tandis que pour la LSF, les données seront annotées par ID-glosses (Johnston, 2010). Toutes les références personnelles et temporelles, vocales ou signées (français ou LSF), seront annotées.
Le format des données de Dinlang est disponible ici et sera mis à jour au fur et à mesure de l’avancée du projet, qui lui-même pourra être ajustés en fonction des premiers résultats.
Action 3.3 : Annotation semi-automatique du geste et du signe
Nous développerons un système de notation systématique du geste et du signe s’appuyant sur une approche kinésiologique du geste (Boutet, 2010). Openpose et Openface seront utilisés pour aligner les données 3D avec le codage multimodal manuel, et automatiser les couplages / associations forme-fonction visuelle et dynamique. Cela nous permettra d’augmenter considérablement le nombre de gestes et de signes annotés et la validité de nos analyses statistiques.
Action 3.4 : Plate-forme multimodale
Grâce à l’interopérabilité des logiciels utilisés, nous enregistrerons les composantes multimodales des formes cibles et les coupleront avec leur fonction. Nous créerons un dispositif multimodal permettant d’aligner temporellement toutes les caractéristiques des données articulatoires avec les données gestuelles et d’analyser l'(a)synchronie de la prosodie vocale et du geste (Dodane et al., 2019).