APOGESTE (acronyme de: attention portée aux gestes) est un projet scientifique qui a été retenu dans le cadre d'un appel d'offres 2007, lancé par l'ISCC du CNRS, projet qui réunit aujourd'hui plusieurs équipes scientifiques francophones ayant une expertise en matière d'actes langagiers, communication multimodale , psychologie et/ou sémiologie du geste, modélisation de mouvements, implémentation d'émotions au niveau des agents virtuels animés. Cette action est dirigée par Catherine Pelachaud , directrice de recherche au CNRS (TELECOM Paris Tech) .
La fonction pragmatique des gestes reste un domaine peu connu tant qu'on n'en sait pas davantage sur l'utilisation sémantique qu'en fait l'interlocuteur, et sur les informations visuelles qu'il récupère en amont. Nous suggérons que l'interprétation des gestes co-verbaux est liée à leur perception sélective , laquelle peut dépendre de critères comme la structure visuelle des gestes et l'attribution d'une pertinence communicative . Reste à se demander quels sont les types de gestes les plus regardés, pour quelle raison et avec quel résultat. On sait également que les ressources corporelles au service de la communication parlée évoluent chez l’enfant depuis la période pré-verbale jusqu’à l’âge adulte mais on ignore quel statut il leur accorde dans la communication. Dans un autre domaine, celui des agents dialogiques animés, on s'interroge sur l'impact attentionnel des expressions et gestes de l'agent , mais on sait encore peu de choses sur leur rôle dans les interactions.
Il s'agit donc d'évaluer la pertinence des signaux paraverbaux dans les processus d'argumentation, de compréhension et d'apprentissage chez l'adulte, mais aussi chez l'enfant, l'utilisateur d'agents conversationnels animés, etc . Plusieurs corps de données seront destinés à tester les aspects du geste co-verbal qui impactent sa visibilité et par suite, sa prise en charge dans la reconstruction du sens. Nous évaluerons non seulement le rôle des indices gestuels sur la compréhension , mais analyserons également comment s'effectue la prise d'informations visuelle censée activer des représentations. Nous tenterons de dépasser les hypothèses actuelles en caractérisant au plus fin les critères spatio-temporels et morphologiques des indices testés. L'étude explorera comment s'établissent les premières compétences de prise en charge perceptives et symboliques des gestes chez l'enfant avant de montrer comment ces dernières s'étendent et s'affinent chez l'adulte . A ces fins, des outils comme le suivi du regard , l'annotation de corpus, la modélisation de styles expressifs , nous permettront de préciser ce qu'il en est du point de vue des propriétés visuelles du signe , de l'attention qu'il suscite et de son déchiffrage . Nous montrerons que certains agents dialogiques peuvent ouvrir de nouvelles perspectives aux études visuo-gestuelles, par la possibilité de paramétrer finement les modulations expressives afin de tester les perceptions de l'utilisateur.
Du point de vue des théories de l'information, cette étude devrait caractériser le rôle des gestes dans la construction mutuelle du sens et dans la modification de l'attention. Sur le plan des applications, les technologies de communication multimodales concernées par les codes sensoriels et non verbaux, sollicitent les avancées les plus pragmatiques de la communication. Les retombées d'un tel projet intéressent également les sciences et technologies de l'éducation, la rhétorique de l'image, les situations de formation, la didactique des langues, la modélisation gestuelle, la formation aux techniques de communication et de négociation, la rationalisation des projets média et multimédia. Ce projet est enfin l'occasion d'initier un nouveau réseau interdisciplinaire et porteur d'une expertise sur les problématiques de l'attention allouée aux signes visuo-gestuels.
axe 1 - Perception du geste dans les interactions langagières, représentations et attributions sémantiques. Dominique Boutet (Structures Formelles du Langage, UMR 7023),Jean Caelen (Multicom LIG, UMR 5217) , Brigitte Meillon (LIG Multicom),Guy Barrier (PRCE , Dr SIC), le Pr Jacques Cosnier (chercheur émérite en éthologie des communications, ICAR) , Claire Maury Rouan (Parole et Langage, UMR 6057).
On ne compte plus les expériences menées pour tester les gestes en condition "visibilité vs non-visibilité du locuteur". Les travaux plus émergents cherchent à élucider avec d'autres procédures la coopération des informations visuelles et auditives dans le processus de compréhension. Qu'en est il , par exemple, si la même phrase est lue respectivement avec un geste référentiel, un geste emphatique ou sans geste ? Ces différences nous éclaireront sur la valeur sémantique des gestes, au-delà de leur fonction interactive, synchronique ou régulatrice qui nous intéresse moins ici. En combinant tests de rappel et suivi du regard, nous étudierons l'effet des gestes sur la compréhension , mais aussi la prise d'informations visuelle censée activer des représentations . En contrôlant les indices à tester, nous souhaitons éprouver l'effet attentionnel de paramètres comme la granularité digitale des gestes, leur caractère de traits distinctifs, leur niveau d'articulation, aspect analogique, localisation dans l'espace , complexité , etc
axe 2- Geste, développement de l'enfant et situation classe. responsables et équipe: Michèle Guidetti (Communication, Développement & Cognition); J.Marc Colletta (LIDILEM).
Les équipes toulousaine et grenobloise, déjà engagées dans un même projet financé en 2005 par l’ANR, se proposent d’explorer certains aspects méconnus de la mimo-gestualité enfantine. Aujourd’hui, on tient pour acquis que les ressources corporelles au service de la communication parlée évoluent chez l’enfant depuis la période pré-verbale jusqu’à l’âge adulte (Guidetti, 2003, 2005 ; Colletta, 2004). Pourtant, les travaux relatifs à la communication multimodale chez l’enfant demeurent encore très minoritaires, en comparaison avec les données dont on dispose chez l’adulte. Comment l’enfant utilise-t-il les gestes manuels et les mimiques faciales ? Comment ces signaux varient-ils dans leur forme et dans leur fonction ? Quel statut l’enfant leur accorde-t-il dans la communication ? Telles sont les questions que nous voulons traiter.
Le premier objectif (Michèle Guidetti) est d'étudier la variabilité gestuelle chez l'enfant. A l'aide de modèles de caractérisation qui émergeront de la réflexion interdisciplinaire , nous projetons de décrire les variabilités gestuelles en fonction du stade de développement et du contexte dialogique . Par exemple : un pointage est-il réalisé de la même façon à tous les âges et suivant la fonction qu'il exprime (e.g. assertif ou directif) ? Peut-on modéliser le pointage "moyen" afin d'observer les écarts en fonction de l'âge et de la fonction ? Dans quelle mesure les premiers gestes conventionnels préfigurent-ils les autres gestes qui apparaîtront ultérieurement ? De même nous analyserons cette variabilité en liaison avec celle du lexique et des compétences langagières plus globales. La base d'enregistrements dont nous disposons (infra) pourra être implémentée avec de nouvelles données, notamment celles recueillies dans le projet ANR « Multimodalité » .
Second objectif (Jean-Marc Colletta), comprendre comment l’enfant à l’école élémentaire se sert des ressources mimo-gestuelles au cours de la communication parlée, et analyser la saillance de ces ressources dans l’ensemble des informations qui circulent entre lui et son interlocuteur. Il semble qu’au fil de l’âge, l’enfant engagé dans des activités langagières complexes telle « raconter » ou « expliquer » se sert de plus en plus des ressources gestuelles dont les fonctions se spécialiseraient au gré des acquisitions langagières et cognitives (Colletta et Pellenq, 2005). Nous souhaitons préciser le tableau de cette évolution au cours des acquisitions langagières tardives , montrer quel statut l’enfant accorde à ces aspects de la communication parlée, et savoir si ce statut change avec l’âge.
axe 3 - Régulation gestuelle de l'attention et agents conversationnels animés Catherine Pelachaud ,Nicolas Chafai , Jean Caelen, Claire Maury-Rouan , Dominique Boutet , Guy Barrier , Jacques Cosnier, Brigitte Meillon , Anne Pellegrin-Mille .
Les agents conversationnels animés (ACA) sont des entités autonomes dotées de la capacité de communiquer verbalement et gestuellement . Ils sont de plus en plus utilisés dans les interfaces multimodales : sites web , agents pédagogiques, jeux vidéos, etc. Mais ces agents peuvent aussi être des outils puissants d’étude de la communication humaine. Ils permettent de visualiser des modèles (ex. synchronie multimodale) et de contrôler finement chaqueparamètre de leur comportement. Nous souhaitons donc montrer comment la visibilité impacte les effets cognitifs mais aussi le rôle de la modulation expressive sur les perceptions. (Pelachaud & al. 2006). Afin d'évaluer le potentiel communicatif des gestes, il convient de mesurer leur potentiel de visibilité. Nous utiliserons deux méthodes : eye tracking et story (re)telling. L'eye tracking permet de capturer la vision fovéale de l'interlocuteur. Le story (re)telling nous permet d'observer un ensemble de gestes mémorisés et reproduits par l'interlocuteur, perçus en vision fovéale ou périphérique. testés.
Laboratoire en Informatique et Communication (LINC , Paris VIII):
Le LINC (Paris VIII) travaille autour de deux axes conjoints, communication et technologie, orientés sur sur des modèles d'interaction centrés utilisateur . Les hypermédias adaptatifs et ACAs par exemple, sont abordés sur plusieurs fronts : analyse de comportements et d'interactions par annotation de vidéos illustrant la communication homme-homme ou homme-machine, annotation de des documents audio/vidéo/texte, communication avec un ACA , navigation adaptative sur le Web, etc. Participation à projets en cours: - projet IP-CALLAS : aspects fondamentaux des interfaces multimodales affectives dans le domaine spécifique des arts et des applications ludiques. - projet ANR MyBlog?-3D : modalités spécifiques de communication et rencontre dans un blog 3D -projet RIAM LABIO : développer des outils permettant aux personnes sourdes ou malentendantes de mieux communiquer avec les personnes entendantes -projet NoE-FP5 Humaine : établir les fondations pour des systèmes qui peuvent enregistrer, modéliser, et/ou influencer les états émotionnels et les états liés aux émotions des humains.
Laboratoire Cognition , communication et développement (Toulouse II):
Ce laboratoire consacre ses recherches à l’étude du développement de la cognition sociale chez l’enfant. Dans ce cadre, un axe de recherche est consacré à la multimodalité de la communication et du langage en particulier dans ses aspects pragmatiques. Le Laboratoire est devenu dans le cadre du contrat quadriennal 2007-2010 une des trois composantes de l’Unité de Recherche Octogone (EA n°4156). Il a obtenu depuis 2005 trois importants financements en provenance de l’ANR ainsi qu’un contrat européen. Deux des projets ANR portent sur l’analyse du développement non-verbal de la communication, en particulier dans ses aspects émotionnels et gestuels.
Laboratoire d’Informatique de Grenoble (LIG) , équipe MultiCom (UMR 5217):
L'équipe Multi_Com du LIG (Laboratoire d’Informatique de Grenoble) UMR 5217 , intervient dans la conception participative, l’évaluation ergonomique, les interfaces homme-machine innovantes utilisant le langage naturel, la vision, le tactile, les RFID. Elle fait partie du laboratoire LIG lui-même UMR du CNRS, université Joseph Fourier, INPG, INRIA et Université Pierre Mendès-France à Grenoble. Dans le domaine des agents conversationnels animés (projet ACE,RIAM) l'équipe a contribué à l’analyse de la gestuelle et à la modélisation de prototypes par la capture visuelle et le suivi du regard comme indice de pertinence de la valeur performative des gestes (gestes de prototypes ou d'acteurs en phase de modélisation) . Des méthodes spécifiques de pistage du regard et des déplacements attentionnels, ont également été déployées dans l'étude du comportement visuel de contrôleurs aériens (étude pour DSNA). Dans le domaine chirurgical l'équipe travaille sur deux projets TELEOS et DESTIN pour capturer et étudier le geste chirurgical en situation d'opération des os, afin de fournir des procédures et des outils pour rendre l'opération fiable, précise et minimaalement non-invasive. La méthode utilisée est d'annoter les gestes et de les analyser pour concevoir l'outil. Des aller-retour entre la conception et l'expérimentation in situ ont été faits.
Laboratoire Structures Formelles du Langage (UMR 7023)
Ses travaux se déclinent selon quatre axes thématiques , celui qui porte sur la langue des signes est plus spécialement impliqué dans APOGESTE. - Nos recherches se sont d'abord orientées sur la sémiogénèse des langues des signes. Un premier volet a consisté à rendre compte de la manière dont on passe des langues des signes primaires créées par des personnes sourdes sans contacts linguistiques avec des communautés de sourds, à des micro-langues pratiquées par un petit groupe de personnes sourdes, communautés constituées au hasard de rencontres. Pour que de telles communications soient possibles, nous postulons un ancrage perceptivo-pratique du langage mettant en oeuvre un processus d'iconicisation de l'expérience. Le second volet concerne la création (18ème siècle) d'établissements spécialisés regroupant des enfants sourds, ce qui a permis de faire passer la population sourde (en tant que communauté linguistique) de quelques centaines à plusieurs dizaines de milliers.
le Laboratoire de Linguistique et Didactique Langues Etrangères et Maternelles : Le LIDILEM allie recherche fondamentale et appliquée en linguistique et en didactique. Les travaux, pluridisciplinaires, reposent sur l'observation des usages langagiers de populations diverses, travaux articulés autour de quatre axes: 1- phénomènes linguistiques en syntaxe, sémantique et pragmatique : recherches descriptives en linguistique française, mais aussi d'autres langues (y compris gestuelles), appuyées sur l' analyse de données linguistiques issues de corpus écrits ou oraux. Axe 2. Apprentissage et développement langagiers . Axe 3. Didactique des langues et technologies de l information et de la communication:interrelation entre les systèmes d information et de communication et l' apprentissage des langues. Axe 4. Sociolinguistique, plurilinguismes et didactique des langues . Il s'agit de recherches qui mettent l' accent sur la description des pratiques langagières dans un contexte donné (pays, région, communauté, famille, réseau ) ainsi que sur les représentations et les aspects identitaires exprimés par les locuteurs des langues concernées.
La réunion fondatrice a permis aux partenaires de se constituer en Groupe de Travail. Le GT Apogeste, soutenu par l'ISCC du CNRS , permettra d'impulser un réseau d'expertise autour des aspects pragmatiques de la réception du geste humain ('geste' étant considéré au sens générique et intégrant l'ensemble des indices corporels, émotionnels, infléchissant les processus de communication . La recherche des partenariats scientifiques et industriels les plus pertinents fait partie de cette dynamique, une fois précisées les modalités de ces collaborations. Les partenaires ont convenu que chaque rencontre devrait permettre non seulement de rendre compte des avancées dans chaque axe mais aussi de concrétiser la mutualisation autour de la thématique générale.
Une première séance d'étude les 22 et 23 mai 2008 à Paris a permis aux membres de l'équipe de faire les point des travaux en cours avec un ancrage spécifique sur les méthodes d'annotation gestuelle dans l'analyse des données multimodales .
Programme de ces journées et archives des communications en ligne:
Jeudi 22 mai 2008 - 14h Un exemple de corpus multimodal : une base de données de gestes conventionnels chez le jeune enfant, discussion autour de quelques pistes d'analyse", Michele Guidetti
http://docs.google.com/Presentation?docid=ddf2gxs4_198c6ff4sxx&hl=en
14h45 L’annotation gestuelle au service de l’étude du développement du langage : des objectifs aux options méthodologiques, Jean-Marc Colletta http://docs.google.com/Presentation?docid=ddf2gxs4_70f7d88cgr
15h30 Le CID: un corpus multimodal en construction, Gaëlle Ferré http://docs.google.com/EmbedSlideshow?docid=ddf2gxs4_0ccx36szw
16h30 Corpus vidéo pour l'étude de l'expression et de la perception multimodale des émotions Jean-Claude Martin http://docs.google.com/Presentation?docid=ddf2gxs4_170c89x35qv&hl=en
17h15 Gestes chirurgicaux : vers un lexique sémantique, Jean Caelen http://docs.google.com/Doc?id=ddf2gxs4_802mvz8gfk
23 mai 2008 - 9h30 Amplitude et intensité expressive, focus sur la gestuelle des politiques, Guy Barrier http://docs.google.com/View?docid=ddf2gxs4_160cpj6v9gz
10h15 L'attention portée au geste : quand ça cafouille ... Marion Tellier, Claire Maury-Rouan http://docs.google.com/Presentation?docid=ddf2gxs4_143ftsbd3fp&hl=en
11h30 Premiers résultats d'une base de données du lexique de la LSF : physiologie et structuration formelles des signes , Dominique Boutet http://docs.google.com/Presentation?docid=ddf2gxs4_87fbrch4gt&hl=en
12h15 La structure sémantique des gestes, Geneviève Calbris
14 h Représentation des caractéristiques gestuelles pour un agent conversationnel animé Catherine Pelachaud http://docs.google.com/Presentation?docid=ddf2gxs4_57d3jh9scn&hl=en
Secondes journées d'étude APOGESTE les 22-23 janvier 2009 à Grenoble : l'apport du pistage oculaire dans l'analyse gestuelle
Les secondes journées d’étude Apogeste ont eu lieu sur le site de MultiCom les 22 et 23 janvier 09, présentées par Jean Caelen, Anne Pellegrin et Brigitte Meillon . Elles ont permis de dresser un état de l’art des techniques oculométriques puis de mettre le projecteur sur l’application de ces techniques en SHS, en ergonomie (cf. les études menées par Multicom dans le domaine de la gestion de l’attention en contrôle aérien ou bien lors de gestes chirurgicaux . Ces présentations d’expérimentations ont fortement suscité l’intérêt des chercheurs qui ont envisagé à la suite des perspectives d’études novatrices assistées par eye tracking au sein du réseau Apogeste. Entre autres a été discuté l’apport que constituerait cet outil de mesure pour analyser les ancrages du regard en langue des signes . A cet égard les participants ont été spécialement intéressés par les applications offertes par le matériel Mobile Eye ASL en situation embarquée .
Ci-dessus, Jean Caelen présente une table interactive structurée par un réseau d’antennes RFID (1600 points) qui permettent de rendre compte des déplacements d’objets sur l’espace de travail , en tenant compte par exemple de leur superposition, des stratégies de mouvements et des réactions à ces stratégies (la table accueille plusieurs partenaires ). Il est intéressant de connaître également les délais de réponse et d’interactions entre objets et utilisateurs d’objets manipulés…. L’historique de ces déplacements est analysable selon une multitude de paramètres par la composante logicielle . Cette application au service de travaux collaboratifs, tests expérimentaux, s’inscrit dans le projet GAUFRE développé par MultiCom, l'une des composantes du réseau Apogeste.
Quelques articles relatifs à l'exploitation des données recueillies par oculométrie :
http://www.cis.rit.edu/vpl/publications/SPIE_2000_hvei.pdf
http://multicom.imag.fr/recherche/IMG/pdf/EPIQUE2007.pdf.
http://www.eyethink.org/publications_assets/EyeTrackingEBBE.pdf
http://www.bioing.units.it/GIMO/pdf/eye_tracking.pdf
http://www.techfak.uni-bielefeld.de/ags/wbski/gw2001book/draftpapers/GullbergHolmqvist_26.pdf
Bilan d’activités scientifiques du projet APOGESTE
Axe 1 : Langage et Communication
Titre du projet : L'attention portée aux gestes dans la communication multimodale : visibilité, déchiffrage et utilités pragmatiques Laboratoire porteur : Université de Paris8 Nom et fonction du porteur de projet : Catherine Pelachaud, Pr Partenaires : Jean Caelen, Guy Barrier, Laboratoire Informatique de Grenoble Michèle Guidetti, Université Toulouse Mirail Jean-Marc Colletta, Université Grenoble Mendes France Dominique Boutet, Université Paris 8 Claire Maury-Rouan, Marion Tellier , Université Provence Jacques Cosnier, Université Lyon 2 Fabienne Martin-Juchat , Université Université Stendhal - Grenoble3
Rappel des objectifs du projet
- évaluer la pertinence des signaux non verbaux dans les processus d’argumentation, de compréhension, d’apprentissage chez l'adulte, l'enfant, l'interlocuteur des agents conversationnels animés, - identifier les propriétés physiques et indicielles des gestes entraînant ou non une modification de l'attention visuelle: morphologie, mouvement, localisation, traits différentiels. Domaines concernés : psychologie des interactions et développementale, sciences du langage, modélisation d'Agent Conversationnel Animé, ergonomie des interfaces .
Articles dans des revues à comité de lecture
Colletta, J.M., Pellenq, C., Guidetti, M. (accepté avec modifications). Age related changes in co-speech gestures and narratives: evidence from French children and adults. Speech Communication.
Guidetti, M., Nicoladis, E. (2008). Introduction to special issue: gestures and communicative development. First Language, 28(2), 107-115.
Tellier (M.) (2008) The effect of gestures on second language memorisation by young children. In Gullberg, M., & de Bot, K. (Eds.) Special issue Gestures in language development. Gesture, 8(2), pp. 219-235.
Tellier (M.) (2008) Dire avec des gestes. In Chnane-Davin, F. & Cuq, J.P. (Eds) Du discours de l’enseignant aux pratiques de l’apprenant en classe de français langue étrangère, seconde et maternelle. Le Français dans le monde, recherche et application, 4, 40-50.
N. Ech Chafai, C. Pelachaud, D. Pele, A case study of gesture expressivity breaks , Language Resources and Evaluation, special issue on ``Multimodal Corpora For Modelling Human Multimodal Behavior'', Eds J.-C. Martin, P. Paggio, P. Kuhnlein, R. Stiefelhagen, F. Pianesi, 2008.
Boutet, D., Fusellier-Souza, I., Sallandre,M-A., Gestualité humaine et langues des signes : entre continuum et variations, in Langage et Société Garcia., B. & Deryck, M., 2010
Boutet, D., Cuxac, C., Introduction in Cahiers de linguistique analogique, n°5, Le signifiant gestuel : langues des signes et gestualité coverbale, Boutet, D. & Cuxac, C. eds, Dijon, (2008)
Boutet, D., Garcia, B. à paraître, « Compositionnalité morpho-phonétique de la Langue des Signes Française (LSF) et exploration des relations structurales entre paramètres », revue TAL.
Boutet, D., Une morphologie de la gestualité : structuration articulaire in Cahiers de linguistique analogique, n°5, Le signifiant gestuel : langues des signes et gestualité coverbale, Boutet, D. & Cuxac, C. eds, Dijon, (2008).
Conférences sur invitation
Barrier, G. (2009 ) La place du corps virtuel et des avatars conversationnels en eLearning. Conférence internationale eLearning Africa 2009 Dakar, 27-29 mai 09.
Guidetti, M. (2007). Children gesture before beginning to talk: some issues for developmental pragmatics. Post-Graduation Program of Psychology of the Psychology Institute de l’Universidade Federal do Rio Grande do Sul. Porto Alegre, Brésil, 2 avril.
Guidetti, M. (2008). Gestures and pragmatic development in the preschool years. Gesture seminar. MPI, Nijmegen, 3 juin.
Guidetti, M. (2009a). Early pragmatic development : how young French children combine gestures and speech to agree and refuse. Workshop on Pragmatic Development. Lyon, 22 avril.
Guidetti, M. (2009b). Formes et fonctions du pointage chez l’enfant. Colloque International Du geste au signe : le pointage dans les langues orales et signées. Lille, 4-5 juin.
Guidetti, M. (2009c). Comment l’émergence d’un système de communication donne forme à la pensée du jeune enfant. Congrès International, Psychologie du développement, culture et sémiotique. Lausanne, 9-12 décembre.
Guidetti, M., Dessalles, J.L. (2008). Quelles contraintes pragmatiques pour le langage et la communication ? Colloque International Langage et Cognition. Paris, 1-2 octobre.
Communication avec actes dans des congrès internationaux
A.M. Pez, C. Pelachaud, Zhenbo Li, P. Horain. Creating a library of gestures with variants, Gesture Workshop 2009, Bielefeld, February 2009.
M. Mancini, C. Pelachaud. Distinctiveness in multimodal behaviors. Seventh International Joint Conference on Autonomous Agents and Multi-Agent Systems, AAMAS'08, Estoril Portugal, 8 pages, Mai 2008.
Guidetti, M., Grandaty, M. & Falbat-Gastal, C. (2007). Gestures and speech in the preschool years : a multimodal and pragmatic approach. 3rd International Conference of the International Society of Gesture Studies. Evanston, juin, p.13.
Guidetti, M., Nicoladis, E. (2008). The origins and functions of infants’ gestures : a harbinger of linguistic development. Symposium, XIth International Congress for the Study of Child Language (IASCL). Edinburgh, août, p.140-142.
S. Kubicki, S. Lepreux, Y. Lebrun, Ph. Dos Santos, C. Kolski, J. Caelen. New Human-Computer Interactions Using Tangible Objects: Application on a Digital Tabletop with RFID Technology. HCI International, San Diego, juillet 2009
A. Pellegrin, J. Caelen, Picture viewing and picture description for environmental amenities, SWAET'09, Stavanger, mai 2009
Garcia, B., Fusellier-Souza, I., Sallandre, M-A., Boutet, D., L'huillier, M-T., Courtin, C., Balvet. A., The CREAGEST Project (ANR): Linguistic and methodological issues involved in crating a corpus of French Sign Language (LSF) and natural gesture, in Sign Language Corpora: Linguitic Issues Workshop, London UCL, July, 24-25th 2009
Communication avec actes dans des congrès nationaux
Fibigerova, K., Guidetti, M., Sulova, L. (2009). Effet de la Culture et de la Langue sur le Développement de la Gestualité Coverbale : Une comparaison entre locuteurs tchèques et français d'âge différent. Congrès National de la Société Française de Psychologie. Toulouse, 17-19 juin.
S Baillaud, J. Caelen. La traçabilité d'une interface tangible, à l'aide d'une base de données spatio-temporelle. Interactions, Contextes et Traces: Modèles, Méthodes et Applications exploitant les traces d'activités (ICT 2009), Caen, Mars 2009, 12p.
J. Caelen, A. Pellegrin, Analyse cognitive des aménités environnementales, Congrès EPIQUE'2009, Nice, septembre 2009, 8p.
F. Jambon, B. Meillon, C. Perrot, J. Caelen, M. Harshé, Création d'une plate-forme d'utilisabilité/usage : objectifs, réalisation, usages et retours d'expérience. Colloque IHM'09, Grenoble, 2009, 4p
Mancini, M., Niewiadomski, R., Bevacqua, E., Pelachaud, C. (2008). Greta: a SAIBA compliant ECA system. Workshop on Animated Conversational Agents (WACA'08). Paris, France.
Chapitres dans des ouvrages et édition de numéros spéciaux
Guidetti, M. (2007). L’émergence des compétences pragmatiques chez le jeune enfant : aspects gestuels et linguistiques. In : G. Chasseigne (ed). Cognition, santé et vie quotidienne. (pp. 149-168). Paris : Publibook.
Guidetti, M. (2008). Children gesture before they begin to talk : questions raised from an evolutionary perspective. In : S. Kern, F. Gayraud & E. Marsico (eds). Emergence of Linguistic Abilities. (pp. 30-42). Newcastle: Cambridge Scholars Publishing.
Guidetti, M. & Nicoladis, E. (eds)(2008). Gestures and communicative development. First Language, 28(2).
Barrier, G. (2008) La communication non verbale - comprendre les gestes: perception et signification. Paris: Editions Sociales Françaises.
Boutet, D., Cuxac, C., (2008) Coordination du numéro consacré à « Gestuelle co-verbale et langue des signes » de la revue Cahiers de Linguistique Analogique », ed C. Cuxac & D. Boutet.
Tellier (M.) (2009). « Usage pédagogique et perception de la multimodalité pour l’accès au sens en langue étrangère », in Bergeron (R.), Plessis-Belaire (G.), Lafontaine (L.) (Eds) La place des savoirs oraux dans le contexte scolaire d’aujourd’hui, Montréal : Presses Universitaires du Québec, 223-245. Tellier (M.) (2009) « The development of gesture » in De Bot (K.) & Schrauf (R.) (eds.) Language development over the life-span. London: Routledge Taylor and Francis, 191-216.
Tellier (M.) (2008) L’usage des gestes en langue étrangère : quel effet sur la compréhension auprès de jeunes enfants ? in Feuillet (J.) Les enjeux d’une sensibilisation très précoce aux langues étrangères en milieu institutionnel. CRINI – Université de Nantes
Organisation d’un congrès international
Guidetti, M. & Colletta, J.M. (2009). Multimodalité de la communication chez l’enfant : gestes, émotions, langage et cognition (Multimod 2009). Congrès International, Toulouse, 9-11 Juillet.
30/01/08 [ La langue des signes sur interface mobile : Les personnes ayant des problèmes de motricité pourront utiliser les appareils mobiles pour envoyer du texte. Ce, grâce à une interface reconnaissant un lexique simplifié et capable de le convertir en mots. lire la suite: http://www.atelier.fr/article.php?artid=35909
19/02/08 [ Soutenance . Maurizio Mancini a soutenu une thèse (Paris 8 -Sapienza università di Roma), dirigée par Catherine Pelachaud et Isabella Poggi sur le thème: Multimodal distinctive behavior for expressive embodied conversational agents.
29/03/08 [Wiksign est un nouveau dictionnaire collaboratif permettant notamment la recherche de signs spécifiques à travers plusieurs dictionnaires en LSF. http://www.wiksign.org/lsf/Accueil
02/04/08 [Deuxième appel d’offre interdisciplinaire de l'Institut des Sciences de la Communication du CNRS . http://www.iscc.cnrs.fr/spip.php?article69
17-19/09/08 [8e conference IEEE sur la reconnaissance faciale et gestuelle http://fg2008.nl
9-12/08 [Congres (Stuttgart) Processus d'abstration et concretude dans le geste http://www.linguistlist.org/issues/19/19-1566.html
25-27/02/09 Gesture in Embodied Communication and Human-Computer Interaction. 8e workshop international, Bielefeld université, Allemagne http://www.gw2009.de/
4-06/09 Du geste au signe. Le pointage dans les langues orales et signées. Symposium organisé par l’UMR « Savoirs, textes, langage » et l’Université de Lille 3. http://calenda.revues.org/nouvelle12521.html
9-11/07/09 Multimodalité de la communication chez l’enfant : gestes, émotions, langage et cognition Congrès international Multimod 2009, Toulouse http://w3.eccd.univ-tlse2.fr/multimod2009/ et sur le même thème:
Appel à proposition de contributions pour le numéro 42 de la revue LIDIL
Cette sélection comporte une liste de communications scientifiques proposées selon leur appartenance spécifique à notre thématique (liens vers articles plein texte ou résumé). Des textes éventuellement fondamentaux mais à visée plus générale peuvent donc ne pas y figurer
- The Role of Iconic Gestures in Speech Disambiguation: ERP Evidence http://jocn.mitpress.org/cgi/content/abstract/19/7/1175
- La visibilité des gestes : paramètres directionnels, intentionnalité du signe et attribution de pertinence http://www-leibniz.imag.fr/WACA/articles/Barrier-al-05.pdf
- Gestualité référentielle des entendants et LSF, des matrices communes http://w3.u-grenoble3.fr/lidilem/labo/file/23-1997-CIL2.pdf
- Are Listeners Paying Attention to the Hand Gestures of an Anthropomorphic Agent? An Evaluation Using a Gaze Tracking Method http://portal.acm.org/citation.cfm?id=647590.760550
- Sémiotique des gestes communicatifs http://icar.univ-lyon2.fr/membres/jcosnier/articles/II-10_Semiotique_des_gestes.pdf
- Synchronisation et copilotage de l'interaction conversationnelle. http://icar.univ-lyon2.fr/membres/jcosnier/articles/II-8_Synchronisation_interaction-.pdf
- Communication et langages gestuels http://icar.univ-lyon2.fr/membres/jcosnier/articles/II-3_Communications_et_lang.pdf
- Les gestes du dialogue http://icar.univ-lyon2.fr/membres/jcosnier/articles/II-9_Les_gestes_communication.pdf
- Les gestes de transmission d'itinéraires entre piétons http://icar.univ-lyon2.fr/membres/jcosnier/articles/II-13_Les_gestes_de_la_transmission.pdf
- Iconic gestures prime related concepts: An ERP study http://www.encyclopedia.com/doc/1P3-1276139531.html
- Effects of the Teacher’s multimodal communication over the Students’ memory http://gesture-lyon2005.ens-lsh.fr/IMG/ppt/MerolaTeacher2.ppt.
- Gesture: in modern language teaching and learning http://www.encyclopedia.com/doc/1G1-171927212.html
- Do You See What I'm Saying? The Role of Gestures in Learning http://www.brainconnection.com/topics/?main=fa/gestures
- Finalités et enjeux linguistiques d’une formalisation graphique de la Langue des Signes Française http://www.univ-rouen.fr/dyalang/glottopol/telecharger/numero_7/gpl7_02boutetgarcia.pdf
- De l’iconicité de l’image à l’iconicité des gestes http://www.arthist.lu.se/kultsem/sonesson/IconiciteAix2.html
- Intensive Gestures in French and their Multimodal Correlates http://aune.lpl.univ-aix.fr/~blache/papers/2007/Interspeech.pdf
- Modélisation du geste communicatif et réalisation d’un signeur virtuel de phrases en langue des signes française http://tel.ccsd.cnrs.fr/documents/archives0/00/00/33/32/index_fr.html
-The Role of Speech-Related Arm/Hand Gestures in Word Retrieval http://www.columbia.edu/~rmk7/PDF/K&H.pdf
- Communication par gestes, iconique et autres, multimodalité http://tel.ccsd.cnrs.fr/documents/archives0/00/00/33/32/index_fr.html
- Un exemple d'ambiguïté du geste co-verbal en communication homme-machine http://halshs.archives-ouvertes.fr/docs/00/13/97/85/PDF/07_AFLICO.pdf
- On the annotation of gestures in multimodal autistic behavior http://www.limsi.fr/Individu/martin/research/articles/grynszpan-martin-oudin-v11.pdf
- Panorama sur les techniques de vision pour l'analyse des gestes (animation scientifique) http://tim.irisa.fr/veille/vision-telecom/CD_VisionTelecom_CNRT_TIM/JE_VIALLET/COPIED~1.PPS
- Le CID - Corpus of Interactional Data- : protocoles, conventions, annotations http://aune.lpl.univ-aix.fr/~blache/papers/2007/TIPA.pdf
- Proceedings of GW2007 - 7th International Workshop on Gesture in Human-Computer Interaction and Simulation 2007 http://eprints.eemcs.utwente.nl/10393/01/proceedings%20posters%20gw2007_small.pdf
- La page personnelle d'Emiel Kramer: publications plein texte autour de l'impact visuel de la prosodie vocale et gestuelle http://foap.uvt.nl/
- Playing with Virtual Peers: Bootstrapping Contingent Discourse in Children with Autism http://www.soc.northwestern.edu/justine/publications/TartaroCassell_ICLS_2008.pdf
- Une série de communications à propos de la prosodie gestuelle et multimodale: http://www.uni-koeln.de/phil-fak/phonetik/Lehre/koVo/koVoAkt/08/5210/visual_prosody_papersLISTwith%20abstracts.doc
- Gesture - Second Language Acquistion and Classroom Research. Steven G. McCafferty?, Gale Stam . Lawrence Erlbaum Associates
- Gesture and the construction of mathematical meaning . Ferdinando Arzarello, Laurie Edwards. http://www.emis.de/proceedings/PME29/PME29ResearchForums/PME29RFArzarelloEdwards.pdf
- Effects of visibility between speaker and listener on gesture production: Some gestures are meant to be seen. Alibali, M. W., Heath, D. C., and Myers, H. J. (2001).http://www.ingentaconnect.com/content/ap/ml/2001/00000044/00000002/art02752;jsessionid=afab8bsfbcmt2.alice?format=print
- L’expression orale et gestuelle de la cohésion dans le discours de locuteurs 'langue 2' débutants Gullberg, M. (2006). http://aile.revues.org/document1714.html
- Visual Attention towards Gestures in Face-to-Face Interaction vs. on Screen . Gullberg, Holmqvist2 plein texte: http://www.techfak.uni-bielefeld.de/ags/wbski/gw2001book/draftpapers/GullbergHolmqvist_26.pdf
- Gesture Paves the Way for Language Development. J.Iverson & S. Goldin-Meadow. http://www.pitt.edu/~icl/publications/iverson%20&%20goldin-meadow%202005.pdf
- Stratégies d'utilisation de la direction du regard en situation de communication interpersonnelle enseignant-élève http://sticef.univ-lemans.fr/num/vol2007/12-farouk/sticef_2007_farouk_12p.pdf
- The Recognition and Comprehension of Hand Gestures - A Review and Research Agenda http://www.springerlink.com/content/x268286233l61761/
- Effects of different types of hand gestures in persuasive speech on receivers' evaluations http://www.informaworld.com/smpp/content~content=a794020318~db=all
- The Effect of Common Ground on How Speakers Use Gesture and Speech to Represent Size Information http://jls.sagepub.com/cgi/content/abstract/26/1/4
- Meaningful gestures: Electrophysiological indices of iconic gesture comprehension http://www3.interscience.wiley.com/journal/118691130/abstract
-Visible embodiment: Gestures as simulated action http://pbr.psychonomic-journals.org/content/15/3/495.refs
- On the perception of emotional (in)congruency in multimodal speech http://www.ifk.uni-bonn.de/forschung/abteilung-sprache-und-kommunikation/ikp-arbeitsberichte-neue-folge/ikpab-nf17.pdf
-Mouth/Hand Interaction in the Production of Prosodic Focus http://www.icp.inpg.fr/~dohen/face2face/Proceedings/SubmittedContributions/RoustanDohen.pdf
-Cross-modal perception of emotional speech http://www.icphs2007.de/conference/Papers/1482/1482.pdf
- Measuring and modeling audiovisual prosody for animated agents http://www.speech.kth.se/prod/publications/files/1286.pdf
- Etude du complexe relationnel geste – regard – oralisation chez des enfants autistes âgés de 12 à 36 mois par analyse de films familiaux http://www.cairn.info/resume.php?ID_ARTICLE=DEV_052_0105
-Système multivues pour l’analyse des gestes et du regard du bébé : application à la détection des troubles du langage http://www.robot.jussieu.fr/webadmin/files/2006ACTN594.pdf
- Coexpressivity of speech and gesture: Lessons for models for aligned speech and gesture production http://www.techfak.uni-bielefeld.de/~kbergman/download/BergmannKopp2007a.pdf
- Influence de la présence du locuteur dans un environnement multimédia d’apprentissage à distance http://hal.archives-ouvertes.fr/docs/00/16/14/93/PDF/17.pdf.
- Projet MYBLOG 3D « Renforcer la perception mutuelle des internautes communicant et partageant des objets au sein d’un espace 3D virtuel » https://picoforge.int-evry.fr/twiki/pub/Myblog3d/Web/WebHome/Myblog3D_revue_2008-03_Final.pdf
- Le pointage chez l'enfant: du gestuel au linguistique http://74.125.77.132/search?q=cache:7oIonWEo9-YJ:www.linguistiquefrancaise.org/10.1051/cmlf08170+Formes+et+fonctions+du+pointage+chez+l%E2%80%99enfant&cd=1&hl=fr&ct=clnk&gl=fr
- Gestes, mots et tours de parole chez des enfants atteints du syndrome de Williams ou du syndrome de Down http://www.cairn.info/article.php?ID_REVUE=ENF&ID_NUMPUBLIE=ENF_553&ID_ARTICLE=ENF_553_0251
- Usage pédagogique et perception de la multimodalité pour l'accès au sens en langue étrangère http://hal.archives-ouvertes.fr/docs/00/37/88/49/PDF/3535.pdf
-Dire avec des gestes http://hal.archives-ouvertes.fr/hal-00371029/en/
- Semantic priming between words and iconic gestures. http://www.psico.univ.trieste.it/~bernardi/BC07.pdf
- Behavioural and neurophysiological evidence of semantic interaction between iconic gestures and words http://www.psico.univ.trieste.it/~bernardi/BSC08.pdf
- Co-expressivity of speech and gesture: Manner of motion in Spanish, English, and Chinese http://mcneilllab.uchicago.edu/pdfs/susan_duncan/Duncan_MotionEvents_2001(06).pdf
- Le rôle des indices visuels dans la compréhension discursive en langue seconde http://docs.google.com/gview?a=v&q=cache:15GXqsGDuk0J:www.revue-texto.net/marges/marges/Documents%2520Site%25200/13_ml052003_kida_t/13_ml052003_kida_t.pdf+geste+embleme+difference+calbris+kendon&hl=fr&gl=fr&sig=AFQjCNHe_Kb1K6Y9Zp_Ve0ygA7ZrqBkB3g
- Parole et expression des émotions sur le visage d'humanoïdes virtuels http://hal.archives-ouvertes.fr/hal-00376537
- Analyse des productions multimodales d'enfants français âgés de dix sept à quarante et un mois en situation de jeu. http://hal.archives-ouvertes.fr/index.php?halsid=52j5bhbbak8ufgjv56eene4dh6&view_this_doc=halshs-00444386&version=1
- Regard et communication face-à-face entre un locuteur humain et un agent conversationnel animé. Attention mutuelle et monstration multimodale http://hal.archives-ouvertes.fr/index.php?halsid=c435c6np2p30754jdcjg02gtp0&view_this_doc=tel-00369479&version=1
- L'impact du geste pédagogique sur l'enseignement/apprentissage des langues étrangères : Etude sur des enfants de 5 ans http://hal.archives-ouvertes.fr/index.php?halsid=11valfe92gu6b8qf28mik24gg2&view_this_doc=tel-00371041&version=1
-Contribution à la description des gestes d'enseignement - Un cas d'analyse didactique comparée : les aides-éducateurs et les professeurs des écoles http://hal.archives-ouvertes.fr/index.php?halsid=pf1adqbsfdcsf89693cmlobjs6&view_this_doc=tel-00348725&version=1
- Le rôle des indices visuels dans la compréhension discursive en langue seconde http://hal.archives-ouvertes.fr/docs/00/13/23/73/PDF/1652.pdf
- Rôle cognitif et social des indices visibles dans la négociation du sens en situation de contact http://hal.archives-ouvertes.fr/index.php?halsid=n0fih2jol0010uph9p26heggu0&view_this_doc=hal-00134192&version=1
pages de quelques membres du projet:
catherine pelachaud: http://perso.telecom-paristech.fr/~pelachau/ jean caelen: http://www-clips.imag.fr/geod/User/jean.caelen/ jacques cosnier: http://icar.univ-lyon2.fr/membres/jcosnier/ claire maury-rouan: http://lpl-aix.fr/person/maury-rouan guy barrier : http://barrier.guy.free.fr