Tâche 3 : SONIFICATION DE L’ECRITURE

Responsable : J.-L. Velay (INCM) - Participants : LNC, LMA, LATP

Sous-tâche 3.1 : Quelles variables transformer en sons ?

Livrable: les variables décrivant au mieux l'écriture et leurs regroupement/association éventuels

L’écriture est une activité silencieuse, si on excepte le léger crissement du stylo qui n’informe que très marginalement sur la qualité du mouvement produit. La transformer en une activité bruyante peut paraître curieux en première analyse. En y réfléchissant mieux, justement parce que la modalité auditive est disponible pendant l’écriture et parce qu’elle est mieux à même de permettre la perception de différences fines au plan temporel et dynamique, utiliser des sons pour renseigner sur ce mouvement semble judicieux. Toutefois, il faut se poser d’emblée la question des règles d’association entre les variables pertinentes et les sons choisis. Si le seul but recherché était esthétique, il n’y aurait pas de règle stricte a priori. Mais puisque nous cherchons à informer sur la trace produite, nous avons une contrainte forte : celle de définir les variables sur lesquelles agir et comment agir avec un retour sonore. Comme nous choisissons (au moins dans un premier temps) de limiter le matériel à utiliser à une tablette graphique standard (type Wacom Intuos ou dispositif équivalent) nous abandonnons d’emblée l’idée d’utiliser celles qui ne sont pas fournies par une tablette (comme la pression de prise du stylo et l’EMG, ...). Nous utiliserons les variables disponibles qui sont de deux types :
1) Les variables de 1er niveau (ou primaires) qui sont fournies directement par la tablette : 2) Les variables de 2nd niveau (ou secondaires) qui doivent être calculées à partir des précédentes : Un «mélange» de toutes ces variables, avec une pondération appropriée pour chacune, soit pour moduler un son unique, soit pour produire un «accord» est envisageable.
L’objectif visé est l’association d’un geste «mélodieux», c’est-à-dire «lisse» au niveau cinématique et dynamique (peu de secousses, pics de vitesse et accélération, une pression adaptée, ...) à une information sonore mélodieuse. Il faut qu’une «belle» écriture soit associée à une «belle musique». Attention cependant : l’aspect motivant de cette «création musicale» ne doit pas détourner l’outil de son objectif initial qui n’est pas de composer de la musique mais d’écrire bien !
On partira des modélisations cinématique et dynamique de l’écriture qui ont déjà été proposées [DP09]. D’autres approches plus mathématiques sont envisageables pour discriminer ce qui diffère entre un bon et un mauvais scripteur dans cet ensemble de variables. Les mathématiciens du LATP associés à cette demande seront d’un grand apport de ce point de vue.
Au cours de cette première étape, la question des sons ne se posera pas : il s’agira de caractériser mathématiquement une bonne et une mauvaise écriture. De la même façon, les problèmes techniques d’interface avec la tablette graphique et ceux de gestion du feedback en temps réel n’ont pas à être abordés à ce stade. Nous travaillerons avec des données d’écriture déjà enregistrées chez des enfants normo-scripteurs et dysgraphiques. Nous disposons en effet, d’une banque de données riche de nombreux exemplaires d’écriture acquis depuis plusieurs années chez de nombreux enfants et adultes. Les variables retenues à la fin de cette étape doivent permettre de distinguer aisément les deux populations.
Le verrou portera sur la prise en compte simultanée des variables cinématiques (mouvement lisse) et des variables spatiales (bonne forme) et par conséquent sur l’étude de leur covariation.