Tâche 3 : SONIFICATION DE L’ECRITURE

Responsable : J.-L. Velay (LNC) - Participants : LNC, LMA, LATP

Objectif :

Sonoriser l’écriture pour faciliter le diagnostic et la rééducation de la dysgraphie et pour rendre son apprentissage plus aisé quand cela s’avère nécessaire.
Considérés du point de vue du lecteur, les problèmes d’une écriture non correcte se résument aux difficultés de lisibilité : la trace laissée sur le papier est non-conforme au standard attendu et donc difficile à déchiffrer. Considérée du point du scripteur, une écriture non correcte est aussi et surtout une écriture produite sans aisance, donc fastidieuse. Le plus souvent, les deux aspects sont associés mais pas systématiquement ; parfois, l’écriture est lisible mais trop lente et au prix d’efforts trop importants.

En pratique, même si la trace produite est comparable entre un normo-scripteur et un dysgraphique, la cinématique des mouvements est très différente : les mouvements sont plus lents, plus irréguliers, saccadés et le nombre de segments nécessaires pour écrire le même mot est en général plus important. L’analyse cinématique du tracé révèle un nombre de pics de vitesse et d’accélération plus important. L’écriture d’un dysgraphique est moins « lisse », moins « mélodieuse » que celle d’un normo-scripteur. En outre, les arrêts entre les segments augmentent aussi [RPW03]. Ces arrêts, que l’on a considéré à tort comme des « pauses » sont en fait de véritables mouvements «en l’air», qui sont plus importants chez les dysgraphiques [VL10]. Ces déplacements « en l’air » n’étaient pas mesurables jusqu’à maintenant mais, avec les outils informatiques, la situation change. De plus, grâce à ces mêmes outils, nous pouvons aujourd’hui mesurer la pression exercée par le stylo sur le papier. Les premiers résultats semblent indiquer qu’elle diffère chez les enfants dysgraphiques et normo-scripteurs [AA09].

Bilan à T0 + 18 mois

La tâche 3 constitue l’un des deux volets applicatifs du projet, à savoir la sonification de l’écriture manuscrite. Grâce à l’élaboration de sons de synthèse (Tâche 4) et de la plateforme de synthèse sonore (Tâche 6), nous disposons d’un panel de sons de synthèse qui peuvent rendre bruyante l’activité habituellement silencieuse de l’écriture.
L’objectif visé dans cette tâche est d’utiliser le son pour permettre au scripteur (ou à un évaluateur extérieur) d’accéder à des informations supplémentaires sur le geste d’écriture afin d’en améliorer son contrôle (ou son évaluation). Plus précisément, ces informations permettraient d’une part de mieux diagnostiquer la dysgraphie, définie comme le trouble du geste d’écriture, et d’autre part d’aider le scripteur dysgraphique à améliorer son geste grâce au retour sonore qu’il en aurait. Pour y parvenir, les deux premières étapes de cette tâche sont :

identifier les variables de l’écriture les plus pertinentes à la fois pour révéler la dysgraphie et pour être transformées en son, et
identifier les types de sons les plus optimaux à la fois d’un point de vue informationnel mais également émotionnel.

Pour valider ces deux étapes, nous avons effectué une expérience d’évaluation de la qualité de l’écriture manuscrite uniquement à partir de l’écoute de différents sons de synthèse qu’elle produisait (sans la voir). Cette expérience en cours de rédaction a révélé qu’en sonifiant certaines variables du geste d’écriture, nous sommes capables de détecter ‘à l’oreille’ l’écriture d’un enfant dysgraphique sans même savoir à quoi correspond ce que nous entendons (voir la rubrique Résultats pour quelques exemples d’écriture sonifiée). La troisième étape de la tâche 3 est de sonifier en temps réel le geste d’écriture. Cela permettrait au scripteur de mieux contrôler son geste grâce au retour sensoriel, au feedback qu’il percevrait pendant qu’il écrit.

La vidéo ci-dessous présente la sonification en temps réel de certaines variables de l’écriture d’un adulte. La sonification en temps-réel des autres variables est en cours.

Cette page présente quelques exemples de sonification de l'écriture.