5.4  Application à la musique : Music’Haptic

Dans cette partie, nous présentons Music’Haptic, un prototype d’application d’enseignement de la musique, via la découverte des notes et des accords. Le retour audio de la localisation relative sera évidement des notes de musique. Pour les points haptiques, nous allons avoir besoin d’une notation spatiale de l’information musicale.

Spatialisation de l’information musicale et apprentissage

La théorie de l’harmonie de Longuet-Higgins (Longuet-Higgins, 1962a;Longuet-Higgins, 1962b) propose l’utilisation d’un tableau de notes. La représentation de Longuet-Higgins a été un des premiers cadres théoriques permettant d’expliquer la perception et les traitements cognitifs mis en œuvre lors de l’écoute harmonique. La théorie de Longuet-Higgins (Longuet-Higgins, 1962a;Longuet-Higgins, 1962b) affirme que les intervalles qui interviennent dans la musique tonale occidentale sont ceux entre les notes dont la fréquence peut s’exprimer comme produit des trois facteurs principaux 2, 3, et 5 et aucun autre. Une fois assimilé cette assertion, il s’ensuit que l’ensemble constitué des intervalles de l’octave (8 tons), de la quinte juste (5 tons) et de la tierce majeure (3 tons) est le seul système de coordonnées capable de représenter une note quelconque de manière unique (selon un triplet de valeur suivant les trois axes). Ceci peut être représenté graphiquement en rangeant les notes dans une grille en trois dimensions, selon les tierces, les quintes et les octaves. Enfin, il est fréquent d’ oublier de noter l’octave, du fait de l’équivalence entre deux notes séparées par cet intervalle, afin de se concentrer sur les deux autres dimensions : les quintes justes sont alors sur un axe et les tierces majeures sont sur l’autre (figure 5.22).

Plus tard, (Steedman, 1972) a proposé une notation dérivée de celle de Longuet-Higgins et nous la détaillerons dans la prochaine section.

Figure 5.22 : Représentations de Longuet-Higgins (à gauche) et de Steedman (à droite)


La théorie de Longuet-Higgins a été très étudiée en psychologie cognitive de la musique (Howell et al., 1985) en tant que cadre pour expliquer comment s’effectuait la perception et le traitement de l’harmonie tonale. Plus tard, cette théorie a été appliquée pour développer de nouveaux outils éducatifs pour la musique. Par exemple, les travaux de Holland (Holland, 1987;Holland, 1992) sont basés sur la notation de Longuet-Higgins afin de produire des interfaces interactives dans lesquelles les notes, les intervalles, les accords, les cadences ou les modulations, peuvent être directement manipulées et visualisées, grâce à une métaphore spatiale.

L’ordinateur a beaucoup été utilisé pour l’apprentissage de la musique. Et comme résultante de la nature pluridisciplinaire du domaine, les approches employées peuvent être très différentes. On pourra se référer à (Brandao, 1999) pour une étude exhaustive des techniques employées.

Plusieurs contextes ont été employés dans ces tâches :

Pour autant, ces approches oublient souvent les utilisateurs ayant une déficience visuelle. L’accessibilité à la notation musicale pour les personnes non-voyantes, est généralement basée sur la transcription linéaire de la partition, en Braille. Les applications informatiques (Braille Music Editor, 2002) et (Toccata, 2002) fonctionnent de cette façon. Mais cela implique la connaissance préalable des notions musicale et harmoniques, ainsi que du Braille musical.

La représentation de Steedman

Comme nous venons de le voir, selon la théorie de Longuet-Higgins, tous les intervalles de la musique tonale peuvent être représentés comme une combinaison d’octave, de quinte juste et de tierce majeure.

Mark (Steedman, 1972) a proposé une autre notation, en décalant les lignes de l’espace, de manière à pouvoir intercaler les tierces mineures dans le plan. On se retrouve maintenant avec six voisins par notes, et donc, avec une représentation hexagonale (figure 5.23).

Figure 5.23 : La représentation de Steedman et ses trois axes harmoniques

Nous avons choisi cette notation, pour lui appliquer la localisation relative. En effet, par rapport à la notation de Longuet-Higgins, les voisins d’une note sont équidistants. Donc, la loi de (Fitts, 1954) nous donne un temps égal pour accéder à chacun de ces voisins. De plus, ces six notes voisines peuvent être considérées comme étant les notes les plus harmoniquement proches de la note centrale.


Par rapport à la représentation originale, nous avons procédé à une rotation de 90 degrés dans le sens direct, de manière à préserver la corrélation intuitive que l’on peut avoir entre la hauteur du son (sa fréquence), et la direction à l’écran : plus la position est haute sur l’écran, plus le son a une fréquence élevée.

Les principales caractéristiques de notre représentation (figure 5.24) sont :

  • l’axe vertical est constitué d’un empilement de quintes justes. Une des caractéristiques de cet intervalle se retrouve : en parcourant les notes sur cet axe, on passe successivement par toutes les notes, avant de reboucler au bout de 12 notes.
  • l’axe diagonal allant vers le haut à droite, est constitué des tierces majeures. De manière similaire à ce que l’on a pour les quintes justes, il y a un comportement cyclique, et on retombe sur la même note au bout de 3 notes.
  • l’autre axe diagonal contient les tierces mineures. Son cycle fait 4 notes de long.

Figure 5.24 : La représentation de Steedman, telle qu’elle est implé-mentée

La plus importante des caractéristiques de cette notation (et de celle de Longuet-Higgins) est la suivante : un accord est constitué de plusieurs notes jouées en même temps. Sur la représentation, on peut noter un accord en ne gardant que les notes jouées. Il se trouve qu’en notant les principaux accords de la musique occidentale, on trouve des formes spécifiques; qui plus est, ces formes ne varient pas avec la tonalité de l’accord. La figure 5.25) montre les accords que nous considérons. Il faut bien garder à l’esprit que ces formes (par exemple le triangle isocèle pointant vers la droite pour la quinte majeure) restent les mêmes quelle que soit la tonalité de l’accord.

Nous allons nous baser sur cette propriété pour créer un outil d’apprentissage des accords, pour un utilisateur non-voyant. En effet, après une phase d’apprentissage, l’utilisateur pourra reconnaître la nature d’un accord, d’après sa forme sur la notation.

Figure 5.25 : Les accord implémentés

Autre avantage de cette notation, surtout dans une tâche d’apprentissage : deux accords d’une même nature peuvent avoir deux formes différentes dans la notation musicale traditionnelle; on retrouvera quoi qu’il arrive la même forme spécifique dans la notation hexagonale. Sur la figure 5.26, le même accord de 7èmediminuée peut avoir deux formes différentes. Avec la notation de Steedman, cet accord est constitué de quatre hexagones alignés, quelle que soit la tonalité.

Figure 5.26 : Des formes différentes dans la notation musicale, pour le même accord de 7ème.

De plus, si deux accords semblent avoir la même forme dans la notation musicale traditionnelle, leurs natures peuvent être différentes. Par exemple, sur la figure 5.27, les deux accords se ressemblent. Pourtant, l’un est un accord de quinte majeure, et l’autre un accord de quinte mineure, qui est représenté dans la notation hexagonale par un triangle pointant à droite ou à gauche.

Figure 5.27 : La même forme dans la notation musicale, pour des accords différents : Quinte majeure à gauche, et quinte mineur à droite

Music’haptic : le prototype

D’un point de vue système, le fonctionnement de Music’haptic est schématisé sur la figure 5.28. Nous avons eu recours à des script CGI exécutés sur le serveur, afin de générer les document graphiques (la notation musicale traditionnelle, et les portions de SVG), demandés par les requêtes utilisateurs.

Figure 5.28 : Survol du système

Dans notre prototype, nous nous appuyons sur la représentation de Steedman afin de présenter les différents accords à l’utilisateur.

Deux modes sont disponibles :

  • le mode damier : dans ce mode, l’utilisateur peut librement explorer l’ensemble du damier d’hexagones. Chaque note est affichée avec un effet de retour de force, magnétisant le pointeur en son centre (figure 5.29). La note est jouée en même temps.
  • le mode accord : ici, l’utilisateur peut isoler un accord, et n’explorer que celui-ci. C’est grâce à ce mode, que l’utilisateur peut progressivement appréhender la forme spécifique à une nature d’accord.

Figure 5.29 : Une note et son retour de force

Le clavier permet de basculer entre les différents modes, ainsi que de choisir l’accord à explorer ou à étudier (quinte majeur, quinte augmentée, etc. voir la figure 5.25).

La dernière possibilité de ce prototype est la génération dynamique des accords sélectionnés, en notation musicale classique (sur une portée, en clé de sol). Ainsi, l’information musicale est disponible sous deux formes visuelles, dont une classique, et ce de manière à permettre l’apprentissage, le partage entre utilisateur de la souris et enseignant (voyant).

Figure 5.30 : Le retour de force sur l’affichage hexagonal, et la notation musicale, dynamiquement générée