La musique et les nouvelles technologies : une expérience unique avec les enfants
Lundi, 13 juillet 2020 : j’ai la chance de travailler avec les enfants du centre de loisir ACM de Saint-Jeannet. C’est dans le cadre du projet Rouvrir le monde, lancé par la Drac Provence-Alpes-Côte d'Azur, en partenariat avec le Parc naturel régional des Préalpes d’Azur et avec avec le soutien du CIRM que je fais une résidence afin de montrer aux enfants âgés de 3 à 11 ans quelques instruments électroniques que les artistes professionnels utilisent pour créer des sons et des images pour leur spectacle.
OBJECTIFS
Mon objectif est de sensibiliser les enfants au lien que leur corps établit avec l’espace et l’environnement à travers leur gestes physiques et leur perception visuelle et auditive.
Différents capteurs de mouvements sans fil sont installés afin de capter les mouvements des mains et des bras, et de les traduire en son et en image. Ainsi, l’enfant, via un jeu ludique et musical, interagit avec ce qu’il voit sur l’écran et ce qu’il entend des haut parleurs.
Dans la vidéo ci-dessous par exemple, la position du bras définit l’instrumentation d’un morceau de musique. Leap Motion qui est un dispositif de capture de mouvements des mains, reconnaît le geste des mains et des doigts.
Un logiciel reçoit les informations liées à la position de la main et les associe aux instruments utilisés dans dans un morceau de la musique. A l’instar d’un chef d’orchestre et avec ses gestes, l’enfant est capable de modifier la combinaison instrumentale du morceau. Ainsi il prête son attention à la couleur de chaque instrument et son rôle dans le morceau diffusé.
L’expérience varie en fonction de la tranche d’âge. S’agissant des enfants plus jeunes l’intéraction avec image s’établit plus rapidement qu’avec seulement le son. Afin que l’interaction soit plus efficace il faut programmer les capteurs de manière à ce que l’ouïe soit soutenue par la vue. Pour les enfants plus âgés le rapport entre le geste et la conséquence sonore s’établit à travers un processus plus cérébral, bien que l’intuition reste toujours un élément important à être pris en compte.
Techniquement parlant trois types de capteurs ont été utilisés :
1- Leapmotion qui reconnaît la morphologie de la main et capte ses mouvements
2- Bague, qui est portée sur le doigt et réagit à des mouvements latéraux (roulis), verticaux et des chocs pour faire des sons ou moduler un son.
3- RIot qui est connecté à l ordinateur via le réseau WiFi, et réagit, comme la bague, aux mouvements