Jouer aux jeux de plateau est reconnu comme une manière efficace de promouvoir l’intégration et la sociabilisation des participants. Dans le cas des personnes aveugles et malvoyantes, il est également établi qu’une augmentation de leur autonomie par la pratique des jeux de société a des effets positifs sur leurs interactions sociales, leur qualité de vie et, en général, leur épanouissement personnel (da Rocha Tomé Filho et al. 2018). Cependant, pour favoriser une inclusion effective, il est important que les personnes aveugles et malvoyantes soient placées dans des conditions de jeu (avec des chances de gain similaires) avec d’autres personnes, quelles que soient leurs capacités visuelles.
Malheureusement, d’une part, la récente pandémie de Covid-19 a sévèrement limité les interactions sociales dans le monde « réel », ce qui complique l’accès à des situations de jeu physiques pour les personnes aveugles ou malvoyantes, par exemple, de manière tactile (pour une démonstration, voir l’exemple suivant de tournoi d’échecs impliquant des non-voyants : https://www.youtube.com/watch?v=pT8vZZS7hZo).
D’autre part, la récente pandémie de Covid-19 a considérablement accru les interactions en ligne via Internet. Mais, ce type d’interaction présente généralement de graves problèmes d’accessibilité pour les personnes aveugles et malvoyantes, puisqu’étant principalement basé sur un retour visuel, qui n’est pas toujours remplacé par des informations textuelles/audio plus facilement accessibles. Bien que certains dispositifs existent pour accroître l’accessibilité à ces catégories de personnes de certains jeux numériques (voir, par exemple, Morelli, Folmer 2014) et en particulier de quelques jeux de société en ligne, leur possibilité de jouer de manière autonome à des jeux de société en ligne demeure limitée. Ce problème est particulièrement pertinent pour les jeux de société moins connus ou récemment développés.
Dans ce contexte, l’objectif du projet est de développer une interface capable d’augmenter l’accessibilité des jeux de société en ligne aux personnes aveugles et malvoyantes, en formant une couche intermédiaire entre les lecteurs d’écran existants (principalement axés sur l’accessibilité du contenu textuel) et les jeux de société en ligne, via la reconnaissance et le marquage automatiques de leurs éléments visuels.
Les principales méthodologies adoptées dans le projet pour résoudre les problèmes listés sont la programmation informatique avancée et le Machine Learning :
1) Des « primitives logicielles » appropriées sont appliquées pour identifier en temps réel la position actuelle du pointeur sur un écran normal ou de la main sur un écran tactile. Des solutions possibles basées sur des capteurs qui ne nécessitent pas de contact direct avec l’écran (par exemple, Leap Motion), sont également envisagées. Si les touches fléchées sont utilisées, une interface appropriée est développée pour mapper la pression des touches sur le mouvement sur le tableau ;
2) La segmentation d’image (voir, par exemple, Abdelsamea, Gnecco, Gaber 2015) est utilisée pour isoler une partie de l’écran dans un voisinage approprié de la position actuelle du pointeur/main sur l’écran ;
3) L’image ci-dessus est fournie en entrée à un classificateur multi-classes, qui détermine sa catégorie. En fonction de la qualité de la sortie de la phase de segmentation d’image, le classificateur peut soit appliquer une banque de filtres adaptés (chaque filtre étant adapté à la pièce spécifique à reconnaître, voir, par exemple, Giannakis, Tsatsanis 1990) en cas de image d’entrée « propre », ou l’une des techniques d’apprentissage automatique les plus sophistiquées (telles que les machines à vecteurs de support, les forêts aléatoires et les réseaux de neurones profonds, voir Goodfellow, Bengio, Courville 2016) en cas d’image d’entrée plus « bruyante » ;
4) Les commandes vocales fournies par l’utilisateur sont reconnues à l’aide, encore une fois, d’un classificateur multi-classes. Contrairement au classificateur ci-dessus, son entrée est une séquence sonore, et il y a plus de variabilité dans l’entrée au sein de chaque classe, appelant à l’utilisation de techniques d’apprentissage automatique plus avancées, basées sur des méthodes sophistiquées de statistiques et d’optimisation (voir, par exemple, Shalev -Shwartz, Ben David, 2014).
5) Des mouvements possibles sont suggérés pour la pièce sur laquelle le pointeur/la main est actuellement positionné, sur la base des règles du jeu spécifique.
Une personne aveugle ou malvoyante pourrait ainsi explorer l’écran d’une manière tout à fait naturelle, et obtenir des informations sur la situation de jeu en cours, par exemple, sur les positions des différentes pièces sur le tableau.
Porteur du projet
Giorgio Gnecco est actuellement professeur associé en recherche opérationnelle à l’IMT – School for Advanced Studies, Lucca (Italie). Il travaille dans l’unité de recherche Analysis of compleX Economic Systems (AXES), où il a été professeur assistant en recherche opérationnelle. De 2013 à 2017, il a été professeur assistant en systèmes de contrôle à l’IMT Lucca, dans l’unité de recherche Dynamical Systems, Control and Optimization (DYSCO). De 2016 à 2022, il a été directeur de l’unité de recherche locale de l’INdAM (Institut national de mathématiques avancées) à l’IMT – Lucca.