RFI : Il est intéressant d’observer le coup de projecteur que l'IA permet sur des langues vernaculaires méconnues, voire en disparition. Cette mise en avant a été possible grâce à vos recherches chez Google. Comment avez-vous réussi ce rapprochement ?
Abdoulaye Diack : Je me dois de revenir sur comment l'histoire a commencé. En 2022, le responsable scientifique de Google AI, Jeff Dean, a annoncé l'initiative de traduire plus de 1 000 langues, celles les plus parlées au monde. Et on voulait faire ça grâce à l'IA.
Depuis plusieurs années, on travaille avec PaLM 2*, un modèle qui permet de traduire les langues les plus courantes, mais aussi celles en voie de disparition ou qui ont très peu de données sur internet.
Ce projet, mené également par le chercheur américain Isaac Caswell, associe depuis plusieurs années des communautés pour entraîner le modèle IA à obtenir des données de bonne qualité. Mais quand on explore l'internet aujourd'hui, plus de 40% des données sont en anglais, en français c’est moins de 4% et si on compte toutes les langues africaines, on arrive à moins de 1%. Beaucoup de langues sont parlées, mais pas forcément écrites.
C’est une spécificité pour certaines langues. Mais aussi un barrière ?
Oui, d'ailleurs, c'est ce qui a décidé l'écrivain guinéen Solomona Kanté, en 1949, à créer sa propre langue, le N’Ko, pour préserver la langue mandingue qui est parlé en Afrique de l'Ouest [Mali, Guinée, Burkina Faso, Côte d'Ivoire, Sénégal, Gambie, Guinée-Bissau…] En fait, cet écrivain, très tôt, avait compris qu'il était très important de conserver les langues au travers d’une écriture. On sait que les langues, c'est plus que des mots, c'est ce qui transmet la culture, nos connaissances…
Quelles sont les récentes évolutions pour Google traduction ?
Cent-dix langues ont été ajoutées. Cela permet de toucher à peu près 600 millions de personnes. Il y a dans Google Translate, maintenant, le romani par exemple qui est très utilisé dans beaucoup de pays européens.
Dans les langues africaines, j'ai parlé du N’Ko qui pour la première fois est disponible. De même pour les langues berbères du nord de l'Afrique comme le tamazight. Et cela inclut aussi les caractères non latins du tamazight. C'est toute une population qui a maintenant accès à cette traduction.
J'ai vu ça dans tous mes projets, en Afrique ou ailleurs, on a souvent le même problème en IA : il nous manque des données. Donc, il faut être innovant. Avec PaLM 2, on a réussi à s’entraîner sur des données parallèles.
Pour faire de la traduction, il faut des données parallèles avec l'équivalent, par exemple, de l'anglais vers l'italien. Mais on peut aussi entraîner des modèles avec des données monolingues. On a ainsi ajouté le tibétain. Il y a énormément de textes tibétains, que ce soit des textes religieux ou de culture, mais en revanche, il y a très peu de traductions du tibétain vers d’autres langues.
Avec les connaissances générales, le modèle a été entraîné sur plus de 400 langues. Et c'est pour ça que même si le modèle par exemple n'a jamais été entraîné pour traduire du tibétain au wolof, c'est possible aujourd'hui, donc c'est intéressant.
On peut faire par exemple la photo d'un texte et obtenir une traduction instantanée. Cela peut être également vocal. Quelles sont les possibilités ?
Oui tout à fait, [...] on peut prendre une photo et obtenir directement une traduction, donc ça c'est au travers de Google Trad via l'appli Google Lens.
Mais pour l'instant, pour la plupart des langues qu'on a ajoutées, c'est seulement du texte au texte. On ne peut pas parler en wolof à son téléphone et avoir la traduction en français, pas encore.
En fait, au Ghana, c'est sur ce projet que l'on se concentre. Il est important que les machines nous comprennent, comprennent mon accent, ma langue, le wolof quand on le parle, n'est-ce pas ? Il est aussi important que le téléphone, les machines puissent nous parler dans des langues comme le wolof ou l’afar**. Et pour ça, il y a encore énormément de travail à réaliser.
Réalisez-vous le même travail pour les accents ? Les machines ne saisissent pas toujours ce qu’on leur dit quand ceux-ci sont trop prononcés.
Tout à fait. Il y a toute une équipe qui travaille sur ça, la reconnaissance de voix. Petit à petit, le modèle apprend à comprendre beaucoup d'accents et beaucoup de langues. Par exemple, bien que le français soit utilisé dans beaucoup de pays d'Afrique, parfois en tant qu'Africain, quand on parle à certains de ces systèmes, ils ne nous comprennent pas très bien. Il y a un manque de données et on veut que les informations soient disponibles au monde entier.
Est-ce que le fait d'être localisé en Afrique a changé votre travail ? De quelles ressources disposez-vous en plus ?
Ce qui est assez intéressant, c'est qu'on travaille avec les communautés. On a [aussi] plusieurs initiatives avec des universités, pour qu'elles puissent ouvrir des données à tout le monde, et que n'importe qui dans l'écosystème puisse construire des modèles, entraîner des modèles IA, construire des applications qui seront utiles à la population. On travaille par exemple avec l'université du Ghana sur un projet depuis presque deux ans.
Google a plusieurs initiatives et fonds pour subventionner pas mal de projets en Afrique ou dans le monde en développement. On aide les chercheurs à travers ces fonds à générer des données qui seront bénéfiques à l'écosystème.
Il y a un côté encyclopédique dans cette démarche, de préservation de la langue...
Tout à fait, et puis c'est aussi, disons-le, pour montrer que ces communautés existent toujours et qu'il y aura quand même des références numériques pour ces langues. Par exemple, le bouriate en Mongolie et en Russie : bien que des efforts soient réalisés pour revitaliser cette langue, elle est confrontée à des défis comme la domination du russe ou du mongol.
Au Myanmar, le hakachin est une langue qui est utilisée par une très petite communauté et qui est aujourd'hui accessible à travers Google Translate. Donc oui, on veut rendre les outils disponibles et aider le plus de gens possible pour certaines tâches quotidiennes comme savoir comment acheter du pain, sa baguette…
Quelle est la réaction des universitaires africains que vous contactez de la part de Google pour ce genre de projet ?
En fait, il y a toute une communauté, des groupes de chercheurs africains qui essaient de vraiment vitaliser la recherche dans les langues. Globalement, la recherche en IA est en anglais ou les langues à hautes ressources. Il y a très peu de recherches réalisées dans les langues africaines.
Les témoignages qu'on a depuis la semaine passée, c'est qu’ils sont fiers que finalement leur langue soit disponible. Cela montre qu'ils existent et que leur langue est importante, et ça donne l’espoir de transmettre cette langue à la génération future.
Est-ce qu'il y a d'autres projets ?
Là, en tout, je pense qu'on en est à 211 langues si je ne me trompe pas. Notre objectif, c'est d'atteindre 1 000 langues grâce à l'IA. On sait que dans certains cas, ça ne sera pas parfait. Comme je vous dis, c'est une technologie nouvelle qui utilise des données parallèles, mais aussi monolingues. Et donc, il peut y avoir des erreurs de traduction. Les retours qu'on a de la plupart des gens, sont utiles.
Il y a certaines langues qu'on voulait lancer cette semaine, mais on n'a pas pu, parce qu'on n'est pas arrivé à un certain niveau de qualité. Mais on va continuer, les langues africaines sont très importantes.
Il y a presque 2000 langues pratiquées en Afrique, et là on en est juste à 55. Donc il y a encore un travail énorme, et je veux juste souligner que ce travail ne serait pas possible sans celui, acharné, de la communauté, que ce soit les chercheurs, les linguistes qui ont vérifié nos données…
Il est très intéressant, voire rassurant, de se dire que l'IA a toujours besoin de l'humain…
Tout à fait, l'humain doit être dans la boucle pour une bonne qualité. Une partie des données sur lesquelles on a réussi à générer du qualitatif en parlant à la communauté sont maintenant disponibles à n'importe qui, on peut les télécharger. On a un projet sur lequel les chercheurs peuvent entraîner leur propre modèle IA.
À la fin, surtout en Afrique, on veut rendre ces outils utiles et que l'écosystème puisse travailler sur les langues africaines, que les chercheurs partout en Afrique puissent continuer à travailler sur ces langues, qu'on sache que ces langues sont mises en valeur et que ça puisse permettre un réel potentiel économique et aussi culturel. Un Sénégalais peut faire du commerce avec quelqu'un qui parle cantonais en écrivant en wolof sur l'application. C'est assez impressionnant selon moi, ça ouvre beaucoup de portes et ça diminue les barrières linguistiques dans le monde entier. Je pense que, durant les prochaines années, l'IA dans les langues va continuer à avoir un impact énorme.
* PaLM 2 est un modèle de langage de grande envergure développé par Google AI. Il est capable de répondre à des questions, de générer du code, de traduire des textes et de raisonner de manière logique
** L'afar est une langue tonale parlée à Djibouti, en Érythrée et en Éthiopie. De toutes les langues de ce lancement Google, l'afar est celle qui a bénéficié du plus grand nombre de contributions volontaires de la part de la communauté.
Abdoulaye Diack : Je me dois de revenir sur comment l'histoire a commencé. En 2022, le responsable scientifique de Google AI, Jeff Dean, a annoncé l'initiative de traduire plus de 1 000 langues, celles les plus parlées au monde. Et on voulait faire ça grâce à l'IA.
Depuis plusieurs années, on travaille avec PaLM 2*, un modèle qui permet de traduire les langues les plus courantes, mais aussi celles en voie de disparition ou qui ont très peu de données sur internet.
Ce projet, mené également par le chercheur américain Isaac Caswell, associe depuis plusieurs années des communautés pour entraîner le modèle IA à obtenir des données de bonne qualité. Mais quand on explore l'internet aujourd'hui, plus de 40% des données sont en anglais, en français c’est moins de 4% et si on compte toutes les langues africaines, on arrive à moins de 1%. Beaucoup de langues sont parlées, mais pas forcément écrites.
C’est une spécificité pour certaines langues. Mais aussi un barrière ?
Oui, d'ailleurs, c'est ce qui a décidé l'écrivain guinéen Solomona Kanté, en 1949, à créer sa propre langue, le N’Ko, pour préserver la langue mandingue qui est parlé en Afrique de l'Ouest [Mali, Guinée, Burkina Faso, Côte d'Ivoire, Sénégal, Gambie, Guinée-Bissau…] En fait, cet écrivain, très tôt, avait compris qu'il était très important de conserver les langues au travers d’une écriture. On sait que les langues, c'est plus que des mots, c'est ce qui transmet la culture, nos connaissances…
Quelles sont les récentes évolutions pour Google traduction ?
Cent-dix langues ont été ajoutées. Cela permet de toucher à peu près 600 millions de personnes. Il y a dans Google Translate, maintenant, le romani par exemple qui est très utilisé dans beaucoup de pays européens.
Dans les langues africaines, j'ai parlé du N’Ko qui pour la première fois est disponible. De même pour les langues berbères du nord de l'Afrique comme le tamazight. Et cela inclut aussi les caractères non latins du tamazight. C'est toute une population qui a maintenant accès à cette traduction.
J'ai vu ça dans tous mes projets, en Afrique ou ailleurs, on a souvent le même problème en IA : il nous manque des données. Donc, il faut être innovant. Avec PaLM 2, on a réussi à s’entraîner sur des données parallèles.
Pour faire de la traduction, il faut des données parallèles avec l'équivalent, par exemple, de l'anglais vers l'italien. Mais on peut aussi entraîner des modèles avec des données monolingues. On a ainsi ajouté le tibétain. Il y a énormément de textes tibétains, que ce soit des textes religieux ou de culture, mais en revanche, il y a très peu de traductions du tibétain vers d’autres langues.
Avec les connaissances générales, le modèle a été entraîné sur plus de 400 langues. Et c'est pour ça que même si le modèle par exemple n'a jamais été entraîné pour traduire du tibétain au wolof, c'est possible aujourd'hui, donc c'est intéressant.
On peut faire par exemple la photo d'un texte et obtenir une traduction instantanée. Cela peut être également vocal. Quelles sont les possibilités ?
Oui tout à fait, [...] on peut prendre une photo et obtenir directement une traduction, donc ça c'est au travers de Google Trad via l'appli Google Lens.
Mais pour l'instant, pour la plupart des langues qu'on a ajoutées, c'est seulement du texte au texte. On ne peut pas parler en wolof à son téléphone et avoir la traduction en français, pas encore.
En fait, au Ghana, c'est sur ce projet que l'on se concentre. Il est important que les machines nous comprennent, comprennent mon accent, ma langue, le wolof quand on le parle, n'est-ce pas ? Il est aussi important que le téléphone, les machines puissent nous parler dans des langues comme le wolof ou l’afar**. Et pour ça, il y a encore énormément de travail à réaliser.
Réalisez-vous le même travail pour les accents ? Les machines ne saisissent pas toujours ce qu’on leur dit quand ceux-ci sont trop prononcés.
Tout à fait. Il y a toute une équipe qui travaille sur ça, la reconnaissance de voix. Petit à petit, le modèle apprend à comprendre beaucoup d'accents et beaucoup de langues. Par exemple, bien que le français soit utilisé dans beaucoup de pays d'Afrique, parfois en tant qu'Africain, quand on parle à certains de ces systèmes, ils ne nous comprennent pas très bien. Il y a un manque de données et on veut que les informations soient disponibles au monde entier.
Est-ce que le fait d'être localisé en Afrique a changé votre travail ? De quelles ressources disposez-vous en plus ?
Ce qui est assez intéressant, c'est qu'on travaille avec les communautés. On a [aussi] plusieurs initiatives avec des universités, pour qu'elles puissent ouvrir des données à tout le monde, et que n'importe qui dans l'écosystème puisse construire des modèles, entraîner des modèles IA, construire des applications qui seront utiles à la population. On travaille par exemple avec l'université du Ghana sur un projet depuis presque deux ans.
Google a plusieurs initiatives et fonds pour subventionner pas mal de projets en Afrique ou dans le monde en développement. On aide les chercheurs à travers ces fonds à générer des données qui seront bénéfiques à l'écosystème.
Il y a un côté encyclopédique dans cette démarche, de préservation de la langue...
Tout à fait, et puis c'est aussi, disons-le, pour montrer que ces communautés existent toujours et qu'il y aura quand même des références numériques pour ces langues. Par exemple, le bouriate en Mongolie et en Russie : bien que des efforts soient réalisés pour revitaliser cette langue, elle est confrontée à des défis comme la domination du russe ou du mongol.
Au Myanmar, le hakachin est une langue qui est utilisée par une très petite communauté et qui est aujourd'hui accessible à travers Google Translate. Donc oui, on veut rendre les outils disponibles et aider le plus de gens possible pour certaines tâches quotidiennes comme savoir comment acheter du pain, sa baguette…
Quelle est la réaction des universitaires africains que vous contactez de la part de Google pour ce genre de projet ?
En fait, il y a toute une communauté, des groupes de chercheurs africains qui essaient de vraiment vitaliser la recherche dans les langues. Globalement, la recherche en IA est en anglais ou les langues à hautes ressources. Il y a très peu de recherches réalisées dans les langues africaines.
Les témoignages qu'on a depuis la semaine passée, c'est qu’ils sont fiers que finalement leur langue soit disponible. Cela montre qu'ils existent et que leur langue est importante, et ça donne l’espoir de transmettre cette langue à la génération future.
Est-ce qu'il y a d'autres projets ?
Là, en tout, je pense qu'on en est à 211 langues si je ne me trompe pas. Notre objectif, c'est d'atteindre 1 000 langues grâce à l'IA. On sait que dans certains cas, ça ne sera pas parfait. Comme je vous dis, c'est une technologie nouvelle qui utilise des données parallèles, mais aussi monolingues. Et donc, il peut y avoir des erreurs de traduction. Les retours qu'on a de la plupart des gens, sont utiles.
Il y a certaines langues qu'on voulait lancer cette semaine, mais on n'a pas pu, parce qu'on n'est pas arrivé à un certain niveau de qualité. Mais on va continuer, les langues africaines sont très importantes.
Il y a presque 2000 langues pratiquées en Afrique, et là on en est juste à 55. Donc il y a encore un travail énorme, et je veux juste souligner que ce travail ne serait pas possible sans celui, acharné, de la communauté, que ce soit les chercheurs, les linguistes qui ont vérifié nos données…
Il est très intéressant, voire rassurant, de se dire que l'IA a toujours besoin de l'humain…
Tout à fait, l'humain doit être dans la boucle pour une bonne qualité. Une partie des données sur lesquelles on a réussi à générer du qualitatif en parlant à la communauté sont maintenant disponibles à n'importe qui, on peut les télécharger. On a un projet sur lequel les chercheurs peuvent entraîner leur propre modèle IA.
À la fin, surtout en Afrique, on veut rendre ces outils utiles et que l'écosystème puisse travailler sur les langues africaines, que les chercheurs partout en Afrique puissent continuer à travailler sur ces langues, qu'on sache que ces langues sont mises en valeur et que ça puisse permettre un réel potentiel économique et aussi culturel. Un Sénégalais peut faire du commerce avec quelqu'un qui parle cantonais en écrivant en wolof sur l'application. C'est assez impressionnant selon moi, ça ouvre beaucoup de portes et ça diminue les barrières linguistiques dans le monde entier. Je pense que, durant les prochaines années, l'IA dans les langues va continuer à avoir un impact énorme.
* PaLM 2 est un modèle de langage de grande envergure développé par Google AI. Il est capable de répondre à des questions, de générer du code, de traduire des textes et de raisonner de manière logique
** L'afar est une langue tonale parlée à Djibouti, en Érythrée et en Éthiopie. De toutes les langues de ce lancement Google, l'afar est celle qui a bénéficié du plus grand nombre de contributions volontaires de la part de la communauté.