Pourquoi les IA répondent en arabe littéraire quand on leur parle en tunisien
4 min de lectureL'équipe Tukai
- derja
- IA
- guide
- Raya
L'expérience est reproductible en dix secondes. Écrivez chnowa a3malt lyoum ? à
n'importe quel assistant grand public. Il comprendra, souvent. Il répondra en arabe
standard, presque toujours.
Ce comportement agace, et il est généralement mal expliqué. Ce n'est pas un réglage paresseux, ni un mépris pour les dialectes. C'est la conséquence mécanique de ce que le modèle a lu.
Ce qu'un modèle a lu
Un modèle de langue apprend la distribution de ce qu'on lui donne. Pour l'arabe, ce qu'on lui donne est massivement de l'arabe standard moderne : presse, littérature, encyclopédies, textes officiels, traductions institutionnelles. C'est la langue de l'écrit formel dans tout le monde arabophone, et c'est donc la langue de la quasi-totalité du corpus arabe disponible à grande échelle.
Les dialectes maghrébins occupent une fraction infime de ce volume. Ils ne sont pas absents — il y a des commentaires, des paroles de chansons, des forums — mais ils pèsent si peu que le modèle apprend surtout, statistiquement, qu'« écrire en arabe » signifie « écrire en arabe standard ».
Quand vous écrivez en tunisien, le modèle reconnaît de l'arabe et produit la réponse la plus probable pour de l'arabe : du standard. Il fait exactement ce pour quoi il a été entraîné.
Trois raisons qui aggravent le cas du tunisien
Le tunisien cumule plusieurs handicaps par rapport à d'autres dialectes.
C'est une langue essentiellement parlée. L'écrit existe, mais il vit dans les messageries et les réseaux sociaux — des espaces largement privés, mal indexés, souvent absents des corpus d'entraînement.
Il n'a pas de norme orthographique. Le même mot s'écrit de plusieurs façons selon la personne, et parfois selon la phrase. Pour un modèle, cette variation dilue le signal : là où « development » apparaît un million de fois à l'identique, une tournure tunisienne apparaît quelques centaines de fois sous six graphies.
Il s'écrit majoritairement en alphabet latin. L'arabizi — 3 pour le ‘ayn, 7 pour le
ḥa, 9 pour le qaf — est la façon dont les Tunisiens s'écrivent réellement. Or un pipeline
de collecte qui cherche « de l'arabe » filtre sur l'alphabet arabe, et rate donc l'essentiel
du tunisien écrit. Le dialecte est invisible aux outils censés le collecter.
Ce que ça implique : le modèle n'est pas le goulot
C'est la conclusion la plus utile, et elle va à rebours de l'intuition.
Attendre un modèle « plus intelligent » ne résoudra pas le problème. Un modèle plus grand entraîné sur la même distribution produira un arabe standard plus élégant, pas du tunisien. La capacité de raisonnement et la connaissance d'une langue sont deux choses distinctes, et c'est la seconde qui manque.
En revanche, un problème de données est un problème adressable — et bien moins cher qu'un réentraînement. Il y a deux leviers.
Le premier est la consigne. Elle décide de la langue de sortie. Mais attention à l'excès inverse : une consigne qui liste du vocabulaire tunisien produit un modèle qui essaie d'utiliser chaque mot de la liste, et parle comme un guide de conversation. Le tunisien de démonstration est reconnaissable immédiatement, et il est pire qu'un arabe standard assumé. Une consigne efficace décrit une identité, pas un lexique.
Le second est la récupération. On constitue un corpus tunisien, on l'indexe, et on injecte les passages pertinents au moment de répondre. Le modèle n'apprend rien de neuf ; il a simplement, sous les yeux, de la matière dans la bonne langue.
Le piège de la récupération inter-écriture
Un détail d'implémentation qui nous a coûté du temps, et qui est probablement la raison pour laquelle plusieurs tentatives échouent sans qu'on comprenne pourquoi.
La récupération fonctionne par similarité de sens entre ce que l'utilisateur écrit et ce que contient le corpus. Si l'utilisateur écrit en arabizi et que le corpus est en alphabet arabe, la similarité ne s'établit pas : ce sont deux systèmes d'écriture différents, et la représentation vectorielle ne fait pas spontanément le pont.
On obtient alors un corpus honorable, une architecture correcte, et un taux de récupération médiocre — sans erreur nulle part. Le corpus doit contenir de l'arabizi si les utilisateurs écrivent en arabizi. Chez nous, faire passer la part arabizi de mille à treize mille entrées a porté la récupération de dix-neuf cas sur vingt à vingt sur vingt, sur notre échantillon de test. Aucun changement de modèle, aucun changement d'architecture.
Où en est le tunisien génératif
Honnêtement : mieux qu'il y a deux ans, pas encore naturel.
Un système bien construit évite aujourd'hui l'arabe littéraire, garde le registre d'une conversation de messagerie et suit l'écriture de son interlocuteur. C'est l'essentiel du problème résolu. Ce qui résiste, ce sont les tournures : un locuteur natif repère encore des formulations qui ne tombent pas tout à fait juste, et aucune quantité de consignes ne règle ça — seule la matière le fera.
C'est aussi pourquoi il faut se méfier de toute affirmation de fluidité qu'on ne peut pas vérifier soi-même. Sur Tukai, Raya répond à cinq messages sans compte, précisément pour que la question se tranche en deux minutes plutôt que sur parole.
Pour la langue elle-même — six variétés régionales, qaf dur et qaf adouci, influence amazighe — voir le hub derja. Pour ce que Raya fait et ne fait pas, l'article dédié. Pour écrire de meilleurs prompts en tunisien, le guide pratique.
Un chiffre faux ou périmé dans cet article ? Signalez-le : la correction sera faite dans le texte et datée en clair, à côté de la date de publication. C’est une règle écrite — voir la charte éditoriale.