« Une IA sans hallucinations » est-elle vraiment possible ? - L'idée de ne pas faire « parler » ChatGPT : la véritable identité de l'IA ultra-rapide « Jev » qui enthousiasme ses développeurs

« Une IA sans hallucinations » est-elle vraiment possible ? - L'idée de ne pas faire « parler » ChatGPT : la véritable identité de l'IA ultra-rapide « Jev » qui enthousiasme ses développeurs

La vraie valeur de l'IA réside-t-elle vraiment dans sa capacité à "bien parler" ?

Les progrès de l'IA générative ont longtemps été évalués sur la base de la capacité à "écrire des textes naturels" ou à "répondre à des questions difficiles". Cependant, lorsque les entreprises intègrent l'IA profondément dans leurs logiciels pour automatiser les processus, la fluidité n'est pas nécessairement la plus grande valeur.

Ce qui est nécessaire, c'est de distinguer si une demande concerne une résiliation ou une demande de remboursement, de déterminer si une commande est dangereuse, de choisir le modèle d'IA le plus adapté parmi plusieurs, et de renvoyer la confiance de la décision sous une forme exploitable par le programme.

C'est dans ce contexte que "Jev", publié en accès anticipé par la société américaine TypeSafe AI, attire l'attention. Dirigé par Diogo Almeida, ancien chercheur chez OpenAI, impliqué dans la recherche sur l'ajustement des modèles à l'aide de retours humains (RLHF) et le développement technologique lié à ChatGPT.

La principale caractéristique de Jev est qu'il ne fait pas de chat. Il ne génère ni récits ni descriptions, mais renvoie des valeurs et des probabilités prédéfinies pour les choix définis à l'avance par les développeurs. TypeSafe appelle cela le "System One Model". Inspiré par le "système 1" de la pensée humaine rapide et intuitive, c'est une IA optimisée pour traiter un grand nombre de jugements instantanés plutôt que des raisonnements longs et profonds.


La rapidité obtenue en ne "créant pas de texte"

Les modèles de langage de grande taille génèrent des tokens un par un en se basant sur les mots ou tokens précédents. Bien qu'ils soient polyvalents pour des usages tels que la conversation, le résumé, ou la création de programmes, plus la sortie est longue, plus le temps et les coûts augmentent. De plus, lorsqu'ils sont utilisés par des programmes, il faut analyser la réponse et vérifier si elle est dans le format attendu.

Jev a délibérément abandonné cette liberté. Même si l'entrée est un langage naturel ou des données non structurées, les candidats à la sortie et le type de données sont prédéfinis. Par exemple, un e-mail client peut être classé en "facturation", "résiliation", "problème de produit" ou "autre", et chaque possibilité est renvoyée sous forme de probabilité. En ne générant pas de texte mot par mot et en produisant plusieurs jugements en parallèle, il est plus facile d'accélérer le processus.

Selon les chiffres publiés par TypeSafe, le temps de réponse est de 70 à 500 millisecondes. Le coût d'entrée est de 0,042 dollar par million de tokens, et la sortie est considérée comme gratuite car elle n'entraîne pas de coût mesurable. La société explique que pour les tâches de type System One ciblées, elle peut être de plusieurs dizaines à 200 fois plus rapide que les LLM existants tout en maintenant une intelligence proche. Leur évaluation interne montre une rapidité 193,6 fois supérieure et un coût 444,6 fois inférieur.

Cependant, ces évaluations sont principalement conçues et publiées par le développeur. TypeSafe lui-même précise que les biais possibles des créateurs de workflows, les conditions de comparaison favorables à Jev, et le fait que les prix ne soient pas subventionnés ne peuvent être prouvés qu'à long terme. Il ne faut pas interpréter ces ratios spectaculaires comme une performance générale reproductible dans tous les usages.


Ce qui a attiré les développeurs, c'est la facilité d'intégration plutôt que l'"intelligence"

Juste après sa publication, l'intérêt était tel que la capacité de fournir l'API a temporairement été dépassée. Sur les réseaux sociaux, ce ne sont pas les réactions de plaisir à discuter avec le modèle qui ont été les plus visibles, mais les publications des développeurs mesurant son intégration dans les flux de travail réels.

 

Pranit Sharma, ingénieur logiciel chez Vercel, a rapporté qu'en remplaçant le modèle OpenAI existant par Jev pour le traitement de classification de la sécurité des commandes, la précision a été améliorée tout en étant 5 à 18 fois plus rapide.

Nikhil Mudholkar, CTO de Bryo AI, a comparé la classification des e-mails professionnels avec Gemini. Dans ses tests, bien que la précision de Gemini ait été légèrement supérieure, le coût de Jev était de 10 à 20 fois inférieur, et il a particulièrement apprécié le fait que chaque décision soit accompagnée d'une probabilité pratique, facilitant la création d'un système où seuls les cas à faible confiance sont renvoyés à l'humain.

D'un autre côté, Armin Ronacher, impliqué dans les plateformes d'exécution de modèles open source, a souligné que la gestion des probabilités est la responsabilité de l'utilisateur. Arrêter le traitement à 50 % ou l'exécuter automatiquement à 95 % ? La frontière n'est pas déterminée par le modèle. Jev montre l'incertitude, mais c'est à l'entreprise de concevoir comment la convertir en règles opérationnelles.

Ces rapports sur les réseaux sociaux sont des exemples initiaux intéressants du potentiel de Jev. Cependant, ils ne sont pas des benchmarks indépendants réalisés sous des conditions unifiées, mais les résultats d'essais spécifiques par chaque développeur. Il est nécessaire de distinguer les réactions favorables de la preuve de performance générale.


Que signifie "ne pas halluciner" ?

L'expression la plus prudente concernant Jev est qu'il "ne hallucine pas".

Si les candidats à la sortie et le type sont fixés dès le départ, il est plus facile d'éviter les problèmes de création d'éléments inexistants ou de rupture de format en cours d'explication. Étant donné que ce qui doit être renvoyé est limité à des valeurs booléennes, des étiquettes de classification, des chiffres, des probabilités, etc., il y a peu de place pour générer des textes illisibles par le logiciel ou des appels de fonctions fictifs.

Cependant, le fait que le format soit correct ne garantit pas que le contenu de la décision le soit. Même si une "demande de remboursement" est mal classée en tant que "question générale", le format de sortie lui-même est parfaitement correct. Ce que TypeSafe garantit principalement, c'est de ne pas s'écarter du schéma ou du type, et non de toujours donner la bonne réponse sur la réalité.

De plus, la calibration des probabilités est cruciale. Si un modèle répond "90 %" et que, dans une grande quantité de cas, environ 90 % sont corrects, alors cette probabilité est bien calibrée. À l'inverse, si elle affiche 90 % mais que le taux de réussite est de 60 %, elle ne peut pas être utilisée comme soupape de sécurité pour l'automatisation. Il est nécessaire de continuer à vérifier en fonction de l'industrie, de la langue, de la longueur de l'entrée, et des changements de données au fil du temps.

Dans le cas des entreprises japonaises, il est également important de vérifier comment elles gèrent les expressions honorifiques en japonais, les abréviations, le jargon interne, et les demandes ambiguës. Même si les performances sont bonnes pour les e-mails en anglais, cela ne garantit pas la même précision pour les enregistrements de centres d'appels ou les documents de décision en japonais.


Surveiller aux côtés de l'IA générative plutôt que de la remplacer

Une utilisation prometteuse de Jev n'est pas seulement de remplacer les LLM eux-mêmes, mais de servir de "superviseur" avant et après l'IA générative.

Par exemple, déterminer si une demande de l'utilisateur contient une commande visant à obtenir des informations confidentielles. Vérifier si une opération que l'agent IA tente d'exécuter est dangereuse. Évaluer si la réponse générée ne contredit pas le contenu de la conversation ou ne viole pas les interdictions. Appeler un LLM performant comme superviseur à chaque fois augmente les coûts et le temps d'attente, mais un modèle de décision rapide et économique permet d'insérer plus facilement plusieurs étapes de vérification.

Une autre utilisation est le "routage de modèles". Les demandes simples sont dirigées vers un modèle petit et bon marché, les questions difficiles vers un modèle performant, et les demandes contenant des images vers un modèle multimodal. Si un LLM coûteux est utilisé pour le routage, l'effet d'économie est réduit, mais avec un modèle comme Jev, il est possible de trier finement dès l'entrée.

Dans les systèmes d'entreprise, il est souvent plus réaliste, en termes de coût, de vitesse et d'audit, de combiner de petites pièces avec des spécialités différentes plutôt que de confier toutes les étapes à une seule IA universelle. Jev vise à être une "pièce commune de décision" appelée à l'intérieur d'innombrables applications, bien que non visible pour les utilisateurs.


Le "paradoxe de Jevons" dans le nom

Le nom Jev est dérivé de l'économiste du 19ème siècle William Stanley Jevons. Le paradoxe de Jevons est l'idée que lorsque l'efficacité d'utilisation des ressources augmente, au lieu d'économiser, les usages s'élargissent et la consommation totale augmente.

Si le coût de la décision de l'IA est réduit de 1/100, cela ne signifie pas nécessairement que les entreprises réduiront leurs dépenses en IA de 1/100. Il est possible d'ajouter des centaines ou des milliers de processus de décision dans des situations où cela était auparavant trop coûteux à mettre en œuvre. Chaque demande, transaction, clic, et opération d'agent peut être accompagnée d'un "jugement légèrement intelligent".

Cela améliore la commodité, mais signifie également que la surveillance et la sélection automatique s'étendent à des endroits invisibles. Si elles sont utilisées pour classer les candidats à l'embauche, prioriser les clients, ou déterminer les abus, les erreurs et les biais peuvent avoir un impact majeur. Le fait d'être bon marché et donc utilisable en grande quantité est un avantage qui va de pair avec le risque d'amplifier massivement les erreurs de jugement.


Procédure d'introduction réaliste pour les entreprises japonaises

Au Japon, l'introduction de l'IA générative commence souvent par le chat interne et l'assistance à la rédaction de documents. Les modèles de type Jev conviennent à l'étape suivante. La répartition des demandes, la priorisation des alertes de surveillance, la classification des opportunités commerciales, l'examen de contenu, et l'approbation des opérations des agents IA sont des tâches actuellement effectuées par des humains qui regardent l'écran.

Lors de l'introduction, il est plus sûr de commencer par faire fonctionner l'IA en parallèle avec le jugement humain plutôt que de l'exécuter automatiquement dès le début. Mesurer la précision et la calibration des probabilités avec les données opérationnelles, et augmenter le seuil d'automatisation pour les éléments où les erreurs seraient coûteuses. Les cas à faible confiance sont renvoyés à l'humain, et les changements de modèle ou de données d'entrée sont surveillés en continu. De plus, il est nécessaire d'enregistrer qui a défini les candidats à la sortie et qui a approuvé les seuils.

Il est important de pouvoir expliquer les règles qui ont converti les probabilités de l'IA en décisions d'entreprise, sans laisser la responsabilité floue avec "parce que l'IA a décidé". La force de Jev réside dans le fait qu'il renvoie des valeurs structurées plutôt que des textes libres. La différence entre un simple classificateur rapide et une base opérationnelle fiable réside dans la capacité à relier cette force à l'auditabilité.


Le champ de bataille principal de l'IA se déplace hors de l'écran

Jev n'est pas destiné à mettre fin aux IA conversationnelles comme ChatGPT. Pour la création de texte, le dialogue, le raisonnement complexe, et les tâches créatives, la liberté des LLM est indispensable. En revanche, pour les petites décisions répétées des millions de fois à l'intérieur des logiciels, la liberté peut parfois être un obstacle.

La question fondamentale posée par Jev n'est pas "quelle est l'IA la plus intelligente", mais "la génération de texte est-elle vraiment nécessaire pour ce travail". Si la réponse nécessaire se résume à quelques choix et probabilités, il y a peu de raison d'appeler un modèle de conversation géant à chaque fois.

À l'avenir, des modèles similaires et des produits concurrents se multiplieront, et des évaluations indépendantes se développeront. L'architecture secrète de Jev, sa prétention d'avoir été entraîné uniquement avec des données synthétiques, et la durabilité des prix nécessitent également une vérification. Néanmoins, l'idée que l'avenir de l'IA ne réside pas seulement dans des interfaces de chat spectaculaires, mais s'étend dans des processus discrets tels que la bifurcation conditionnelle, la surveillance, la classification, et la répartition, est convaincante.

La prochaine révolution de l'IA ne viendra pas nécessairement en s'adressant aux humains. Elle décidera de "ce qu'il faut faire ensuite" si rapidement et profondément dans le logiciel qu'on ne s'en rendra pas compte. Jev cherche à être à la pointe de ce changement silencieux.


À propos des réactions sur les réseaux sociaux

Les réactions sur les réseaux sociaux présentées dans le texte sont basées sur des tests individuels publiés par des développeurs peu après la publication, ainsi que sur des interviews et citations de TechCrunch. Bien que l'évaluation de la vitesse, du prix, et de la sortie probabiliste soit forte, il est nécessaire de réévaluer avec les données de production de chaque entreprise, car il ne s'agit pas d'une vérification indépendante à grande échelle sous des conditions identiques.


URL des sources