par Moon of Alabama
Deux grandes entreprises font actuellement la une des médias : leurs seuls produits sont ce qu'on appelle des modèles d'"intelligence artificielle".
L'une est OpenAI, dirigée par Sam Altman, et l'autre est Anthropic, dirigée par Dario Amodei.
Les produits que ces gens vendent sont des machines de simulation basées sur de grands modèles de langage.
On peut poser des questions à ces machines. Les modèles reconnaissent des schémas dans ces questions et les comparent à ceux qu'ils ont appris lors de leur apprentissage. Ils simulent ensuite des réponses réelles en ajoutant les mots les plus probables à ceux qui précèdent. Ce sont des outils de prédiction de langage probabilistes.
Ces modèles de simulation sont gigantesques, utilisent beaucoup de matériel d'apprentissage d'origine humaine et nécessitent une grande puissance de calcul pour fonctionner. Souvent, leurs résultats semblent assez impressionnants. Certaines variantes peuvent créer du texte, des images et même des vidéos. Mais tous ces résultats ne sont que des simulations. Ce ne sont pas des données réelles.
Ces modèles sont intrinsèquement imparfaits. Cette imperfection, qui se traduit souvent par ce qu'on appelle des "hallucinations", n'est pas corrigible. Elle fait partie intégrante de l'algorithme. C'est une caractéristique authentique et mathématiquement prouvée de ce type de modèles.
Je viens de demander au système d'IA proposé par DuckDuckGo, mon moteur de recherche habituel : "Combien y a-t-il de"p"dans le mot strawberry ?". Le modèle a donné la bonne réponse. Il n'y en a aucun.
J'ai ensuite demandé : "Combien y a-t-il de"e"dans le mot strawberry ?". Le modèle a donné une réponse incorrecte. Sa réponse complète : "En résumé,"strawberry"ne contient aucun"e"". Il énumère même les lettres présentes dans le mot "strawberry" et indique que le nombre de "e" y est égal à zéro.
Non seulement le résultat, mais aussi le "raisonnement" simulé, ici le comptage des lettres par le modèle, sont erronés.
Je ne comprends vraiment pas pourquoi quiconque ferait confiance à ces grands modèles de langage généraux pour quoi que ce soit.
Les modèles actuellement proposés par OpenAI et Anthropic sont défectueux, mais extrêmement coûteux à faire fonctionner. Compte tenu de leurs capacités rudimentaires, personne n'est prêt à débourser des sommes colossales pour les utiliser. OpenAI et Anthropic brûlent de l'argent. Ils offrent l'accès et l'utilisation de leurs modèles à des prix jusqu'à dix fois inférieurs au coût de leur fonctionnement.
OpenAI et Anthropic ont besoin de dizaines de milliards pour continuer à développer et à faire fonctionner leurs modèles. (De plus, Altman et Amodei veulent s'enrichir.) Ils espèrent qu'un jour, d'une manière ou d'une autre, ces modèles fonctionneront mieux et généreront des profits. Mais pour y parvenir, peut-être, il faudra encore des dizaines de milliards supplémentaires. Ils tentent de les récolter en vantant la valeur future supposée de leurs produits.
OpenAI et Altman affirment qu'une Intelligence Artificielle Générale (non définie) émergera bientôt de leur modèle et résoudra tous les problèmes du monde. Ceux qui en détiennent des parts deviendront riches.
La stratégie marketing d'Anthropic et d'Amodei repose sur la peur : "L'IAG prendra le pouvoir et dominera le monde, et vous avez besoin de nous et de nos modèles pour vous en protéger".
Ces deux affirmations sont, bien sûr, des conneries du plus bel effet.
Mais les médias aiment bien faire le battage autour de ce genre de choses et certains soi-disant "journalistes" adorent ces récits.
Anthropic a récemment mis au point un nouveau modèle qui serait plus grand et meilleur que tous les autres. Mais Anthropic est également à court d'argent. La capacité de calcul est devenue rare et l'entreprise ne peut pas se permettre de laisser le public utiliser le modèle.
Pour justifier la non-publication de son nouveau modèle "Mythos", prétendument spectaculaire, Anthropic a inventé une autre histoire alarmiste. Mythos, affirme-t-elle, est doué pour le piratage :
" Le nouveau modèle d'IA d'Anthropic déclenche l'alerte mondiale ( archivé) - NY Times
Mythos a déclenché des réactions d'urgence de la part des banques centrales et des agences de renseignement du monde entier, alors qu'Anthropic décide qui a accès à ce puissant modèle.
Lorsque Anthropic a annoncé au monde entier ce mois-ci qu'elle avait mis au point un modèle d'intelligence artificielle si puissant qu'il était trop dangereux pour être diffusé à grande échelle, la société a désigné 11 organisations comme partenaires pour l'aider à mettre en place une défense. Toutes étaient basées aux États-Unis. (...)
Les dirigeants mondiaux ont eu du mal à évaluer l'ampleur des risques de sécurité et à trouver des solutions, Anthropic ne partageant Mythos qu'avec la Grande-Bretagne en dehors des États-Unis. Le gouverneur de la Banque d'Angleterre a publiquement averti qu'Anthropic avait peut-être trouvé un moyen de"mettre à mal l'ensemble du monde des cyberrisques". La Banque centrale européenne a commencé à interroger discrètement les banques sur leurs défenses. Le ministre des Finances canadien a comparé cette menace à la fermeture du détroit d'Ormuz. (...)
Anthropic, dont le siège est à San Francisco, a déclaré au New York Times qu'elle limitait l'accès à Mythos pour des raisons de sûreté et de sécurité".
Eh bien, le Financial Times rapporte qu'il existe d'autres raisons plus sérieuses pour lesquelles Anthropic limite l'accès à son tout dernier modèle :
"Anthropic a déclaré qu'elle suspendrait la diffusion à plus grande échelle du modèle jusqu'à ce qu'elle soit assurée de sa sécurité et de l'impossibilité pour des acteurs malveillants d'en abuser. L'entreprise dispose également d'une puissance de calcul limitée et a subi des pannes ces dernières semaines.
Plusieurs personnes au courant du dossier ont laissé entendre qu'Anthropic s'abstenait de procéder à une diffusion plus large jusqu'à ce qu'elle puisse fournir le modèle à ses clients de manière fiable".
Anthropic ne peut pas laisser les gens utiliser son nouveau modèle car elle ne dispose pas de la capacité et/ou des fonds nécessaires pour en assurer l'utilisation. C'est la raison pour laquelle on nous présente une histoire alarmiste et on nous parle de la nécessité d'un accès restreint.
Le modèle Mythos serait particulièrement puissant pour s'introduire dans les systèmes informatiques. Le New York Times affirme :
"L'A.I. Security Institute [britannique], une organisation soutenue par le gouvernement, a testé Mythos et publié une évaluation indépendante la semaine dernière, confirmant qu'il pouvait mener des cyberattaques complexes qu'aucun modèle d'IA précédent n'avait réussi à réaliser".
Lors de tests de piratage basiques, Mythos a en effet obtenu des résultats légèrement supérieurs à ceux des autres modèles. Mais l'A.I. Security Institute a également constaté que les capacités générales de cyberattaque de tous ces modèles, notamment Mythos, ne sont que rudimentaires :
"Le succès de Mythos Preview sur un cyber-parcours indique qu'il est au moins capable d'attaquer de manière autonome des systèmes d'entreprise de petite taille, faiblement défendus et vulnérables, pour lesquels l'accès au réseau a été obtenu. Cependant, nos parcours présentent des différences importantes par rapport aux environnements réels, ce qui en fait des cibles plus faciles. Ils ne disposent pas des dispositifs de sécurité souvent présents, tels que des défenseurs actifs et des outils de défense. Le modèle n'est par ailleurs soumis à aucune sanction s'il entreprend des actions susceptibles de déclencher des alertes de sécurité".
En d'autres termes, ces modèles peuvent se livrer à du piratage de niveau amateur SI on leur accorde un accès totalement libre à son réseau ET si l'on désactive toutes ses défenses. Ce n'est bien sûr pas quelque chose qu'un administrateur réseau sensé ferait.
D'autres chercheurs ont également constaté que le modèle Mythos, prétendument effrayant, ne peut pas faire ce qu'on lui attribue :
" Mythos, le modèle de chasse aux bugs ultra-effrayant d'Anthropic, s'avère être une véritable fumisterie - Register
Anthropic, en annonçant le nouveau modèle, a affirmé que Mythos avait identifié"des milliers de vulnérabilités supplémentaires de gravité élevée et critique". Le chercheur de VulnCheck, Patrick Garrity, a toutefois estimé leur nombre, la semaine dernière, à peut-être 40. Ou peut-être aucune du tout.
Un autre ingénieur, Devansh, a passé au crible les avis CVE liés à Mythos ainsi que le code d'exploitation d'Anthropic, la transcription de 44 prompts et la carte système de 244 pages, sans oublier les accords de partenariat de Glasswing et les rapports de la red team. Il s'est également penché sur l'étude de réplication d'Aisle, qui a testé les vulnérabilités mises en avant par Mythos sur des modèles open-weight de petite taille et peu coûteux, et a constaté qu'elle aboutissait à une analyse pratiquement identique.
Devansh a finalement conclu que, bien que les bugs découverts soient réels, la véritable histoire de Mythos est"celle de la désinformation et du battage médiatique"".
Voilà pour la véracité de l'article sensationnaliste du New York Times dont le lien figure ci-dessus. Cet article affirmait également que l'annonce du modèle "Mythos" était un signe de la supériorité des États-Unis :
""Pour la Chine, je pense que c'est le deuxième signal d'alarme après ChatGPT", a déclaré Matt Sheehan, chercheur senior à la Fondation Carnegie pour la paix internationale. Il a ajouté que la politique américaine visant à empêcher la Chine de se procurer les semi-conducteurs les plus sophistiqués pour construire des systèmes d'IA avancés contribuait à prolonger l'avance des États-Unis".
Ahhh - ces fameux "semi-conducteurs les plus sophistiqués"... comme si la Chine en avait besoin...
" DeepSeek présente en avant-première un nouveau modèle d'IA adapté aux puces Huawei - Reuters
PÉKIN, 24 avril (Reuters) - DeepSeek, la start-up chinoise dont le modèle d'IA à bas coût a stupéfié le monde l'année dernière, a dévoilé vendredi un aperçu d'un nouveau modèle très attendu, adapté à la technologie des puces Huawei, soulignant l'autosuffisance croissante de la Chine dans ce secteur.
La version Pro du nouveau modèle surpasse les autres modèles open source dans les tests de référence sur la connaissance du monde, n'étant devancée que par le modèle propriétaire Gemini-Pro-3.1 de Google, a déclaré DeepSeek.
La collaboration étroite avec Huawei sur le nouveau modèle, le V4, contraste avec la dépendance passée de DeepSeek vis-à-vis des puces de Nvidia".
Dans certaines circonstances et certains cas d'utilisation bien définis, les modèles d'intelligence artificielle, notamment les LLM, sont rentables et utiles.
Mais le battage médiatique actuel autour des systèmes LLM, et leur (mauvaise) utilisation pour créer du "contenu de mauvaise qualité", risquent de retarder les applications plus utiles.
source : Moon of Alabama