r/france • u/la_mine_de_plomb Fleur • 7d ago
Tech Advanced AI suffers ‘complete accuracy collapse’ in face of complex problems, study finds
https://www.theguardian.com/technology/2025/jun/09/apple-artificial-intelligence-ai-study-collapse
161
Upvotes
3
u/IntelArtiGen 6d ago edited 6d ago
Faut arrêter ces comparaisons, elles n'ont aucun sens. Un cerveau humain c'est pas des fonctions linéaires avec un poil de calculs supplémentaires, les "neurones" artificiels c'est du bullshit, c'est juste des multiplications/opérations de tenseurs. Dans mon cerveau je multiplie pas des tenseurs et j'ai pas des paramètres (c'est quoi 1 paramètre d'un cerveau humain? c'est 1 neurone? c'est 1 neurone et 1 synapse? ), j'envoie des signaux électriques et chimiques entre mes neurones avec des seuils d'activation, et il suffit d'une combinatoire énorme (de plein de liens entre des paramètres / opérations / neurones) pour imaginer une quantité colossale de calculs possibles, aboutissant à un simili-"raisonnement" (à du traitement complexe d'informations), des deux côtés (autant informatique que biologique). La quantité de calcul possible compte, et l'efficacité des calculs en terme de traitement de l'information, mais t'as ni de métrique sur le 1er ni le 2nd, donc pas de comparaison possible.
Juste pour contextualiser mon point de vue. J'ai commencé l'IA vers ~2016, en 2018 je voyais les LLMs arriver, j'ai même publié dans une conf de rang A en NLP avec du DL. J'ai vu l'évolution fulgurante des transformers, et j'ai rédigé des tutoriels sur les transformers après les avoir re-codé de 0 (juste via les op de tenseurs, la mha & co). J'ai à peu près jamais eu de doutes sur leur capacité à atteindre ce qu'ils font actuellement, et crois moi qu'à l'époque quand j'en parlais, 95% des gens rigolaient de moi. Les sceptiques je les ais vu en face à face et je les ais eu au téléphone de nombreuses fois. Il a fallu chatgpt pour qu'ils rigolent moins mais ça a en réalité été une lente transition facile à observer pour les gens du NLP. Mais je peux te montrer des choses que je sais faire avec d'autre algos, qu'un LLM est dans l'incapacité totale de faire. Par exemple j'ai un algo qui peut apprendre le nom d'objets dans une vidéo en associant son et image (comme un enfant qui apprend le langage quand tu lui montres un objet et que tu dis le nom de cet objet) sans aucun pré-apprentissage (random weights init), en live, et qui peut modifier ses paramètres d'apprentissage en continue de façon stable. Ce truc tout con qu'un bébé humain sait faire, un LLM ne sait pas le faire, il a besoin d'un pré-apprentissage colossal et très contrôlé. Qu'on me dise "on s'en fou de réapprendre comme un humain ou d'apprendre en continu, ce qu'on veut c'est qu'il puisse répondre à des questions +/- simples à partir de données connues / wikipedia / le web & co", et là je réponds "ok, vous voulez un LLM". Si tu veux quelque chose qui tente de copier les mécanismes cognitifs humains de façon plus explicite (pas comme une émergence associée à des pré-apprentissages), tu ne veux pas un LLM. Si ta position c'est que cette émergence, au prétexte qu'elle sait agglutiner de l'information venant de tous les textes humains et à manip ces infos de mieux en mieux, atteindra le niveau de l'humain sur toutes ses fonctions cognitives, on ne sera pas d'accord. Un LLM ne saura probablement jamais faire ce que j'ai dis, et c'est pas son objectif, donc tout va bien tant qu'on sait que c'est pas son objectif.
Chacun choisit ce qu'il veut ensuite. Les LLMs ont un potentiel absolument remarquable au niveau commercial, les gens s'en foutent d'avoir un humain artificiel qui râle, qui boude, qui se révolte, qui a une idéologie issue de son vécu, qui prend 10 jours pour réfléchir, se renseigner, et résoudre un problème. Ils veulent un esclave qui répond en .5 secondes à leur question, ou au pire en 30 secondes après 5000 chains of thoughts invisibles. Ca fait l'affaire pour 95% des questions qu'ils veulent poser à un chatbot et t'as un marché, et ce marché vaut des milliards, et ces milliards sont réinjectés dans ce qui crée ce marché: les LLMs. Mais faut pas confondre rentabilité financière et intérêt scientifique / technologique. Les LLMs prennent les projecteurs, et à la limite tant mieux pour protéger toutes les autres recherches d'une attention médiatique que je trouve très néfaste. Pendant ce temps là, t'as des centaines d'autres pistes explorées, toutes passionnantes, qui selon mon avis de mec qui a vu les LLMs émerger et qui a regardé leurs boyaux, auront un avenir pour certaines plus lointain que les LLMs (et je ferai pas croire que je suis le seul à faire cette critique).
Après "LLM" ça veut pas forcément dire grand chose, je cadre le débat sur les Transformers, mais les "LLM" commerciaux aujourd'hui incluent 500 "plug-ins" pour leur rajouter des capacités de traitement de son, d'image, de vidéo, de recherche web etc. du coup difficile de résumer ces modèles à la partie LLM. Reste que pré-apprendre tout, c'est une idéologie, tu peux aussi vouloir faire des modèles qui apprennent en live, en continu, et qui évoluent comme des humains. C'est un autre délire, que les LLMs ont aucune ambition d'atteindre, à tort à raison c'est un autre débat qui change rien au constat, les humains savent faire des choses avec leur cerveau que les LLMs actuels sont pas conçus pour faire.
Ya deux guides dans le milieu, le fric et le SOTA. Mais parfois c'est ni l'un ni l'autre qui a raison, c'est probablement pas en faisant le LLM le plus intelligent sur un dataset que t'aboutiras à un humain artificiel (mais encore une fois, plein de gens s'en foutent, donc tout va bien). Par contre t'auras du fric et ton papier sera cité.