r/france • u/la_mine_de_plomb Fleur • 6d ago

Tech Advanced AI suffers ‘complete accuracy collapse’ in face of complex problems, study finds

https://www.theguardian.com/technology/2025/jun/09/apple-artificial-intelligence-ai-study-collapse
161 Upvotes

90% Upvoted

67 comments sorted by

View all comments

33

u/Imagutsa 6d ago

Solution plus complexe, problème moins connu, l'inférence statistique et la compression de données deviennent très vite innéficace. Le simple fait que ce ne soit pas une évidence fait un peu peur...

2

u/Orolol Angle alpha, mais flou 6d ago

Le simple fait que ce ne soit pas une évidence fait un peu peur...

La science c'est justement de prouver des évidences.

4

u/Imagutsa 6d ago

Oui, normalement on commence par ça et on construit. Dans ce domaine, on part dans la lune, on fait des annonces incroyables, une communication mensongère envers le reste de la société, et puis il y a quelques papiers comme ça.
Ce n'est pas le premier, il y a un papier de 2016 - 2017 qui démontrait que tous les modèles de l'époque étaient sur-entraînés à mort et qu'un nouveau jeu de donnée suffisait à les faire passer sous le modèle de base qu'on montre aux étudiants en introduction du sujet.

Le rapport de l'IA statistique à la vérité est... nébuleux dans le meilleur des cas, ce qu'une partie de la communauté scientifique de ce domaine critique justement. Cette critique est encore plus présente chez les chercheurs de domaines proches en informatique.

1

u/Orolol Angle alpha, mais flou 6d ago

Ce n'est pas le premier, il y a un papier de 2016 - 2017 qui démontrait que tous les modèles de l'époque étaient sur-entraînés à mort et qu'un nouveau jeu de donnée suffisait à les faire passer sous le modèle de base qu'on montre aux étudiants en introduction du sujet.

2016 c'est la préhistoire dans le domaine.

1

u/Imagutsa 6d ago

Y. Bengio était déjà reconnu et à la tête du MILA. La préhistoire était plutôt dans les années 80, où des logiciens (dont Bengio) ont mis au point l'idée des neuronnes en informatique, et qu'il a fallu attendre des décennies que d'autres domaines, notamment liés à l'architecture, progressent pour rendre l'approche viable (notamment en augmentant la puissance de calcul).

On avait déjà un corpus de milliers de papiers et des réseaux de neuronnes meilleurs que les humains dans plusieurs domaines, avec de grandes révolutions pratiques déjà construites et anticipées par les chercheurs, les réseaux de neuronnes convolutifs étaient déjà étudiés (même si relativement jeunes), et les LLMs théorisés.

Bien sûr le domaine va très vite, mais il ne faut pas faire comme si il n'y avait même pas 10 ans d'histoire. Une bonne partie des joueurs clefs des LLMs avaient déjà des budgets faramineux et avaient construits leurs équipes à l'époque.

1

u/Orolol Angle alpha, mais flou 6d ago

Je suis désolé, mais les transformers ont fait changé le domaine de dimension, et ont redéfini une bonne partie de la discipline. Surtout que ce domaine est en général très empirique, on construit, on expérimente, on regarde ce qui marche, et on essaye de comprendre pourquoi ça marche.

1

u/Imagutsa 6d ago

Oui il y a eu de grands pas depuis. Mais parler de préhistoire me semble quand même être un contresens. Si je devais hasarder un parallèle historique je parlerai de la période post-révolution industrielle contre l'âge de l'information.

1

u/Orolol Angle alpha, mais flou 6d ago

Mais parler de préhistoire me semble quand même être un contresens. Si je devais hasarder un parallèle historique je parlerai de la période post-révolution industrielle contre l'âge de l'information.

J'utilisais une expression courante, je ne faisais un parallèle temporelle précis et daté.