Dev.to AI 🤖 Ai 👁 0

SWE-bench Verified : quand le score perd son signal

Rectifications de la vidéo RECTIFICATIF — OpenAI a cessé de rapporter ce score ; cela ne prouve pas l’archivage général du benchmark au 1er septembre. Les taux 87–92 % et 35–50 % de la vidéo ne sont pas corroborés par

Rectifications de la vidéo

RECTIFICATIF — OpenAI a cessé de rapporter ce score ; cela ne prouve pas l’archivage général du benchmark au 1er septembre. Les taux 87–92 % et 35–50 % de la vidéo ne sont pas corroborés par un protocole vérifié ici.

Ce qui peut être retenu

Le billet officiel du 23 février 2026 documente des tâches contaminées et des tests qui rejettent des solutions correctes. Il ne dit pas que toute résolution de code est de la mémorisation. Comparer deux mesures demande les mêmes tâches et les mêmes conditions.

Sources

https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/

Voir la série

https://www.youtube.com/@yoanengassam

POIDS — capsule 03/20 — vidéo en français. Images et voix générées par IA.

📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.