SWE-bench Verified : quand le score perd son signal
Rectifications de la vidéo RECTIFICATIF — OpenAI a cessé de rapporter ce score ; cela ne prouve pas l’archivage général du benchmark au 1er septembre. Les taux 87–92 % et 35–50 % de la vidéo ne sont pas corroborés par
Rectifications de la vidéo
RECTIFICATIF — OpenAI a cessé de rapporter ce score ; cela ne prouve pas l’archivage général du benchmark au 1er septembre. Les taux 87–92 % et 35–50 % de la vidéo ne sont pas corroborés par un protocole vérifié ici.
Ce qui peut être retenu
Le billet officiel du 23 février 2026 documente des tâches contaminées et des tests qui rejettent des solutions correctes. Il ne dit pas que toute résolution de code est de la mémorisation. Comparer deux mesures demande les mêmes tâches et les mêmes conditions.
Sources
https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
Voir la série
https://www.youtube.com/@yoanengassam
POIDS — capsule 03/20 — vidéo en français. Images et voix générées par IA.
Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.