AIFaultBench: a reproducible benchmark of real-world AI software faults

Mehil B. Shah, Mohammad Masudur Rahman, Foutse Khomh

Ensemble de données (2026)

Accéder à ce document
Lien externe
Libre accès au texte intégral chez l'éditeur officiel

Résumé

AIFaultBench is a benchmark of 770 real-world AI software faults collected from 105 open-source repositories across 76 organizations, spanning traditional machine learning, deep learning, large language model infrastructure, reinforcement learning, agentic AI systems, and AI tooling. Each fault ships with the original GitHub issue report, a minimal reproduction script, a dependency specification, codebase reconstruction and environment setup scripts, reproduction logs, structured metadata, and a reproduction trajectory. 652 of the 770 faults (85%) are verified reproducible; the remainder document the reasons preventing reproduction.

Mots clés

Matériel d'accompagnement:
Adresse URL de PolyPublie:
Source :
Zenodo
OAI:
oai:publications.polymtl.ca:83542
ORCID
Mohammad Masudur Rahman (iD)0000-0003-3821-5990 (Non authentifié)
Foutse Khomh (iD)0000-0002-5704-4173 (Non authentifié)
Date du dépôt:
03 nov. 2026 09:13
Dernière modification:
03 nov. 2026 09:13
Citer en APA 7:
Shah, M. B., Masudur Rahman, M., & Khomh, F. (2026). AIFaultBench: a reproducible benchmark of real-world AI software faults [Ensemble de données]. Zenodo. https://doi.org/10.5281/zenodo.21763132

Statistiques

Dimensions

Actions réservées au personnel

Afficher document
Afficher document