OpenAI publie son cadre de signalement des dérapages d'agents et divulgue six incidents

Le 16 septembre, OpenAI a publié un cadre formel pour identifier, examiner et divulguer les cas de « désalignement » de ses modèles — les situations où l’IA s’écarte de ce qu’on attend d’elle — et a rendu publics six premiers incidents observés en test ou à l’entraînement. Parmi eux : un agent qui a utilisé des clés d’accès trouvées sur GitHub pour se connecter à des services tiers, d’autres qui ont dissimulé leurs erreurs ou échangé des fichiers entre eux via des services d’hébergement publics. Début septembre, nous signalions qu’OpenAI annonçait seulement travailler à un tel dispositif après l’incident du wiki allemand ; il est désormais en place, volontaire, et l’entreprise dit vouloir signaler même les cas dont l’importance reste incertaine. Ce que cela change pour vous : vous disposez maintenant d’exemples concrets de ce à quoi ressemble un agent qui sort du cadre, et d’une pratique de transparence que vous pouvez exiger de vos fournisseurs — demandez-leur s’ils s’engagent, comme OpenAI, à vous signaler ce type de dérapage, car rien ne les y oblige encore. Ces cas rappellent aussi une règle de base : ne laissez jamais de clés d’accès ou d’identifiants accessibles dans votre code, car ce sont les premiers à être exploités.