L’équipe “Superalignement” est dissoute par OpenAI, moins d’un an après sa création. Selon le responsable de cette branche censée contrer les dangers de l’IA pour l’humanité, ses employés n’avaient pas assez de ressources et il y avait des tensions internes avec l’entreprise.
- L’équipe “Superalignement” censée contrer les dangers de l’IA pour l’humanité a été dissoute par OpenAI
- Son ancien responsable, Jan Leike, explique qu’il y avait des tensions internes et que ses équipes avaient peu de ressources
- Sam Altman déclare qu’il réagira dans quelques jours aux propos de Jan Leike
L’IA pourrait provoquer l’effondrement de l’humanité, rien que ça. C’est une théorie prise très au sérieux et plusieurs experts alertent régulièrement à ce sujet. Conscient du problème, OpenAI, à qui l’on doit ChatGPT, a lancé son équipe “Superalignement” à l’été 2023. Sauf qu’un an après, elle a été dissoute par l’entreprise.
À lire > ChatGPT : qu’est-ce que c’est et comment s’en servir, tout savoir de l’IA
L’équipe censée protéger des dangers de l’IA n’est plus
L’objectif était justement de contrôler ces futurs modèles dont la puissance pourrait provoquer notre extinction. Moins d’un an plus tard, fin de l’aventure. Si OpenAI déclare à Bloomberg que cette équipe serait “plus profondément intégrée dans les efforts de recherche pour atteindre les objectifs en termes de sécurité”, l’un des anciens responsables de l’équipe ne tient pas le même discours. Sur X, Jan Leike explique qu’il y avait des tensions internes entre l’entreprise et les membres de la “Superalignement”.
Dans une série de tweets, Jan Leike explique que l’équipe “Superalignement” s’est battue pour obtenir des ressources nécessaires dans un but de recherches. Selon lui, “bâtir des machines plus intelligentes que l’homme est très dangereux” et OpenAI a “une énorme responsabilité aux nom de l’humanité”. Mais l’ancien responsable ajoute que “ces dernières années, la culture et les processus de sécurité sont passés au second plan”.
Jan Leike précise que son équipe “se battait pour obtenir des ordinateurs” et qu’il devenait difficile de “mener des recherches cruciales sur la sécurité de l’IA”. Au cours des derniers mois, “Superalignement” a “navigué à contre-courant” jusqu’à “un point de rupture” avec OpenAI.
En plus de Jan Leike, ces derniers jours ont été marqués par le départ de Ilya Sutskever, scientifique en chef de la société. Il était également responsable de l’équipe “Superalignement” et n’est autre que l’on des cofondateurs d’OpenAI. Le scientifique avait également participé à la décision de licencier Sam Altman, le dirigeant de l’entreprise. Des centaines d’employés avaient alors pris sa défense avant qu’il ne soit réintégré. Ilya Sutskever avait dû signer une lettre où il exprimait des regrets. Leopold Aschenbrenner et Pavel Izmailov, aussi membres de “Superalignement”, ont été licenciés en avril.
Désormais, les recherches en matière de sécurité seront dirigées par John Schulman, autre cofondateur d’OpenAI. Ilya Sutskever est remplacé par Jakub Pachocki qui a dirigé le développement de GPT-4. En octobre 2023, en plus de “Superalignement”, l’entreprise a lancé une équipe de “préparation” qui est chargée de supprimer “les risques catastrophiques” liés aux IA, notamment en termes de cybersécurité, de menace chimique, nucléaire et biologique.
Selon ce tweet, Sam Altan se prépare à réagir plus longuement au départ de Jan Leike, dans les prochains jours.
Licence Gratuite
Télécharger ChatGPT
Playstore : (2265425 votes)
Appstore : (122788 votes)
- IA
- Développeur OpenAI
Source : Endgadget
