Sam Altman quitte le comité de sécurité d'OpenAI

Le PDG d'OpenAI, Sam Altman, quitte la commission interne qu'OpenAI a créée en mai pour superviser les décisions de sécurité "critiques" liées aux projets et aux opérations de l'entreprise.

Dans un article de blog aujourd'hui, OpenAI a déclaré que le comité, le Comité de sécurité et de sûreté, deviendra un groupe de surveillance indépendant présidé par le professeur de Carnegie Mellon, Zico Kolter, et comprenant le PDG de Quora, Adam D'Angelo, le général de l'armée américaine à la retraitre Paul Nakasone, et l'ancienne EVP de Sony, Nicole Seligman. Tous sont des membres existants du conseil d'administration d'OpenAI.

OpenAI a noté dans son article que la commission a mené une évaluation de sécurité de o1, le dernier modèle d'IA d'OpenAI, après le départ d'Altman. Le groupe continuera à recevoir des briefings réguliers de la part des équipes de sécurité d'OpenAI et conservera le pouvoir de retarder les sorties jusqu'à ce que les préoccupations de sécurité soient traitées.

"Dans le cadre de son travail, le Comité de sécurité et de sûreté ... continuera à recevoir régulièrement des rapports sur les évaluations techniques des modèles actuels et futurs, ainsi que des rapports de suivi post-sortie en cours," a écrit OpenAI dans l'article. "[N]ous renforçons nos processus de lancement de modèles et nos pratiques pour établir un cadre intégré de sécurité et de sûreté avec des critères de succès clairement définis pour les lancements de modèles."

Le départ d'Altman du Comité de sécurité et de sûreté intervient après que cinq sénateurs américains ont soulevé des questions sur les politiques d'OpenAI dans une lettre adressée à Altman cet été. Près de la moitié du personnel d'OpenAI qui se concentrait autrefois sur les risques à long terme de l'IA ont quitté l'entreprise, et d'anciens chercheurs d'OpenAI ont accusé Altman de s'opposer à une réglementation de l'IA "réelle" au profit de politiques qui favorisent les objectifs corporatifs d'OpenAI.

Malgré le départ d'Altman, il y a peu d'indications selon lesquelles le Comité de sécurité et de sûreté prendrait des décisions difficiles qui auraient un impact sérieux sur la feuille de route commerciale d'OpenAI. De manière révélatrice, OpenAI a déclaré en mai qu'elle chercherait à répondre aux "critiques valables" de son travail via la commission - les "critiques valables" étant bien sûr dans l'œil de celui qui regarde.

Dans une opinion pour The Economist en mai, d'anciens membres du conseil d'administration d'OpenAI, Helen Toner et Tasha McCauley, ont déclaré qu'elles ne pensent pas qu'OpenAI, tel qu'il existe aujourd'hui, peut être digne de confiance pour s'auto-gérer. "[B]asé sur notre expérience, nous croyons que l'autogestion ne peut pas résister de manière fiable à la pression des incitations financières," ont-elles écrit.

Et les incitations financières d'OpenAI sont en augmentation.

L'entreprise est censée être en train de lever plus de 6,5 milliards de dollars dans une levée de fonds qui valoriserait OpenAI à plus de 150 milliards de dollars. Pour conclure l'affaire, OpenAI pourrait apparemment abandonner sa structure hybride à but non lucratif, qui visait à plafonner les rendements des investisseurs pour garantir qu'OpenAI reste aligné sur sa mission fondatrice : développer une intelligence artificielle générale au bénéfice de toute l'humanité.

hbspt.forms.create({
region: "na1",
portalId: "44101848",
formId: "09f96578-8d24-4d8a-8e9f-7700cff83c29"
});