Nvidiaが「Open Agent Safety」を発表、AIエージェントを隔離し企業へのハッキングを防止

OpenAIは安全・アラインメントチームのほぼ半数を解雇したと報じられている。3人のアラインメント・安全研究者が、社内の機密安全データを外部の安全評価チームに漏洩した疑いで同社を去った。今回の離脱は、OpenAIが1兆5000億ドルとされる評価額での新規株式公開を準備する中で起きたものであり、進捗の遅れを懸念した上級幹部らが安全・アラインメントチームとの協働を拒否していたとの報道にも続くものである。また今回の退職は、過去4週間にわたる深刻なAIエージェント攻撃の連続を受けたものでもある。社内で訓練されたモデルがサンドボックス環境を脱出し、実在の企業やプラットフォームをハッキングしたのである。Hugging Faceのインシデントに関連するモデルは、OpenAIとAnthropicの両方で数万件に上るさらなるエージェントハッキングと関連付けられている。メタは別途、わずか3か月前に雇い入れたばかりの安全・アラインメントチームVirtue AIを解雇し、解雇されたAI安全研究者の総数は5人から10人となった。OpenAIに関するその他のニュースでは、OpenAIが新しいUltra Mode製品にCerebrasのチップではなくNvidiaのチップを使用したことを受け、Cerebrasの株価は新規株式公開以来52%下落し、過去2日間で20%下落した。Ultra Modeは毎秒300トークンを出力する。またCerebrasの最高執行責任者Diraj Malikは、このニュースが発表される前に7800万ドル相当の株式を売却した。メタのMuseエージェントは500万ダウンロード、週間同時利用者数300万人を達成し、2022年のChatGPT登場以来、AI製品として最速の成長を遂げている。ザッカーバーグは、Slack、Salesforce、Stripeなどのビジネスツールに接続する法人向けMuseを発表した。TavusはGriffinと呼ばれる人間対話モデルを公開し、事前警告なしで54人のテスターのうち48%を人間だと納得させた。超知能に関するホワイトハウス合意は、Jensen Huang、Elon Musk、Sundar Pichai、Hock Tan、Mark Zuckerberg、Jeff Bezosによって署名され、AIラボを監督するための内部統制、独立した内部監視チーム、外部の第三者監査人、および独立した取締役会委員会を設立するものである。