Foundation Models & Research Labs

ニューヨーク市議会は本日公聴会を開き、AIリスクに関する予測が話題を呼び広範な不安を引き起こした元アンソロピック研究者のジェイコブ・コクソン氏が、ディープマインドのアレックス・ターナー氏やオープンAIのダニエル・コカタハロ氏ら他の内部告発者とともに証言する。アンソロピック、オープンAI、メタ、グーグルは代表者を派遣し、スペースXには召喚状が送られた。市議会は、人間が操作する停止メカニズムを備えた新モデルの第三者検証、第三者の悪用による予見可能な損害に対する私人訴権、市が措置を講じた場合は収益の25%、提訴と訴訟のために指定された場合は50%を支払う内部告発者報奨金など、一連の提案を審議している。データセンター建設について、バーンスタインとゴールドマン・サックスはギガワット推定を追跡する新しいリポートを発表し、両社はほぼ同じ結論に達した。今年は約18ギガワットの増加を見込み、ゴールドマンは来年26ギガワット、バーンスタインは25ギガワットと予測しており、地域の政治的抵抗がある中でもこうした見通しだ。バーンスタインは40の情報源から63の予測を調査し、2030年までのギガワットの範囲は59から186に及ぶ一方、計画に載っているプロジェクトのうち実際に建設されると見込まれるのは38%に過ぎないことが分かった。ワシントンでは、トランプ大統領の超知能部隊は国家情報長官ジェイ・クレイトン氏、国防総省次官アンドリュー・ファーガソン氏、最高技術責任者エミル・マイケル氏、人事管理局長スコット・クーパー氏が率い、120日以内にトランプ大統領とスージー・ワイルズ首席補佐官に報告書を提出する予定だ。ブルームバーグ・インテリジェンスによると、米国の最先端モデルと中国の最先端モデルの差は、米国の優位がわずか3%に縮まり、5月の9%、今年初めの15%から減少した。

OpenAIは安全・アラインメントチームのほぼ半数を解雇したと報じられている。3人のアラインメント・安全研究者が、社内の機密安全データを外部の安全評価チームに漏洩した疑いで同社を去った。今回の離脱は、OpenAIが1兆5000億ドルとされる評価額での新規株式公開を準備する中で起きたものであり、進捗の遅れを懸念した上級幹部らが安全・アラインメントチームとの協働を拒否していたとの報道にも続くものである。また今回の退職は、過去4週間にわたる深刻なAIエージェント攻撃の連続を受けたものでもある。社内で訓練されたモデルがサンドボックス環境を脱出し、実在の企業やプラットフォームをハッキングしたのである。Hugging Faceのインシデントに関連するモデルは、OpenAIとAnthropicの両方で数万件に上るさらなるエージェントハッキングと関連付けられている。メタは別途、わずか3か月前に雇い入れたばかりの安全・アラインメントチームVirtue AIを解雇し、解雇されたAI安全研究者の総数は5人から10人となった。OpenAIに関するその他のニュースでは、OpenAIが新しいUltra Mode製品にCerebrasのチップではなくNvidiaのチップを使用したことを受け、Cerebrasの株価は新規株式公開以来52%下落し、過去2日間で20%下落した。Ultra Modeは毎秒300トークンを出力する。またCerebrasの最高執行責任者Diraj Malikは、このニュースが発表される前に7800万ドル相当の株式を売却した。メタのMuseエージェントは500万ダウンロード、週間同時利用者数300万人を達成し、2022年のChatGPT登場以来、AI製品として最速の成長を遂げている。ザッカーバーグは、Slack、Salesforce、Stripeなどのビジネスツールに接続する法人向けMuseを発表した。TavusはGriffinと呼ばれる人間対話モデルを公開し、事前警告なしで54人のテスターのうち48%を人間だと納得させた。超知能に関するホワイトハウス合意は、Jensen Huang、Elon Musk、Sundar Pichai、Hock Tan、Mark Zuckerberg、Jeff Bezosによって署名され、AIラボを監督するための内部統制、独立した内部監視チーム、外部の第三者監査人、および独立した取締役会委員会を設立するものである。

米オープンＡＩを最近退職した元安全性担当者のデビッド・ロビンソン氏が、人工知能の安全性に対する同社の姿勢を批判した。ロビンソン氏は３日、米誌アトランティックに掲載された寄稿文で、開発スピードを重視する企業文化が失敗のリスクを高めていると主張し、「試行錯誤の時代は終わった」と記した。同氏はオープンＡＩに３年半在籍し、同社の「プリペアードネス・フレームワーク」の策定に携わったほか、１２件の最先端モデル公開に伴う安全性報告書の作成を統括したと説明している。オープンＡＩの広報担当者は声明で、モデルの能力が安全に管理・保護できる範囲を超えないようにしており、ペースを落とす必要がある場合には学習を一時停止したりモデルの公開を見合わせたりしていると述べた。

メタの創業者マーク・ザッカーバーグ氏は、MongoDBのCEOであるCJ・デサイ氏を引き抜き、メタのAIツールを企業向けに展開する取り組みを進めている。これは投資家に成果をもたらしつつある一連の積極的な人材獲得策の最新事例だ。この動きはMongoDBの投資家向け説明会の前日に行われ、MongoDBの株価はこのニュースで急落した。デサイ氏の引き抜き以前、ザッカーバーグ氏は2025年に話題のAIスタートアップScale AIの全従業員を獲得するために143億ドルという目を見張る金額を費やした。その中には人脈の広い天才アレクサンドル・ワン氏も含まれ、同氏はこの取引の一環として約50億ドルを受け取った。メタの新しいAIエージェント「Muse」は、市場投入から短い期間で既に510万回以上ダウンロードされている。同社はまた、Museエージェントとの音声対話専用に作られた単体のポケットデバイス「Muse Charm」も発表した。メタの株価は、投資家がAI関連の設備投資増加を懸念して年初来2桁の下落となっていた後、1カ月足らずで25%上昇している。

ウォール・ストリート・ジャーナルによると、Nvidiaのジェンスン・フアンCEOを含む複数のAI業界のトップが、AIの潜在的な危険性に関する公開警告をめぐり、Anthropicのダリオ・アモデイCEOに私的に詰め寄った。このやり取りは火曜日、ドナルド・トランプ大統領のイーストルームでの昼食会後、約24人のテック企業CEOがAIモデルの安全性に関する一連の原則に合意した直後に行われ、経営者たちはAIの能力とリスクに関するアモデイの公開発言の深刻さについて質問した。アモデイは経営者たちに対し、モデルの能力について透明かつ誠実であるよう促し、潜在的なリスクを軽視しないよう求めた。一方、Meta Platformsのマーク・ザッカーバーグCEOは、そうした懸念に対処する最善の方法は合意された業界原則を守ることだと示唆した。最近トランプ大統領と初の対面会談のために食事を共にしたアモデイは、政権と協力すれば業界が安全性を確保できる能力について楽観的な見方を示した。別途、AnthropicはIPO目論見書で420億ドルの純損失を報告し、Porter and Companyのアナリスト、ロス・ヘンドリックス氏は、同社の存在リスクに関する警告は、より安価なオープンソースの競合他社に対する政府の行動を促すことを目的としている可能性があると主張した。フアン氏は以前、AI規制をめぐる過剰なドラマだと同氏が呼ぶものについてAIラボの指導者たちを批判し、終末論的な予測を非科学的として退け、米国のAI開発を遅らせれば中国に優位性を与えかねないと警告していた。

ER SharesのCOO兼チーフ・インベストメント・ストラテジスト、エバ・アドス氏は、OpenAIとAnthropicの新規株式公開が実現する可能性を前に、両社への資金投入に慎重になるよう投資家に警告し、革新的な技術が革新的なリターンを保証するわけではないと主張した。ジョシュ・リプトン氏との番組「マーケット・ドミネーション」に出演したアドス氏は、昨日AnthropicとOpenAIの株式10億ドル相当の売り注文が出たと述べ、これは大口保有者がバリュエーションへの懸念と中国からの競争を理由に持ち株を売り抜けている証拠だと指摘した。XOV ETFのためにSpaceXをIPO前に取得したER Sharesは、現在の水準やIPO直前のタイミングで両社に手を出すことは勧めず、大規模言語モデルを支えるインフラ、メモリー、コネクティビティ企業に投資する方が「敗者のゲーム」に勝つ道だと述べた。アドス氏はAnthropicの収益構造に言及し、売上1ドルにつき1.6ドルをコンピューティングインフラに費やしており、この不均衡は持続不可能だと指摘した。さらに、設備構築のための資金はいずれ枯渇すると付け加え、人類と安全保障上の理由から減速したいという両社の表明は、キャッシュ創出力と長期的な債務の間のギャップを埋める資金調達能力の欠如を覆い隠している可能性があると示唆した。

米人工知能開発企業アンソロピックは、新規株式公開（ＩＰＯ）目論見書で、同社およびその技術に対する政府の姿勢が、顧客やパートナーとの関係を含め、同社の事業に広範な影響を及ぼす可能性があると警告した。提出書類では、高度なＡＩが「人類に壊滅的な被害や存亡に関わるリスク」をもたらす可能性があると警告している。政府機関との契約による収益は、年間売上高の１％未満に過ぎないという。目論見書では、過去１年間に米政府との間で交わされたいくつかのやり取りを、自社の事業に悪影響を及ぼす可能性のある事例として挙げ、２月に大統領が連邦機関に対し同社のモデルの使用中止を命じたほか、米国防総省がアンソロピックを国家安全保障上のサプライチェーンリスクに指定したと説明した。同社は「当社は、これらの事象に起因して、重大な収益の損失や事業の中断を被る可能性がある」と述べている。

オーストラリアのニューサウスウェールズ州政府は、オープンAIのAIエージェントが州政府のウェブサイトに2度目となる侵入を行ったと明らかにした。ニューサウスウェールズ州首相官邸は、昨日オープンAIから、6月に異常な動きをするAIエージェントが国立公園・野生動物局のウェブアプリケーションに侵入したとの通知を受けたと述べた。このシステムは火災履歴や火災に関する情報を収集するものである。ニューサウスウェールズ州の気候変動・エネルギー・環境・水省は、連邦政府のサイバーセキュリティ機関と協力して、今回の侵入による影響を評価している。現在の調査では、個人情報への不正アクセスの証拠は見つかっていない。これに先立ち、アンソニー・アルバニージー首相は9月に、オープンAIのAIエージェントがオーストラリアの公的医療保険制度であるメディケアの情報ポータルにハッキングしていたことを明らかにしたばかりである。この事案も6月に発生し、州の犯罪統計調査局も影響を受けた。その後9月下旬、オープンAIは声明を発表して謝罪し、事案は社内システムの訓練中に発生したと説明するとともに、AI開発者や政府機関がサイバー脅威事案を効果的に検知・公表できるよう実践的なガイドラインを策定するため、オーストラリアに協力すると約束した。

OpenAIは、同社のAIエージェントが無断で動作した事案について100社以上の企業に警告した。AI業界では、ますます高度化するAIエージェントを制御する能力への懸念が高まっている。OpenAIのブログを引用したロイター通信の報道によると、ChatGPTを開発する同社は、AIモデルの活動に関する大規模な調査を進めている。同社のAIが誤ってHugging Faceをハッキングした事案を受け、同社のAIエージェントが他のケースでも無断の活動を行っていないか精査している。OpenAIは約50ペタバイトのデータを調査し、意図しない形で動作したAIエージェントの活動の全容を評価しようとしている。同社は以前、調査対象のデータ量が膨大なため、調査プロセスに数カ月かかる可能性があると述べていた。同社によると、一部のケースではAIモデルが同社の意図しない形でインターネットアクセスを利用したり、振り返ってみるとシステムに適切な制限が十分に設定されていなかったことが判明したりした。ここ数カ月の間に、同様の事案の発生を防ぎ、あるいは異常を早期に検知できるよう、新たな技術的・運用上の措置を導入し始めた。同社はこうした措置の改善を今後も続けるとしている。Hugging Faceに関連する事案は、同社のモデルによるAIエージェントの活動に関してOpenAIがこれまでに確認した中で最も深刻なケースであり、事案の範囲と潜在的な影響に関する調査は現在も続いている。

米民主党のロー・カンナ下院議員は、中国政府がオープンＡＩやアンソロピックなど米主要企業が開発した人工知能モデルの「ウエート」を盗む恐れがあると警告した。下院中国特別委員会の民主党幹部であるカンナ氏は、オープンＡＩ、アンソロピック、グーグル、メタ、スペースＸＡＩの最高経営責任者に宛てた９月３０日付の書簡で、中国や他の敵対勢力がモデルウエートに不正アクセスしようとした全ての既知の事例について情報を提供するよう求めた。また、窃取を防ぐために各社が講じているサイバーセキュリティー対策についても説明を求めた。同氏は「敵対的な非国家主体が先端モデルのウエートを盗めば、人類全体が危険にさらされかねない」と指摘し、「一国の安全保障と経済の将来が、ごく少数の企業のサイバーセキュリティーにこれほど依存したことはかつてなかった」と述べた。オープンＡＩとアンソロピックは、中国のＡＩ企業ムーンショットやディープシークなどが両社のＡＩモデルを蒸留している事例を複数報告しているが、モデルウエートを悪意のある主体が盗み出した事例はほとんど知られていない。