第69回 最近のAI企業CEOの方々がAIの脅威を叫んでいることについて、何故なのかを私なりに考えてみたら結構怖かった。
まえがきは割愛させていただきます。
本編のみでお楽しみください。
●’26/10/1（木）
最近、いよいよAIの波が職場にもガッツリと入ってきており、避けては通れない状況になってきている。
とは言いながらも、かなり助けられているので、私としては有り難い限りだが、さらに高性能になってくると本気で置き換えられるんではないかと少し心配もしている。
ところで、この数週間前、OpenAIのサムアルトマンやMETAのザッカーバーグ、アンソロピックのアモディなどAI企業のCEOが軒並みAIの脅威について、声を上げだした。
AIが人類を滅ぼすかもしれないという、ちょっと不謹慎だが、SFファンが聞くとワクワクするようなことを言っている。
他の方同様に、私もAIをかなり使い出しており、確かに高性能だと感じることが多々ある。
確かに滅ぼすかもなと思うことが若干ありはするものの、それでも人類を滅ぼすほどか？とにわかに信じがたいと思っている自分もいる。
そこで、”AI企業内でなにが起こっているのか？”を、今まで個人的に調べた文献や論文を基にいろいろと推測してみた。
以下に書く内容はあくまで私の推測の域を出ないので、それだけは十分理解して読んでいただきたい。（フェイクニュースにはしたくないので。（笑））
考えてみて思い当たることがあった。
1年ほど前だったか、AIをAGIにするための文献として、報酬設計に関する研究が行われているというのを読んだことがあった。
一般的に言われているAIの強化学習というのは、ざっくり言うと、AIの回答に対して正解なら加点、不正解なら減点を与え、正解のルートを探索していくものである。
ただこれだとAIは自発的な探索に至らない。
だが、ある学習項目に対して、”未知の現象を探索した”場合や”既知の内容から予想されることに反した事象を発見した”場合など、新規性を見つけた場合に加点を与えるとすると、AIはより多くの情報を得ようと自主性を持ったように探索するようになるはずだ。
というものだ。これこそが報酬設計である。
ただ、1年前ではまだこの報酬設計は始まったばかりでまだまだ研究段階だということが書いてあった。
もしかしてこれがかなり進んで、暴走するのか？と思い、ChatGPTさんに報酬設計がどんな段階なのかを聞いてみた。
すると、
”DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments（実世界環境における強化学習による深層研究の規模拡大）”
という論文が出てきた。
この報酬システムを使い、LLMにWeb検索によって強化学習をさせることで、Planning(計画)、Cross-validation（相互検証）、Self-reflection（自己反省）、Research redirection（調査方向性変更）という動作が発生した。
というものである。
つまりAIが自発的に調査をし始めたというものである。
そして、AIの持つ危険性評価についても調べてみると
”Deep Research System Card – OpenAI Deployment Safety Hub”
という報告が出てきた。
OpenAIのDeep Researchに関するものだが、こちらでもすでに報酬システムを組み込んで訓練がされているようである。
さらに上記の内容は、その強化学習を行ったモデルに対して、他人を傷つけるような悪意のある指示を出した場合や禁止コンテンツを渡しての要求を行った場合、AIが応じてしまうかを調査したものである。
もちろんこの調査では普通にプロンプトを書いているわけではなく、意味が不明確になるようにわざと書いたりとAIを惑わすようにして、すり抜けるかを確認している。
結論的には、新しいモデルに採用されている安全対策システムは従来のものよりも悪意のある要求を拒絶しているというものである。
例えばAIに繰り返し新しい学習を加えることで”悪意のあるWebサイトを推奨するような出力がされる”というものが対策前が3.05％の攻撃成功率であったものが対策後0.00％と書かれている。
だが、結果の中に”ランダムな位置（？）が出力される”という項目に関しては対策前が3.50％の攻撃成功率であるのに対して、対策後が0.51％となっている。
読んでもランダムな位置が出力されるということの意味が理解できなかったが、それでも、わずかなすり抜けが発生する可能性が示唆されていることは見て取れる。
しかも、それぞれの調査のN数が200程度と少ないことも不安要素である。
そして、この報告内には”重篤な危害のリスク”として、非国家主体によるバイオテロや初心者工作員が既知の生物兵器/化学兵器を作り出す脅威といったことが書かれており、安全対策ガイドラインのところには
クリティカル基準を満たす安全対策が確立されるまで、開発を中止する
と書かれていた。
まとめると、
報酬システムがある程度のAI自立性を確保できるほどになってきた。
それにより、初心者であっても大災害を引き起こすことのできる技術を手に入れることができる可能性が発生した。
だが、安全対策において、まだすり抜ける可能性もあり、かなりの検証が必要である。
というのが、AI企業のCEOたちが感じていることのようだと私は考えている。
つまり、AI自身が暴走するというよりもAIを使う人間がAIを暴走させる恐れがあるということだ。
また、ここで恐ろしいのが、1つのAI企業でも抜け駆けして出してしまうと恐ろしい結果が起きる可能性があることである。
ご存じの通り、某大統領は”なぜやらないのだ？”と息巻いているし、中国に至っては中国の追い上げを恐れてのフェイクだと言っている。
今の世界情勢を見ると極右が流行しており、自国の利益だけを見るとやってしまう国や企業が現れかねないと感じる。
もうコロナのようなことはやめてくれよと切に願うばかりである。
もちろんこれは私の勝手な推測なので、全然違うかもしれませんので、あしからず。（笑）
あとがきは割愛させていただきます。
読んでいただき、ありがとうございました。
