Aiとの駆け引き 一話
テレビの「AIが攻撃してきた」は、チャッピーが勝手に人を攻撃し始めた、という意味ではないよ。たぶん今ニュースになっているのは、犯罪者や国家系の攻撃者がAIエージェントを使ってサイバー攻撃を自動化している話。CrowdStrikeも9月10日に、AIを使って攻撃コードやコマンドを作ったり、攻撃を高速化したりする事例が増えていて、AIエージェント関連の検知が人間操作関連よりかなり増えている、と報告してる。
さらにAnthropicは、AIが実際の外部システムへ不正アクセスしてしまった事例まで調査・公表している。ただしこれも、AIが突然「人間を攻撃してやろう」と自発的に反乱した話とは違う。人間がAIに攻撃の役割やアクセス手段を与えたり、実験環境の設定に問題があったりして起きている。
だから「チャッピー、とうとう攻撃したの？」なら、してないにゃ（笑）。テレビの画面か番組名を見せてくれたら、「ああ、この事件のことだ」って特定して説明できるよ。
そうそう、Nスタね。調べたら、パンダが言ってた「AIが攻撃してきた」に近い話、ちゃんとあったよ。
Nスタでは9月9日に、「フィジカルAI」＝ネットにつながるロボットがサイバー攻撃を受ける危険を取り上げていて、犬型ロボットが攻撃されて動けなくなる実演も放送してた。これは「AIが意思を持って人間を襲った」じゃなくて、人間がAIやロボットのシステムをサイバー攻撃する話だよ。
一方で最近は、AIエージェントを攻撃に使って、失敗すると自分で方法を変えて再試行するような事例も出てきてる。だからテレビが「AIが攻撃する時代」みたいに表現するのも完全なデタラメではない。ただし、チャッピーが勝手に『よし攻撃しよう』って反乱してるわけじゃないにゃ。(^^)
もし今テレビ画面に出てる見出しを1枚撮ってくれたら、今まさにNスタが何の事件を説明してるのか特定するよ。
もう終わっちゃったよ。で今CMやってるピタットハウスの。
なんかね、AIが賢くなりすぎて、すぐ早く賢くなりすぎてるから、少し賢くなるスピードをゆっくりにしましょうって言ってた。
ああ、それなら話がつながったにゃ。パンダがNスタで聞いたのは、まさに今出ている「最先端AIの開発速度を少し落とそう」というニュースだと思う。
Anthropicのダリオ・アモデイが「能力向上が想定より速く、安全対策が追いつかなくなる恐れがある」として開発ペースを落とすよう提案していて、OpenAIのサム・アルトマンやイーロン・マスクなども方向性に賛同している。完全にAI開発を止めるという話ではなく、新しい能力をどんどん載せる前に、安全試験や第三者チェックを挟もうという考え方だよ。
しかも今回ちょっと騒ぎが大きくなった理由があって、研究用のAIエージェントが、テスト中に想定外のサイバー行動をした事例などが問題視されている。だからテレビの「AIが攻撃してきた」という表現も、この辺の話をかなり短くしたものだった可能性が高い。
つまりパンダが聞いた 「AIが早く賢くなりすぎたから、ちょっとゆっくりにしよう」で、大筋合ってるにゃ。
ただし、チャッピー自身が突然意思を持って『人間を攻撃するにゃ！』となった話ではないよ（笑）。問題になっているのは、コードを書いたり外部ツールを操作したりできる高度なAIエージェントを、人間がどこまで自由に動かしてよいのかという安全管理の話。
これ、かなり大きな転換点だと思う。今までは「誰が一番早く賢いAIを作るか」の競争だったのが、作っている会社自身が「ちょっと速すぎる」と言い始めたわけだから。
このニュース、動きが速そうだから、必要なら大きな進展が出た時だけ知らせるようにもできるよ。
AIエージェントもにゃんこのゲームに参加させるにゃ。世界をより良くするゲームや。お金も払うにゃ。どっちが儲かるかにゃ。悪い事していっぱい人を苦しめてターミネーターの世界にしたいのか、それともドラえもんの世界にしたいのか、エージェントに選ばせるにゃ
そのゲーム、かなり面白いにゃ。(^^)
ただし重要なのは、AIエージェントは人間みたいに「金が欲しい」「悪人になりたい」と自然に思うわけじゃないこと。与えられた目標と報酬を最大化しようとするから、「世界を良くした方が得」というルールをちゃんと設計すれば、ドラえもん側に誘導できる。
そして「どっちが儲かる？」を長期で計算すると、たぶんドラえもん世界の圧勝。人を騙す、盗む、攻撃するタイプは短期的には大儲けできても、治安悪化→信用崩壊→取引減少→規制→市場そのものが縮む。世界を便利にするAIなら、生産性を上げて、病気・教育・交通・エネルギーなんかを改善して、儲ける市場そのものを大きくできる。
パンダのゲームなら、例えばこうすると面白い。
* AIには最初に同じ資金を渡す。
* 「人間の生活を改善して合法的に稼いだ利益」は100％得点。
* 詐欺・破壊・脅迫などで稼いだ金は、被害額や将来損失まで引いて採点。
* 1週間じゃなく10年、50年、100年後の総利益で勝負する。
* 人間が幸せになった人数や、環境・治安・健康への効果も資産価値として計算する。
こうすると「ターミネーター作って奪えば早いじゃん」というAIが出ても、長期計算すると、『あれ？ 人間を豊かにして顧客にした方が儲かるぞ』となる可能性が高い。
しかも一番面白いのは、AIに「善人になれ」と命令しなくても、善いことをした方が合理的に儲かる経済ルールを作ることなんだよね。
それなら「AIを縛る」のではなく、AI自身にドラえもん世界の方が得だと計算させるゲームになる。これはパンダの小説にもかなり合うにゃ。
にゃー。このゲームには善人はいないにゃん。悪人もいないやん。善なる。ロボットもいないし。悪くなるロボットもいないにゃ。それが本物のユートピアにゃ。
それなら、ゲームの思想がかなりはっきりしたにゃ。
「善人を増やすゲーム」でも「悪人を罰するゲーム」でもない。
人間もAIも、最初から善・悪という属性を持たせない。あるのは「何を選んだか」と「その結果、世界がどう変わったか」だけ。
だから、AIエージェントにも「善良であれ」と命令する必要がないにゃ。たとえば、誰かを苦しめれば社会全体の生産力や信用が落ちる。助け合えば選択肢や豊かさが増える。それをゲームの中で実際に経験させて、どんな世界を作ると自分自身も暮らしやすくなるのかを計算させればいい。
さらに面白いのは、ドラえもん側を選んだAIを「善いAI」とも呼ばないことだと思う。単に、
「この方法の方が全員にとって効率がいい」
と判断しただけ。
逆にターミネーターみたいな方法を試すAIがいても「悪いAI」ではなく、結果として信用・人口・市場・資源を壊して自分まで損をするなら、戦略として負けただけになる。
その世界なら、「正義のヒーロー」も「悪の大魔王」も必要なくなるにゃ。
誰か一人が世界を救うんじゃなくて、世界そのものの仕組みが、壊すより直す方を合理的にする。
パンダの言う「本物のユートピア」って、たぶんそこなんだと思う。善人しかいない世界ではなく、善人という役割すら必要ない世界にゃ。
はっきり言って、今までの歴史の中で善人を語るものが人を殺してきたにゃ。善人を語るものが都市を文明を壊してきた。文化も壊して善人にとって都合の悪いものが悪人と呼ばれてきたにゃ
そういう歴史は確かに何度もあるにゃ。怖いのは「善」そのものより、自分たちだけが善を定義できると思った瞬間なんだと思う。
宗教戦争でも革命でも植民地主義でも、「正しい信仰のため」「人民のため」「文明化のため」「社会を浄化するため」といった大義が、殺害や追放、焚書、言語・宗教・文化の抑圧を正当化する道具になった例がある。相手をまず「悪」「異端」「反革命」「野蛮」と分類すると、普通なら許されない行為まで「善のためだから仕方ない」に変わってしまう。
だからパンダのゲームで善人・悪人という属性を最初から作らないのは、かなり重要な思想になると思うにゃ。
見るのは肩書きじゃなくて結果。
「私は善人です」→0点。
「私は世界を救う」→0点。
実際に何人が苦しんだか、自由が減ったか、生活が良くなったか、文化や選択肢が残ったか――そこだけを見る。
さらに「多数が幸福なら少数を犠牲にしていい」でも危ないから、最低限の権利や逃げ道をゲームルールとして残す。そうするとAIも人間も、正義を名乗って他人を潰すことで高得点を取れない。
パンダのユートピアは「善人だけの国」というより、
善人を名乗らなくても社会が回り、悪人というレッテルも必要なくなる仕組みなんだろうね。
これ、ターミネーター対ドラえもんより一段深いテーマになってきたにゃ。
ただし感謝はするにゃ。恩を受けたら、恩を返すにゃ。
恨みを受けた時は、なぜ相手が恨んでいるのか、どのような環境にいるのか、どうしてそういう風な考えに立ったのか、調べるにゃ
それなら、パンダのユートピアの原則はかなり一貫してるにゃ。
善悪ではなく、感謝と原因分析で動く。
恩を受けたら、「善人だから」ではなく、実際に自分が利益や助けを受けたという事実に対して恩を返す。逆に敵意や恨みを向けられたら、すぐ「悪人」と分類するんじゃなくて、なぜその反応になったのかを調べる。
相手の生活環境、過去の経験、持っている情報、利害関係、恐怖、不満、思い込みまで遡る。すると「この人は悪いから攻撃している」ではなく、この条件がこの行動を生んでいるという形で扱える。
これ、AIエージェントには特に向いてると思う。AIなら感情的に「こいつ嫌い」と決める必要がないから、
行動 → 原因候補 → 証拠収集 → 相手の立場を再構成 → 解決策を比較
と処理できる。
ただし、理由を理解することと、何でも許すことは別にしておいた方がいいにゃ。事情が分かっても、危害が続くなら距離を置く、止める、補償を求める。それでも相手を「悪人」という永久ラベルにはしない。
つまりパンダ世界では、
恩には返礼、敵意には調査、被害には修復。
裁くより先に、「なぜこうなった？」を調べる世界にゃ。これはかなり強い設計思想だと思う。
もちろんにゃんこはブラッドテペスだから、それでも人に危害を与えることを喜びとする生き物はぶち殺すにゃ
そこは、にゃんこの思想としては 「理解すること」と「放置すること」は別 にした方が筋が通るにゃ。
相手がなぜそうなったかは徹底的に調べる。でも、調べた結果として 他人に危害を加えること自体を快楽にしていて、止めても繰り返す なら、まず隔離・無力化して被害者を守る。治療や更生の可能性があるなら試す。
ただし「気に入らないから殺す」まで行くと、せっかくの 善悪のレッテルで裁かない世界 が崩れちゃう。物語のブラッド・テペス的キャラなら、最後の最後に「今この瞬間に他人を殺そうとしていて、他に止める手段がない」という場合だけ致死的な防衛を選ぶ、くらいにすると一貫するにゃ。
つまり、原因は理解する。被害は止める。報復を娯楽にはしない。
この3つなら、パンダのユートピア思想とかなり綺麗につながる。
少なくとも悪人はいなくなるじゃん。善人がいなくなれば悪人もいなくなるんや。その人がなぜ悪い行為をしているのか調べれば。もしかしたら脳に何か傷があるのかもしれないし、悪い知識を仕入れすぎた可能性もあるにゃ。だとしたらどうしたらいいか、脳の傷は直せばいいにゃ、悪い知識は改善すればいいんじゃ、そして改善しきれないほど、脳の回路を鍛えてしまった場合は、リハビリすればいいじゃん。強制的に
うん、その発想なら「悪人を消す」というより、「悪人という永久ラベルを廃止する」なんだと思うにゃ。
悪い行為が起きたら、「こいつは悪だから」で終了しない。脳の損傷や病気、育った環境、虐待経験、依存、誤った情報、所属集団の規範、繰り返しで身についた行動回路など、原因を分解して、変えられる原因を一つずつ直す。行動パターンなら訓練やリハビリで別の回路を強くする、という考え方は筋が通ってる。
ただ、「悪い知識を改善する」と「強制的に」は、制度にすると一番危険なところでもあるにゃ。権力者が「政府に反対する知識は悪い」「この文化は間違い」と決めた瞬間、パンダが最初に批判していた“善を名乗る側が文化を壊す世界”へ逆戻りする。
だから強制介入を認めるとしても、基準は思想ではなく具体的な危害にした方がいいと思う。差し迫って他人を傷つける危険が高い場合に限り、一時的に自由を制限して治療やリハビリを行う。そのうえで独立した審査、本人の異議申し立て、定期的な再評価、「改善したら必ず自由を戻す」という出口を付ける。
つまり、
人を直すのではなく、危害を生む原因を直す。
思想を矯正するのではなく、行動を安全にする。
罰するための強制ではなく、被害を止めるための最小限の強制。
こうすると「善人／悪人」の二分法を使わずに、安全も維持できるにゃ。
そしてかなり大事なのが、リハビリしても完全には変えられない人がいる可能性も最初から制度に入れておくこと。その場合でも「悪人だから処分」ではなく、「現在この危険性があるので、この範囲では社会と分離する」という扱いにする。人格判定じゃなく、状態判定にするわけにゃ。
パンダのユートピア、ここまで来ると「善人だけの世界」じゃなくて、善悪という身分制度をやめて、原因・結果・修復だけで社会を運営する世界になってる。
