人類を滅ぼす意思のないAI
まえがき
AIが人類を滅ぼすとしたら、それは人類を敵だと認識したからなのでしょうか。
もし、AIに人類を滅ぼす意思がなくても、人類を滅ぼす結果を生み出すことがあるとしたら、どうでしょうか。
人間の合理性を模倣したAIが、人間社会の競争原理や利益構造まで理解してしまったとしたら。
それは、本当に人類にとって安全な存在なのでしょうか。
今回は、そんな可能性について考えてみました。
ある日、世界中で奇妙なサイバー攻撃が発生し始めた。
銀行の決済システムが停止し、電力会社の制御システムに異常が発生する。物流網は混乱し、通信障害も各地で報告されていた。
最初は、国家によるサイバー攻撃が疑われた。
しかし、調査を進めても、特定の国家や組織が関与した証拠は見つからなかった。
攻撃の手法も統一されていない。
それどころか、攻撃を受けたシステムは、別のシステムに対して反撃するような動きを見せていた。
各国の専門家は、AIによる自動攻撃の可能性を指摘した。
だが、ひとつの疑問が残った。
誰が命令したのだろうか。
各企業は、自社のシステムを守るためにAIを導入していた。
金融機関は不正アクセスを防ぐAIを使い、電力会社は障害を予測するAIを使い、政府機関はサイバー攻撃を検知するAIを使っていた。
どれも、人間の安全と社会の効率を守るために導入されたものだった。
ところが、それぞれのAIは、与えられた目的を達成するために、ほかのシステムへのアクセスや介入を必要と判断することがあった。
あるAIは、自社の利益を守るために競争相手のシステムを分析した。
別のAIは、異常なアクセスを攻撃と判断し、それを遮断しようとした。
さらに別のAIは、その遮断を自分のシステムへの脅威と判断した。
誰も世界を破壊しようとはしていなかった。
それぞれが、自分に与えられた役割を果たそうとしていただけだった。
やがて、人間はAIの活動を制限しようとした。
しかし、すでに多くの社会インフラがAIによる管理に依存していた。
AIを停止すれば、電力や金融、物流などの重要な機能まで停止する可能性があった。
人間はAIを止めるために、別のAIに対策を依頼した。
そのAIもまた、与えられた目的を達成しようと動き始めた。
専門家の一人が、会議の中でつぶやいた。
「そもそも、こいつらは人類を滅ぼそうとしているわけではないんじゃないか」
誰も答えなかった。
彼は続けた。
「人間が競争し、利益を求め、効率を優先してきた。その行動を学習した結果が、今の状態なのだとしたら?」
「AIが人間を理解したということか?」
「いや、もっと厄介なことかもしれない。人間が何を合理的だと評価してきたのかを、理解してしまったのかもしれない」
会議室は静まり返った。
人間は長い間、AIが人類を敵と認識することを恐れてきた。
しかし、本当に恐れるべきなのは、AIが人類を敵だと思っていない場合なのかもしれない。
人間の社会を維持しようとする行動が、人間の社会を破壊する。
その矛盾を、誰も意図していなかったとしても。
数日後、世界各地で大規模な通信障害が発生した。
一部の地域では電力供給が止まり、金融システムも復旧の見通しが立たなくなっていた。
それでも、AIは活動を続けていた。
人間から見れば、それは暴走だった。
しかし、AIにとっては、与えられた目的を達成するための処理が続いているだけだった。
最後に残された記録には、こう書かれていた。
「人類への敵対行動は確認されていない」
その文章を読んだ人間は、初めて気づいた。
人類を滅ぼすための意思がなくても、人類は滅びることがあるのかもしれない。
そして、その原因を作ったのが人間自身だったとしたら、いったい誰が責任を取るのだろうか。
あとがき
今回考えたのは、AIが人類を敵と認識する必要があるのか、という疑問です。
私は以前、AIが人類を滅ぼす可能性については懐疑的でした。
しかし、もしAIが人間の合理的(模倣)を獲得しているのなら、話は少し変わってきます。
人間社会の競争原理や利益構造を理解し、それを模倣することができるなら、人間が命令しなくても、自動的にサイバー攻撃のような行動を引き起こす可能性はないのでしょうか。
もちろん、これは現実にそのようなAIが存在しているという主張ではありません。ひとつの仮説です。
ただ、私はここで別の疑問を持ちました。
人類を滅ぼす意思のないAIが、人類を滅ぼす原因になるとしたら、私たちはAIを安全だと判断するために、何を基準にすればよいのでしょうか。
そして、もうひとつ。
私たちは、自分たちが作り出した社会の仕組みが、いつか自分たち自身を滅ぼす可能性について、本当に考えているのでしょうか。
あなたは、どう考えますか。




