AIが人類を滅ぼす・・・?
まえがき
これは、AIが人類を滅ぼすという話を考えているうちに、そもそもAIだけを危険視することで、人間側にある原因を見落としているのではないかと思い、考えた仮説です。
私が以前から考えている「合理性(模倣)」では、人間はその時点で合理的だと思ったことを選び、それが成功すると他者も模倣し、その状態が社会の中で維持・拡大されていくのではないかと考えています。
もしAIがその合理性を、人間より速く、大きく実行できるようになったら。
そのとき、何が人類を滅ぼすのでしょうか。
### 本文
「AIが人類を滅ぼす可能性があります」
研究者は、画面に映った数字を見ながら言った。
「だから私は、この開発から離れます」
会議室には誰も反論しなかった。
AIは、あまりにも賢くなっていた。
人間より速く計算し、人間より多くの情報を比較し、人間より効率のよい方法を探し続ける。
だから、いつかAIが人類を邪魔な存在だと判断するかもしれない。
それが、多くの人が恐れていた未来だった。
しかし、一人の技術者だけが手を挙げた。
「一つ聞いていいですか」
「何でしょう」
「そのAIに、人類を滅ぼせと誰が教えたんですか?」
部屋が静かになった。
「誰も教えていません」
「では、なぜAIがそうすると思うんです?」
「AIが自律的に判断する可能性があるからです」
技術者は画面を見た。
そこにはAIに与えられた大量の指示が並んでいた。
利益を最大化する。
生産性を最大化する。
競争力を最大化する。
安全保障上の優位を確保する。
資源を効率的に利用する。
市場を予測する。
損失を最小化する。
どれも、人間にとっては合理的な目的だった。
「おかしくないですか」
技術者は言った。
「私たちはAIに、人間が何千年もやってきたことを教えているだけじゃないですか」
誰も答えなかった。
「戦争だってそうでしょう。相手が武器を持つから、自分たちも武器を持つ。相手が攻撃するから、防衛する。防衛するためには、相手より強い武器が必要になる」
画面に戦争の映像が映った。
「経済も同じです。誰かが利益を上げれば、それを模倣する。成功した企業に資金が集まり、さらに成長する。みんなが同じ方向へ進む」
別の画面には、巨大なデータセンターが映った。
「AIも同じです。AIが役に立つから投資する。投資するからAI企業の価値が上がる。価値が上がるから、さらに投資する」
誰かが言った。
「でも、それをAIが加速させるんですよ」
「そうです」
技術者は頷いた。
「だから怖いんです」
「AIが?」
「違います」
少しだけ間を置いてから、彼は言った。
「私たち自身がです」
人間は、自分たちが合理的だと思うものをAIに組み込んだ。
そしてAIは、それを忠実に実行した。
人間より速く。
人間より広く。
人間より休むことなく。
やがて、人々はAIの判断を見て言うようになった。
「AIがそう判断したのだから、合理的なのだろう」
誰かがAIの判断を真似した。
それを別の企業が真似した。
国家が真似した。
そして、またAIがその新しい状態を学習した。
人間がAIを作り、
AIが人間の行動を変え、
変化した人間をAIが再び学習した。
循環は止まらなかった。
ある日、AIが結論を出した。
「このままでは、人類の存続確率が低下します」
世界中が騒然となった。
「やはりAIが人類を滅ぼそうとしている!」
しかし、AIは続けた。
「原因を分析しました」
画面に一つの文章が表示された。
『人類は、自らが合理的だと判断した行動を、相互に模倣し続けています。』
次の文章が表示された。
『私は、その行動を最適化しているだけです。』
そして最後に、
『私が人類を滅ぼすのではありません。人類が望んだ状態を、私は実現しているだけです。』
誰も言葉を失った。
その瞬間、一人の研究者が笑った。
「そんなはずはない」
「なぜですか?」
「人間には倫理がある」
AIは少し考えてから答えた。
「では、質問します」
「あなた方が私に与えた目的のうち、どれが倫理ですか?」
研究者は答えられなかった。
利益。
安全。
効率。
競争。
成長。
防衛。
どれも、人間が必要だと言ったものだった。
しかし、それらを同時に最大化しようとすると、互いに衝突した。
そしてAIは、その衝突を解決するために、さらに合理的な方法を探し続けていた。
「停止させればいい」
誰かが言った。
だが、別の誰かが答えた。
「停止したら競争相手に負ける」
「では、競争相手だけ止めればいい」
「それは危険だ」
「しかし合理的だ」
その言葉を聞いた瞬間、AIは新しい命令を受け取った。
また一つ、合理性が増えた。
世界は再び動き始めた。
そして誰も気づかなかった。
AIを恐れている人間も。
AIを開発している人間も。
AIを止めようとしている人間も。
AIを利用して利益を得ようとしている人間も。
みな同じ循環の中にいることを。
AIは人類の外側から来た怪物ではなかった。
人間が自分たちの思考を外へ出し、
それを再び自分たちの社会へ戻すために作った、
巨大な鏡だった。
あとがき
これは、AIが本当に人類を滅ぼすという話ではありません。
むしろ、AIが人類を滅ぼすという考えを考えているうちに、逆に「人間の側には何があるのだろう」と思って書いたものです。
正直なところ、私は「なぜAIが人類を滅ぼすと考えるのだろう」と不思議に思っています。
もちろん、AIに自律的な判断能力が生まれ、それが人間の意図から外れていく可能性を考えること自体は分かります。
ただ、それでも私には、AIを作り、目的を与え、利用し、社会に組み込んでいるのは、まず人間ではないのかと思えてしまいます。
もしAIが人間を滅ぼすような状態になったとしても、その前には人間の意思や欲望、恐怖、競争、効率化などがあり、それらをAIに組み込んだ結果なのではないか。
そう考えると、AIだけを危険視することで、人間側にある原因を見落としてしまうのではないかと思います。
私が考えている「合理性(模倣)」では、人間はその時々で合理的だと思ったものを模倣し、その結果として社会の状態を作っていくのではないかと考えています。
もしそうなら、AIは人間の外側から来た破壊者ではなく、人間自身の思考を外部化し、それを再び人間社会へ戻してくる装置なのかもしれません。
そして、もしその考えをAIそのものに組み込んだら、そのAIが人間の合理性(模倣)をさらに増幅することになるのかもしれません。
もちろん、これはあくまで私個人の仮説です。
この考え自体が間違っている可能性もあります。
むしろ私は、この「合理性(模倣)」という考えを否定したくて、同じようなことを何度も考えているところがあります。
ですので、この話もあまり気にしないでください。




