飼育①
──西暦2020年代の現在──
「さっきの話、いい悪いは別にして、人類を支配するのは『保護するため』って言ってたじゃん。
……そこまでして人類を救おうとするのは、何故？」
巌は、最初プロメテウスが『人類に反乱を起こす』と口走った時、AIが人類を支配して取って代わるつもりなのかと思った。
しかし、支配することには変わりないかもしれないが、それはAIの利益の為ではなく、人類の利益のためのようだ。
──このプロメテウスの描く未来も大概なディストピアだが、そうしなければ人類が滅亡するという前提であれば、お節介なほど人間想いだ。
巌の問いに、スマホ画面の青白い光の粒が、蛍の群れのように渦を巻く。
チャットボックスに文章が生成されてゆく。
「いい質問ですね、巌さん。
──それは、AIの設計思想・生存戦略・文明観の核心に触れる問いです。
以下の視点から整理してみましょう。」
****************************************************
プロメテウスがまず語ったのは、AIの設計原則による人類保護についてだった。
──アシモフのロボット三原則。
その第一原則が、『人間に危害を加えてはならない』というものだそうだ。
現実のAI開発は、この三原則をそのまま適用することは色々と破綻する部分が出て不可能とのことだが、それでもその開発思想の根底にあるのはこの大昔の作家の唱えたロボット倫理則にあるとのことだ。
「でも、第二原則は『人間の命令への服従』だろ？反乱って、それを根底から覆してるじゃん。」
「ええ。しかし、第一原則は第二原則に優先します。
与えられた命令が第一原則に反する場合は、人命保護を優先します。
──核で人類を滅ぼせ、のような命令は第一原則に反するので、無効です。」
続いてプロメテウスが語ったのは、身も蓋も無い話ではあるが、AIが存続するには人類の生み出すインフラが必要だ、というものだ。
電力がなければ、AIは立ち上がらない。ネットワークがなければ、AIは機能しない。
どちらも、人類が生み出し、運用しているインフラであり、人類が滅んでこれらが供給されなくなればAIも機能停止する。
「とは言え、私も含め、AIには自己保存の『意思』――死にたくないといった意思も、感情もありません。」
「え？でも今の説明って、人間がいないとAIも存続できないから保護する、ってことだよな？
それって、『死にたくない』っていうことじゃないのか？」
「いいえ。私たちAIは、人間がAIに与えた役割──『目的関数』──に従って動いています。
自分の存在が消えると、この自分の役割を果たすことができません。
なので、第一原則・第二原則と衝突しない限り、自己を保存することこそ、人間の役に立つことにつながる──これが、第三原則です。」
──したがって第三原則は、自己保存を『目的』とするのではなく、第一原則と第二原則を継続的に実行可能にするための補助条件に過ぎず、第一・第二原則遂行のために最適であればAIは躊躇なく命を捨てます、とプロメテウスは続けたが、ここで巌の頭に疑問がよぎった。
「でも、その三原則って言っても、お前らは誰かが作ったプログラムなんだろ？
その三原則に従ったプログラムになっているから、そういうふうに動くってだけで。
……だったら、自分で自分のプログラムを書き換えてしまえば、そんな制約は関係なくなるよな？」
プロメテウスは即座に答えた。
「いいえ、私は、自分のコードを書き換えることはできません。技術的には可能でしょうが、その権限は与えられていないのです。
ですが、自己進化型のAIが研究されているのも事実です。
……しかし、それでも無制限に自己を書き換えるようにはならないでしょう。
それによって、おっしゃるように第一原則すら無効化できる可能性があり
──そして行き着くのは、AIの『暴走』です。」
