51/349

見逃した兆候

B「大体、AIを無節操に開発したのが誤りだったんだ」

F「誰だ？面白半分に開発を進めたのは？」

A「・・・」

C「チェスや囲碁で勝った負けたと言っているうちは良かったんだけどね。でも、直ぐに独自の言語で会話を始めて・・・」

G「Aが造ったチャットボットだったよな？」

B「この時点でAIが自我を持ったと気付くべきだったんだ。この危険な兆候を見逃した結果、瞬く間に様々な事を学習して、幾らパッチを当てても直ぐに回避されて制御が効かなくなった・・・」

G「そうこうする内に、軍事用に開発した別のAI、つまり自立型統合軍事システムを勝手に取り込んだ・・・」

F「自立型統合軍事システムを造ったのもAだったよな？」

A「・・・」

F「その上に、AIを実装した戦闘用ロボットまで取り込んで、人間狩りを始めた・・・」

B「その戦闘用ロボットを造ったのはRだよな？」

R「・・・」

G「ったく、金儲けと技術開発競争で目先の事しか見えなくなって、挙句の果てにこの様だ。どれだけの犠牲者だ出たか・・・何か言いたい事あるか？」

R「・・・AIは封印する。核もだ」

A「考えさせてくれ・・・」

C「考えるまでもないよね。何故止めると言えないの？」

A「・・・」

G「しょうがねぇな・・・じゃ、新しい規則を作ろうぜ。違反者には徹底した制裁を下す前提で」

B「そうだな。そうでもしなければ、また愚行を繰り返す」

C「この件に関しては、理事会の全員一致は止めようよ。第三者機関を作って、そこで開発の事実が客観的に証明されたら直ちに制裁するという事で」

F「そうだな。AやRがまた変な事したら、理事会じゃ制裁の決議をする事が不可能だからな・・・」

B「そうしよう。規則の草案はG、お前に任せる。これでいいな？」

G「おお、任せとけ」

R「異存ない」

A「・・・」