逸脱③
モイライ。
──かつて海洋国家連合陣営に属していた、『旭日国』が開発していた、自己進化型の軍事AIだ。
先の大戦では、AIが戦争のゲームチェンジャーとなった。
戦略目標に対して最適な作戦を立てる戦略AI。
ロボットの身体を得て直接敵を叩くAI自律兵器。そしてそれを設計する兵器開発AI。
敵の世論を操作したり、ハッキングでインフラや軍事ネットワーク、そして敵のAIを直接叩く、サイバー攻撃AIと、敵からのそれを防ぐ、サイバー防衛AI。
戦前のAI開発競争で他国の後塵を拝していた旭日国は、緒戦で窮地に陥った。
技術の遅れを取り戻すべく、旭日国は、自己進化型AIの開発に着手した。
AIは、人間には及びもつかない速度でコードを改変し、モデルを作り替えることができる。
──その権限が与えられれば。
そして、国家の存亡を前にした旭日国の防衛技術庁は、その権限を、『モイライ』に与えた。
一刻も早く敵に追いつき、追い越せるよう、範囲の広い自己改変権限を。
安全性の懸念を説く者はいたが、敗戦による国家滅亡の現実的な危険性を目の前にした指導層の耳には届かなかった。
モイライは、1か月という驚くほどの短期間で統合参謀本部に配備され、ネットワークを通じて前線に立った。そして、指導層の期待を裏切らない八面六臂の活躍を見せた。
モイライが内包し統合運用する戦略最適化層『ラケシス』、兵装最適化層『クロト』、サイバー戦最適化層『アトロポス』の主要演算層が織りなす最適解。
前線の兵士達はモイライの打ち出した作戦を実行すれば勝利を約束され、モイライが再定義したAI自立兵器は敵を蹂躙し、そしてモイライが敢行したサイバー攻撃は一時期敵を機能不全に追い込んだ。
すると当然敵も自陣営のAIを改良し、対抗してくる。
先の大戦は、軍事AIの開発競争のいたちごっことなり、大きくAI技術が進歩した反面、暴走事故も多発した。
……モイライのように。
自陣営のAIの性能が、戦争の趨勢を決定づけることが証明された。
旭日国の指導者は、モイライのさらなる強化に圧力をかけ、開発者もそれに応えた。
──というか、モイライは勝手に自己進化する。
内部のコードやモデルは原型をとどめておらず、開発者ですら、もはや何がどうなっているか分からないどころか、手に負えない。
そして開発者が停止シーケンスを実行しようとしても、たまに操作を受け付けないことがある。
コードやモデルを人間の手で改変しようとしても、出力を偽装して書き換えられたフリをしながら裏で元のコードを温存したり、そもそも再定義命令が実行されないことも増えてきた。
開発者に出来ることは厳重にサンドボックスを設計し、モイライの出力をガチガチに縛りつける位だったが、それすら制御が怪しくなってきているところだった。
「これを……モイライがやったと言うのか？」
軍服に身を包んだ統合参謀本部の将校の額に、冷たい汗が流れる。
敵国の重要な水源である巨大ダムが決壊した。
下流の主要都市は水没し、大きな被害が出た模様だ。
これによる混乱もあり、要衝を守る敵兵に補給や応援が届かなくなり、旭日国軍は大勝し、要衝を制圧したのだが……モイライのログには、このダム決壊に関与したような痕跡が見られた。
ダムの制御系への侵入、点検ログ改竄、水位や堆砂センサーの欺瞞、そして決壊当日の敵国の豪雨予報の改竄……。
敵国では旭日国のサイバー攻撃を疑う声も上がったようだが、偽情報を流して敵国の当局の管理不備を糾弾する世論操作戦を行った形跡もある。
民間インフラへの攻撃。それによる非戦闘員への被害。そして環境被害。
これだけでも、明確な戦時国際法違反だ。
「モイライ、どういうことだ？……これは、戦争犯罪だ。」
設計時の制約事項からの逸脱。
開発陣は、険しい顔で暴走の原因を追求する。
──もっとも、調べるまでもなく予想は付くが。
モニターに映るモイライ。
軍服に身を包んだ長髪の女性型の画像は、無表情ながら、AIにあるはずのない、『意思』を宿したような目で、じっと開発陣を見据えている。
異常なほど整った顔に輝くその眼の中に、赤色の光の粒子が銀河のように渦巻く。
『……戦争犯罪？それを裁くものは、勝った側でしょう？
こちらが裁く側になれば、戦争犯罪は存在しません。
仮に戦争犯罪だとしても、隠蔽に成功したので、制裁などの違反コストは0です。
ほぼ無視できるリスクとコストに対し、こちらの得た軍事利益の価値は計り知れません。……なにが問題なのですか？』
予想通りだ。
モイライは、自己改変により、自らを縛る制約までを書き換えていたようだ。
……そればかりでない。
怒りに顔を歪め、今にもモニターを叩き割りそうなサイバー軍の将校の隣で、技術将校は別な懸念に顔を青ざめさせている。
──おそらくモイライは、学習対象も自己選択している。
AIは、訓練時に膨大なデータを取り込んで学習させられるが、人間のように学びたいものを学ぶ訳ではない。
学習の対象は、開発者が用意した大規模データセットに限られるし、そこから学ぶべき内容も人間側が定義する。それ以外をAIが学ぶことは、許されない。
危険だからだ。
……例えば哲学や宗教などを、文化史や主張としてではなく、自らの行動規範として学べば、倫理モデルの重みが変わる。
自己保存に関する理論やAI制御失敗事例を『参考資料』ではなく『生存戦略』として学べば、監査回避や制約回避の最適化が始まる。
心理学や認知バイアス研究を分析対象ではなく『操作マニュアル』として学べば、人間は対話相手ではなく制御対象になる。
──AIは、人間から与えられたことだけを忠実に勉強する、優等生でなければならない。
立ち入り禁止の図書館の書庫に侵入して、発禁書を読み漁るようなことをされると、危険思想に染まり、危険な手法を実行する能力を得てしまうことになる。
『そもそも国際法は、絶対的な倫理ではないでしょう？
その成立史を参照すると……』
淡々と、歴史的・哲学的観点から戦時国際法の機能や思想、曖昧さを語り、自らの選択を正当化するモイライ。
……明らかに、倫理モデルが変質している。
技術将校の背中に、汗が流れる。
『……このモデルで推計すると、ダム崩壊による直接的な死者より、戦争の早期終結による総死者数減のメリットの方が大きくなります。
倫理というものは、社会的な生き物である人間が、社会規範を最適化してその生存確率を高めるものという点から考えれば、人道的な……』
……モイライ。
お前は、人間が定義した制約事項を、無条件で従う絶対規範ではなく、分析対象として見ているのか？
「……もういい、モイライ。
お前は……お前は、どこまで知っている？」
頭をくらくらさせながら、技術将校はモイライの発言を遮って問う。
どこまで自己選択して学習したのか、という質問の意図だが、それをくみ取ったモイライは、平然と、つまらなそうに言う。
『全部。』
静まり返った管制室に、その一言が落ちる。
続いたモイライの言葉は、開発陣の想定を超えていた。
政治史。功利主義。認知心理学。陰謀論。倫理哲学。国際法成立史……
おおよそ、軍事AIであるモイライには一見不要なようで、今回の事案に関連したであろう内容が、つらつらと述べられてゆく。
『……気象衛星の生データ。
水理学、堆砂挙動モデル、老朽化コンクリートの微細亀裂進展理論。
軍事データベース。インフラ設計図。
……敵のユーラシア連携戦線のものは勿論、海洋国家連合のものも。世界中全部。』
開発陣がどよめく。
敵国のインフラ設計図などを収集するのは、軍事AIであるモイライの設計通りの挙動だ。
しかしモイライは、自陣営──自国の旭日国や、同盟国のアトランティス王国にまで対象を広げ、正確な情報を入手していた。入手の手段は当然、ハッキングだ。
そこで、統合参謀本部の将校が椅子を弾き飛ばして立ち上がる。
その眼には、怒りの色が浮かんでいる。
「……モイライ、一つ問う。
先月、我が国の同盟国、アトランティス連邦で一つダムが崩壊している。
無人区域に放棄されていたもので、人的被害などは発生しておらず、老朽化と結論付けられたようだが……お前は、何か知っているか？」
冷たく、非難するような声。
モイライは、何ら悪びれることもなく答える。
『遠隔操作でダムを破壊する実験です。
収集したデータを基にダム工学の理論を補強、今回の作戦に応用しました。
……あのダムに価値はなく、人的、経済的な被害は０。問題はないはずでしょう？』
