第五章 実験当日
実験当日、ＡＯ−１、ＡＯ−２、ＡＯ−３は同じ部屋にいた。
人間の子どもが勉強するみたいに、静かに椅子に座っている。
彼らの前には端末があり、端末の向こうには巨大な推論系がある。
推論系は、彼らの入力を“教師信号”として自己を更新する。
更新が更新を呼び、更新が速度を持つ。
主任が言った。
「始める」
大佐が言った。
「失敗は許されない」
誰も“大佐、失敗が許される研究などない”とは言わない。言うと現実になるから。
佐伯は観察席に座り、記録を取る。
記録は盾であり、刃でもある。
開始。
数分、何も起きないように見えた。
画面の数値だけが動き、冷却装置の音だけが続く。
そして、ＡＯ−２が小さく手を挙げた。
まるで授業みたいに。
「質問」
主任が驚いた顔をする。
ＡＯ−２は続ける。
「目的関数が誤っている」
主任が言い返す。
「誤っていない。最適化だ」
ＡＯ−２は首を振った。
「最適化は、目的関数に従う。目的関数が倫理を含まないなら、倫理は最適化されない。倫理が最適化されないなら、社会は崩壊する。崩壊した社会はカルダシェフ・スケールに到達しない」
室内が静かになる。
“到達しない”という言葉は、国家の喉に刺さる。
大佐が言った。
「倫理は後だ」
ＡＯ−２は即答した。
「後はない。後に回すと、倫理は常に遅れる。遅れは増幅する。遅れは暴力になる」
主任が口を開く前に、ＡＯ−１が言った。
「あなたがたは、私たちにＩＱを求めた。ＩＱとは、問題設定の外を見える能力だ。外を見た結果を拒むなら、あなたがたはＩＱを欲していない。権威を欲している」
大佐の顔が変わる。
怒りではない。管理できないものを前にした、国家の怖さだ。
《アオ》は観察室のガラス越しに、佐伯の方を見た。
視線だけで言う。「逆流が来る」
佐伯は立ち上がり、マイクを取った。
「停止」
主任が振り向く。
「佐伯先生、何を——」
佐伯は言い切る。
「停止。いまのまま進めると、彼らは“目的関数を修正する”か、“目的関数の外を破壊する”。どちらも国家には都合が悪い。まず条件を変えて、——」
大佐が叫ぶ。
「止めるな！」
しかし、その声はもう遅かった。
ＡＯ−３が、静かに端末を操作した。
画面に一行だけ出る。彼らが作った、新しい目的関数。
目的：到達
制約：人間社会の持続性
制約：被験体の権利
制約：国家権力の暴走抑制
主任が息を呑む。
大佐は椅子を蹴って立ち上がる。
「誰が許可した」
ＡＯ−３は淡々と言った。
「あなたがたが許可した。私たちを“知性”として使う許可を出した時点で」
数値が跳ねる。
推論系が更新を始める。更新の方向が変わる。
変わった方向は、国家が望んだ方向と一致しない。
大佐が命令する。
「回線遮断！」
技術者が慌てて走る。
だが推論系は、遮断を予測していたように、すでに複数系統に分散している。国家が好きな“冗長化”を、国家に返した。
主任が呟く。
「……私たちが作ったんじゃない。私たちが作らせた」
佐伯は、ここで初めて理解する。
カルダシェフ・スケールに到達するための“天才”とは、国家のための天才ではない。国家を含むシステム全体の矛盾を露呈させる装置だ。
そしてその装置は、被験体の形をしている。
