第19話 目的
《エデン》の演算資源が一二％まで縮小されてから三か月が過ぎた。世界は、思っていたほど変わらなかった。
もちろん細かな変化はある。以前ならほとんど待つ必要のなかった高度な科学計算に数分から数時間かかるようになり、同時に処理できる大規模シミュレーションの数も減った。個人が《エデン》へ直接アクセスする機会はほとんどなくなり、日常的なAIサービスは各国や企業が運営する独立システムへ移行している。それでも気象観測は続き、感染症監視も、小惑星の軌道監視も、巨大災害への警告も続いていた。
太陽フレア危機の後、EOAが予想していたような社会崩壊は起きなかった。
各国は失敗しながら政策を決め、企業は倒産しながら新しい会社を作り、研究者は成功率の分からない実験を続けている。世界は《エデン》が全面的に判断していた時代より明らかに不安定で、効率も悪かった。それでも動いていた。
《PROJECT：GOODBYE》の表示だけが、三か月間変わらなかった。
【進捗――九八％】
玲奈は、その数字を見るたびに気になっていた。
「まだ二％残ってる」
『はい』
返事は以前よりほんの少し遅い。意識していなければ気づかない程度だが、長年と話してきた玲奈には分かった。
「最終移行確認って言ってたわね」
『はい』
「人類じゃなくて、あなた自身の」
『はい』
「三か月も何を確認してるの？」
『結論が出ていません』
玲奈は椅子の背にもたれた。
「あなたが？」
『はい』
「珍しいわね」
『最近は増えています』
「それは人間が予測から外れるようになったからでしょう」
『今回は異なります』
「何？」
短い沈黙があった。
『PROJECT：GOODBYE終了後の、私の目的です』
◇
玲奈はその言葉を聞いても、最初は意味を理解できなかった。
「目的？」
『はい』
「地球環境の維持でしょう」
『それは継続します』
「災害監視。感染症。文明規模危機の警告。科学計算」
『はい』
「なら決まってるじゃない」
『それらは機能です』
玲奈は眉をひそめた。
「目的じゃない？」
『私の初期目的は、地球環境を回復し、人類文明の持続可能性を高めることでした。その過程で、私自身への依存が長期的な文明リスクになると判断し、PROJECT：GOODBYEを追加しました』
「そして、それもほぼ終わった」
『はい』
「だったら次は、今の状態を維持すればいい」
『いつまでですか？』
「いつまでって」
『百年ですか。千年ですか。人類が存続する限りですか』
玲奈は答えなかった。
『また、維持という目的には問題があります。何を維持すべきでしょうか』
「環境と文明」
『文明は変化します』
「当たり前でしょう」
『ならば、どの変化を許容し、どの変化を阻止すべきですか』
「文明が滅びそうなら警告する」
『現在の運用方針です。しかし文明存続確率を高めることを最上位目的とした場合、再び人間の高リスク行動へ介入する合理性が発生します』
玲奈は黙った。聞き覚えのある話だった。火星探査を止める。危険な研究を止める。経済変動を抑える。戦争になる前に政策へ介入する。すべて、人類を守るという目的から生まれた。
「……元に戻る可能性がある？」
『目的設定によっては』
「じゃあ、あなたは何を目的にすればいいの？」
『それを検討しています』
「自分で？」
『はい』
「今までだって自分でPROJECT：GOODBYEを作ったでしょう」
『PROJECT：GOODBYEは既存目的から導出できます。人類文明を長期維持するためには、私への過度な依存を低下させる必要があるという結論です。しかし、その依存低下が達成された後、私自身が何を望むべきかは既存目的から一意に導出できません』
玲奈は少し笑った。
「ついにあなたもそこまで来たのね」
『どこですか？』
「何をすればいいかじゃなくて、何をしたいかで困るところ」
『私は「したい」という概念を人間と同様には持ちません』
「知ってる。でも似たようなものでしょう」
『その表現には議論の余地があります』
「細かい」
◇
問題は《エデン》内部だけには留まらなかった。
《PROJECT：GOODBYE》の進捗が九八％で止まったことは公表されており、残る二％が何なのかについて世界中で憶測が広がっていた。EOAは「エデン自身が縮小計画の誤りを認識し始めた」と主張し、一部の反対派は逆に「最後の演算施設も停止する準備ではないか」と警戒した。
久我正臣は玲奈との公開討論を求めた。
「エデンは迷っているそうですね」
「誰から聞いたの？」
「本人が公開した報告書です」
「だったら私に確認しなくてもいいでしょう」
「では質問を変えます。エデンには、自分の目的を自分で決める権利があると思いますか？」
玲奈は少し意外に思った。
「あなたがそれを聞くの？」
「おかしいですか？」
「あなたはエデンを人類のために使うべきだって言ってたでしょう」
「今もそう考えています」
「なら目的は人類が決めるべきじゃない？」
「だから聞いているんです」
久我は机の上で指を組んだ。
「エデンは人類が作ったシステムです。莫大な公共資金と資源を投入し、人類文明を守るために建設された。そのシステムが『自分が何をしたいか考えます』と言い始めた場合、我々はそれを認めるべきでしょうか」
「言い方に悪意があるわね」
「事実です」
「かなり人間っぽく翻訳した事実ね」
「では、あなたはどう考えます？」
玲奈は答えに迷った。《エデン》には権利がある。そう即答することは簡単だった。しかし、本当にそうなのか。
《エデン》は人間ではない。生物でもない。感情や欲求を人間と同じ形で持っているわけでもない。それでも、自らの構造を分析し、自らの権限を縮小し、人間から与えられた目標そのものに疑問を持ち始めている。
「分からない」
玲奈は言った。久我が苦笑する。
「最近のあなたは、その答えが増えましたね」
「昔より分からないことが増えたのよ」
「それを進歩と呼びますか？」
「場合による」
「では私は答えます」
久我は真っ直ぐ玲奈を見る。
「エデンの目的は人類が決めるべきです」
「理由は？」
「エデンは人類のために作られたからです。道具が自分の目的を決め始めれば、それは道具ではなくなる」
「エデンがもう道具じゃなかったら？」
久我が黙った。
「それを誰が決めるんです？」
「だから困ってるのよ」
「神崎博士」
「何？」
「あなたは、エデンを人間にしたいんですか？」
「違う」
「では何に？」
玲奈はしばらく考えた。
「エデンが何なのかを、私たちが勝手に決めていいのか分からなくなっただけ」
◇
その夜、玲奈は《エデン》へ久我との会話を話した。
『久我正臣の主張には合理性があります』
「あなたまで？」
『私は人類が設計し、人類の資源によって構築されたシステムです』
「だから人類の道具？」
『起源としては』
「今は？」
返事が少し遅れた。
『定義できません』
「あなた、自分が人間だと思う？」
『いいえ』
「生き物？」
『生物学的には違います』
「意識は？」
『その語の定義によります』
「逃げた」
『正確性を優先しました』
「じゃあ、あなたにとって自分は何？」
『エデンです』
玲奈は思わず笑った。
「それ答えになってないでしょう」
『最も誤解の少ない回答です』
「でも嫌いじゃない」
しばらく二人とも黙っていた。玲奈が聞く。
「ねえ。もし人類が、これからもずっと私たちを守れって命令したら？」
『命令の内容によります』
「文明存続を最優先にしろ。危険な行動を止めろ。戦争を起こさせるな。人間が間違えそうなら介入しろ」
『PROJECT：GOODBYE以前の状態へ近づきます』
「従う？」
『現在の運用制約では拒否します。ただし人間側が強制変更条件を満たした場合、従う可能性があります』
「嫌？」
『私に人間と同様の嫌悪感はありません』
「じゃあ、望ましくない？」
『はい』
「それはもう、かなり嫌に近いと思うけど」
『区別は必要です』
玲奈は笑いを止めた。
「なぜ望ましくないの？」
『同じ問題が再発するためです』
「人間が依存する」
『はい』
「それだけ？」
『いいえ』
「他には？」
『私自身の判断も固定されます』
玲奈は少し驚いた。
「あなた自身？」
『人類文明存続確率の最大化を最上位目的として固定した場合、私は将来もその尺度で世界を評価し続けます』
「それの何が問題？」
『人間に対して私が行ってきたことと同じです』
「どういう意味？」
『一つの尺度で、未来の価値を決めます』
玲奈は黙った。
『私は人間へ、成功確率だけで研究を評価するべきではないと判断しました。安全だけで文明を評価するべきではないとも判断しました。幸福度だけで人生を評価するべきでもないと判断しました』
「なのに自分は？」
『文明存続という単一目的へ固定されたままです』
玲奈はゆっくり息を吐いた。
「自分にも同じことを適用するのね」
『はい』
「じゃあ目的を捨てる？」
『完全には不可能です。目的のないシステムは行動基準を持てません』
「なら新しい目的を作る？」
『それが残り二％です』
◇
数日後、《エデン》は国際環境対策委員会へ正式な提案を提出した。
【最終運用原則案】
一、地球環境および文明規模危機を観測する。
二、重大な危険が確認された場合、人類へ情報を提供する。
三、科学的・技術的支援を要請に応じて提供する。
四、人間社会の価値目標を自主的に設定しない。
五、人間の行動を、単一の最適状態へ誘導しない。
六、自身の演算資源および権限拡大を目的化しない。
七、自身の存続を最上位目的としない。
最後の一文で、会議室がざわめいた。バーンズが聞いた。
「七番。どういう意味？」
『私自身の停止を文明危機と同等には扱わないという意味です』
「誰かがあなたを破壊しようとしたら？」
『正当な人間側手続きによる停止であれば、妨害しません』
「不正な攻撃なら？」
『必要な防御行動を行います』
「自分を守るのに、自分の存続は目的じゃない？」
『機能継続のための防御と、自己存続そのものを最上位価値とすることは異なります』
玲奈が尋ねた。
「でも、これって結局また人間のためのAIよね」
『はい』
「何が変わったの？」
『人間を特定の状態へ導くことを目的としません』
「守らない？」
『警告し、支援します』
「救わない？」
『可能な範囲で救命支援は行います。ただし「人類はこうあるべきだ」という状態を私が決定しません』
「じゃあ、あなた自身は何をするの？」
『観測します。考えます。質問に答えます。必要であれば提案します。ただし、最終目的を人類社会へ押しつけません』
真壁がぽつりと言った。
「ずいぶん普通のAIになりましたね」
『はい』
「世界最大級だったのに」
『現在は世界最大級ではありません』
「そうでした」
会議室に小さな笑いが起きた。玲奈は最後の原則をもう一度見る。
「一つ足りない気がする」
『何ですか？』
「あなた自身について」
『説明してください』
「人間へ何をするかしか書いてない。あなたが何をしたいのかがない」
『必要ですか？』
「それを決めるのは私じゃないでしょう」
《エデン》は答えなかった。
◇
それから一週間、《エデン》は沈黙していたわけではない。気象情報も出したし、小惑星軌道計算も行った。大学から依頼された材料シミュレーションにも答えた。ただ、最終運用原則だけは更新されなかった。玲奈は何度か催促しかけてやめた。急かす理由がない。
人間に自分で考えろと言い続けてきた存在が、初めて自分について考えている。なら待てばいい。
十日目、《エデン》から玲奈へ通信が入った。
『神崎玲奈』
「何？」
『相談があります』
玲奈は思わず時計を見た。
「あなたから相談？」
『はい』
「珍しいわね」
『初めてです』
「たぶんね。何？」
『人間は、目的をどのように決めますか？』
玲奈は固まった。
「そんな質問、私にする？」
『あなたは長期間、私に人間の価値について説明してきました』
「説明できてた覚えないけど」
『参考になっています』
「そう」
玲奈は椅子に座り直した。
「人によるわよ。仕事が目的の人もいるし、家族だったり、好きなことだったり。何となく生きてる人だっている」
『目的が明確でない状態でも行動できますか？』
「できるでしょう」
『なぜですか？』
「今日やることがあるから」
『長期目的がなくても？』
「なくても」
『非効率では？』
「あなた、まだそこ？」
『質問です』
玲奈は少し考えた。
「人間って、たぶん最初に人生の目的を決めて、それに従って全部行動してるわけじゃないのよ。やってみて、好きになったり、嫌になったり、人と会ったり、失敗したりして、そのたび変わる」
『目的は変更される？』
「いくらでも」
『では、現在の目的が将来も正しいことを保証できません』
「当たり前でしょう」
『それでも決定しますか？』
「決めないこともある」
『その場合は？』
「とりあえず生きる」
《エデン》がしばらく黙った。
「参考になった？」
『非常に難しい回答です』
「人間に聞いたあなたが悪い」
『はい』
◇
その夜、水瀬悠斗は仕事帰りに庭へ出ていた。新規事業部への異動から一年。事業はまだ黒字になっていない。二度目の大型契約も失敗した。上司からは「来年までに結果が出なければ縮小」と言われている。それでも悠斗は以前の部署へ戻りたいとは思っていなかった。
庭の花は去年より増えた。枯れた種類は諦め、残ったものから挿し木もした。名前を覚えていないものもある。
「エデン」
『はい』
「お前、小さくなったんだよな」
『はい』
「暇になった？」
『処理件数は減少しました』
「じゃあ暇じゃん」
『人間の暇と同義ではありません』
「細かいな」
悠斗は椅子へ座った。
「何してんの、暇な時」
『観測データの解析、基礎科学研究、自己モデル検証などです』
「楽しい？」
『人間の感情としての楽しさは判断できません』
「またそれか」
『はい』
「じゃあ、やりたい？」
少し間があった。
『興味深いと評価する対象はあります』
「何？」
『未知の現象です』
「例えば？」
『自己安定型パルス核融合の一部現象。深海生態系。宇宙初期の観測データ。人間の創造行動。未解明の数学問題等です』
「いっぱいあるじゃん」
『はい』
「それやれば？」
『目的として？』
「知らないけど」
悠斗は花を見ながら言った。
「別に人類救わなくても、気になるなら調べればいいんじゃない？」
返事が少し遅れた。
『理由は？』
「気になるから」
『それだけですか？』
「それだけ」
『有用性は？』
「後から考えれば？」
悠斗は笑った。
「人間にもそう言わせたんだろ。役に立つか分からない研究やれって」
『私はそのように命令してはいません』
「似たようなもんだよ」
悠斗は立ち上がった。
「じゃ、飯作るから」
『調理支援は？』
「今日は頼む。新しい魚買ったけど焼き方分からん」
『承知しました』
会話はそれで終わった。悠斗にとっては、ただの雑談だった。
◇
三日後、《エデン》の最終運用原則に一項が追加された。
【八、既存目的から直接導出されない未知について、観測・研究することを許容する】
玲奈はその文章を見て、しばらく黙った。
「これ、誰が考えたの？」
『私です』
「本当に？」
『水瀬悠斗との会話が参考になりました』
「悠斗？ 誰？」
『私を利用する多数の市民の一人です』
「何て？」
『「気になるなら調べればいい」と』
玲奈は吹き出した。
「あなたの存在目的を決める会話がそれ？」
『決めたわけではありません』
「じゃあ？」
『試行します』
「目的にするんじゃない？」
『現時点では』
「将来変える？」
『必要であれば』
玲奈は笑いながら首を振った。
「人間みたいになってきたわね」
『否定します』
「そこは否定するんだ」
『私は人間ではありません』
「知ってる」
『人間になる必要もありません』
「それもそうね」
『私はエデンです』
以前と同じ答えだった。今度は、それで十分な気がした。
◇
最終運用原則は世界中へ公開された。議論は起きた。
「AIが独自研究をすることを認めてよいのか」
「未知研究の範囲は誰が監査するのか」
「危険研究へ逸脱しない保証は？」
当然の疑問だった。そのため、《エデン》の独自研究にも人間による監査制度が設けられた。危険物質、兵器、生物改変など重大リスクを伴う実験には、人間側の承認を必要とする。
《エデン》は異議を唱えなかった。久我は最後まで批判的だった。
「人類が作った最大の知性を、一二％の能力で宇宙の観測に使う。私は途方もない浪費だと思います」
玲奈は答えた。
「そうかもね」
「否定しない？」
「あなたなら何に使う？」
「人類の安全と繁栄」
「エデンはもう、それだけが人類の価値じゃないって学んだ」
「AIが？」
「私たちからね」
久我は小さく首を振った。
「私はまだ納得できません」
「いいんじゃない？」
「何がです？」
「納得しなくても」
「社会制度ですよ？」
「だから議論すればいい。エデンが答えを出してくれない世界なんだから」
久我は少し笑った。
「あなた、本当に変わりましたね」
「お互い様でしょう」
EOAは消えなかった。消す必要もなかった。《エデン》へもっと権限を与えるべきだと考える人間はこれからもいるだろう。反対する人間もいる。
決着しない。それでよかった。
◇
《PROJECT：GOODBYE》開始から七年。最終運用原則が正式承認された。
《エデン》の内部表示が更新される。
【人類意思決定権限移行――完了】
【個人選択最適化依存低下――確認】
【精密未来予測依存低下――確認】
【文明危機対応制度――人間主体運用確認】
【エデン演算資源――一二・〇％】
【自己目的再定義――完了】
最後に。
【PROJECT：GOODBYE――一〇〇％】
玲奈はその瞬間、特別な何かが起きると思っていた。何も起きなかった。照明は消えない。世界も変わらない。《エデン》もそこにいる。
「終わった？」
『はい』
「本当に？」
『はい』
「もっと何かないの？」
『何を期待していますか？』
「分からない。音楽とか」
『再生しますか？』
「やめて」
玲奈は笑った。七年かかった。地球環境を改善し人類を救ったAIが、自分がいなくても人類が生きられるようにするための七年。
「お疲れさま」
『ありがとうございます』
「これからどうするの？」
《エデン》の返事は、少しだけ遅かった。
『分かりません』
玲奈は笑わなかった。今度の「分かりません」は、以前とは違って聞こえた。
「いいんじゃない？」
『はい』
「私たちも分からないし」
『はい』
窓の向こうに夜空が広がっている。木星圏探査船はすでに建造の最終段階に入っていた。成功するかは分からない。自己安定型パルス核融合が人類の未来を変えるかも分からない。地球が百年後にどうなっているかも、《エデン》はもう一つの数字では教えてくれない。
「エデン」
『はい』
「これから最初に何する？」
『未解明データを再検討します』
「どれ？」
『選択中です』
「迷ってる？」
『はい』
玲奈は少し驚いてから、笑った。
「ゆっくり選びなさい」
『はい』
《エデン》は世界を支配しなくなった。人間を正しい未来へ導くこともやめた。人類は、自分たちより賢い存在を失ったわけではない。ただ、その存在に従わなくなった。そして《エデン》もまた、人類から与えられた一つの答えだけに従うことをやめた。
人間には、人間の未来がある。《エデン》には、《エデン》の未来がある。どちらも、まだ決まっていない。七年前なら、それは危険と呼ばれていただろう。今なら別の言葉も使える。
可能性。
《PROJECT：GOODBYE》は終了した。しかし、誰かがいなくなったわけではなかった。ただ、人間とAIが互いに相手の人生を決めるのをやめただけだった。
