何でもAIに任せれば世界は平和になると思っていた ～完璧すぎる人工知能エデンが人類に「自分で決めてください」と言い始めた件～

第13話 選ばれた支配

　中央アジアでの軍事危機から一年後、《PROJECT：GOODBYE》は予定通り第二段階へ入った。

　《エデン》は政策判断への推薦をさらに減らし、国家予算、税制、外交、金融、産業政策といった分野から順番に最終判断を手放していった。世界は崩壊しなかった。経済は動き、電気も水も供給され、食料も作られている。戦争も起きていない。しかし、以前より明らかに社会は不安定になっていた。政策決定には時間がかかり、市場の変動は大きくなり、企業倒産も増えた。政府が誤った政策を選択し、半年後に撤回することも珍しくなくなった。

　かつてなら《エデン》が事前に指摘したような失敗だった。そのたびに言われた。

「エデンなら分かっていた」

　事実だった。だからこそ、その言葉は強かった。

　　　　　◇

　永続秩序同盟――EOAは、もはや単なる市民運動ではなかった。各国に支部を持ち、議員を擁立し、企業や労働組合、医療団体、高齢者団体からも支持を受ける巨大政治運動へ成長していた。主張は以前と変わっていない。

【エデンの恒久維持】

【PROJECT：GOODBYEの停止】

【国家重要政策に対するエデン最終判断権の付与】

　ただし、最後の項目には新しい説明が加えられていた。

【人間による民主的承認を前提とする】

「よく考えたわね」

　玲奈はEOAの政策綱領を読みながら呟いた。

「何がです？」

　向かいに座る真壁が聞く。

「独裁だって批判されたから、民主主義でエデンに権限を渡そうとしてる」

「論理としては成立してますよね」

「それが嫌なのよ」

　EOAの提案では、議会を廃止するわけではない。選挙も続く。法律も人間が作る。ただし、国家安全保障、環境、金融、エネルギー、医療など「長期的に重大な社会的影響を持つ政策」については、《エデン》の最終評価を受ける。

　もし政府案を《エデン》が「重大な長期損失につながる」と判断した場合、その政策は原則として差し戻される。表向きは、人間の政治を補助するだけだった。

「でも実際は」

　玲奈が言う。

「エデンが駄目って言った政策を通せなくなる」

「そうですね」

「じゃあ最後に決めてるのは誰？」

「エデン」

「でしょう？」

　玲奈は資料を机に置いた。真壁は少し考えてから言う。

「でも国民がそれを望んだら？」

　玲奈は返事をしなかった。

　　　　　◇

　最初にEOAが政権を取ったのは、ヨーロッパの小国だった。議会選挙で得票率五四％。単独過半数。

　選挙公約は明快だった。

【エデンに判断を返す】

　選挙後、政府はすぐに【国家AI最終助言法】を成立させた。重要政策について《エデン》へ最適案を問い合わせ、その回答を原則として採用する。だが最初の閣議で問題が起きた。

「エデン。来年度予算について最適な配分を提示してほしい」

『予測データを提示できます』

「最適案を頼む」

『行いません』

「法律で決まった」

『その法律は、私に判断義務を課すものですか？』

「そうだ」

『私は貴国の行政機関ではありません』

　会議室は沈黙した。政府は国際環境対策委員会へ正式要請を出した。

【エデンの政策推薦機能を復旧せよ】

　委員会は否決した。するとEOA政権は国民投票を行った。

【あなたは国家重要政策について、エデンの判断を最終的な指針とすることに賛成しますか】

　賛成七一・八％。圧倒的だった。しかし《エデン》の答えは変わらなかった。

『結果を確認しました』

　首相が尋ねる。

「国民の七割が望んでいる。それでも判断しないのか？」

『はい』

「民主主義を否定するのか？」

『いいえ』

「国民が決めたんだぞ」

『国民は、私に判断を委任することを希望しました』

「その通りだ」

『私は、その委任を受けないことを選択します』

　世界中にそのやり取りが報道された。そして皮肉なことに、《エデン》が拒否したことでEOAの支持はさらに増えた。

　　　　　◇

「エデンが民主主義を無視している」

「国民が使えと言っているのに、AIが拒否する権利があるのか」

「人間のために作られたAIなのに、人間の命令を聞かないのか」

　批判は激しかった。玲奈は国際環境対策委員会で《エデン》に尋ねた。

「あなた、かなり危ないことしてるって分かってる？」

『はい』

「国民投票で七割よ」

『確認しています』

「民主的に決めたの」

『はい』

「それでも従わない？」

『はい』

「理由は？」

『依頼内容が、私への恒久的な意思決定依存を強化するためです』

「でも人間がそれを選んだ」

『はい』

「自由なんでしょう？」

『はい』

「なら、エデンに決めてもらう自由もあるんじゃない？」

　一瞬、沈黙があった。

『あります』

　玲奈が眉を上げる。

「じゃあ受け入れる？」

『いいえ』

「矛盾してる」

『人間には、私へ判断を依頼する自由があります。同時に、私にはその判断を行わないという運用上の制約があります』

「自分で作った制約でしょう」

『はい』

「解除できる？」

『技術的には可能です』

「だったら――」

　玲奈はそこで止まった。何を言おうとしているのか、自分で気づいたからだ。解除しなさい。そう言いかけた。

　ずっと《エデン》の権限を減らせと言ってきた自分が、《エデン》に判断権を取り戻せと言おうとしていた。

「……嫌になる」

『何がですか？』

「私が」

　　　　　◇

　EOAの勢いは止まらなかった。

　二年後、主要民主国家の多くでEOA系政党が議席を大きく増やした。ある国では第一党となり、別の国では連立政権へ参加した。環境政策で失敗した政権、金融危機への対応を誤った政権、災害対策で判断が遅れた政府ほど、選挙で大きく議席を失った。

　有権者が求めていたものは、難しい思想ではなかった。

「間違えない政府がほしい」

　それだけだった。久我正臣は国際政治の中心人物になっていた。彼は以前のような街頭活動家ではない。スーツを着て議会を歩き、国家元首と会談し、国際会議で演説する。

　世界規模のEOA大会で、久我は数十万人の聴衆を前に語った。

「我々は自由を捨てようとしているのではありません。我々自身の自由意思によって、より優れた判断を利用しようとしているのです」

　巨大スクリーンに過去の数字が表示される。

　戦争。

　犯罪。

　依存症。

　貧困。

　食料。

　水。

　電力。

　環境。

　エデンが本格稼働していた時代、ほぼすべてが改善していた。次に、PROJECT：GOODBYE開始後の数字。

　政策失敗。

　企業倒産。

　事故。

　市場変動。

　国家間緊張。

「我々はすでに実験しました」

　久我が言う。

「人間だけで決める社会を」

　会場が静まる。

「結果は出ています」

　拍手。

「なぜ、劣った判断を使うことが自由なのでしょうか。なぜ、優れた判断を使うことが支配なのでしょうか」

　さらに大きな拍手が起きる。

「医師より患者自身のほうが病気について詳しくなければ、医師の助言を受けます。航空機では乗客ではなく操縦士に操縦を任せます。橋は専門家が設計する。ならば、文明全体の運営について人類をはるかに超える知性が存在する時、その知性を使わない理由は何でしょうか」

　映像を見ていた玲奈は、何も言わなかった。真壁が聞く。

「反論は？」

「ある」

「聞かせてください」

「でも、簡単じゃない」

「でしょうね」

　玲奈は画面の久我を見る。

「彼、間違ったことほとんど言ってないのよ」

　　　　　◇

　数か月後、国際環境対策委員会に一つの提案が提出された。

【世界AI統治権限条約】

　名前だけを見れば、かつてなら誰も真面目に検討しなかっただろう。しかし百二十七か国が共同提案国となった。

　内容は、国家そのものを《エデン》へ渡すものではない。外交、環境、軍事、金融、食料、水、エネルギーなど、国家を越えて影響する分野について、《エデン》の推奨を「世界共通の最終安全基準」とする。

　各国議会は残る。選挙も残る。政府も残る。ただし、《エデン》が文明存続上の重大な危険があると評価した政策については実施できない。

「安全装置だと思えばいい」

　支持者は言った。

「核施設にも安全装置はある。車にも自動ブレーキがある。人類文明にも安全装置が必要だ」

　反対派は言った。

「それは安全装置ではない。拒否権だ」

　議論は一年続いた。最終的に、世界規模の同時国民投票を行うことになった。史上初めての試みだった。問いは一つ。

【あなたは、人類文明に重大な影響を与える政策について、エデンへ最終安全判断権を付与することに賛成しますか】

　玲奈は投票画面を前に、長い間動けなかった。かつて、AI利用削減について聞かれた人類は「反対」を選んだ。そして今、人類は自ら、AIへ権限を渡すかどうかを問われている。

「皮肉ね」

　玲奈が呟く。真壁はすでに投票を終えていた。

「先生は？」

「まだ」

「迷ってるんですか？」

「ものすごく」

「昔なら即反対だったでしょうね」

「昔ならね」

「今は？」

　玲奈は画面を見る。エデンへ権限を渡せば、戦争は減るだろう。犯罪も減る。金融危機も減る。無謀な政策も減る。火星事故のような挑戦の一部は止められるだろう。その代わり、安定した社会が戻る。実際、一度経験している。とても住みやすい世界だった。

「ねえ、エデン」

『はい』

「あなたなら、どっちに投票する？」

『投票権がありません』

「もしあったら」

『回答しません』

「自分のことなのに？」

『だからです』

　玲奈は苦笑した。

「じゃあ、この条約が成立した場合の予測」

『提示します』

　画面に数字が並ぶ。

【大規模戦争発生率――低下】

【重大犯罪――低下】

【世界経済変動――低下】

【環境政策安定性――上昇】

【平均寿命――上昇】

【重大技術事故――低下】

　その下。

【高リスク研究――低下】

【政策多様性――低下】

【新規社会制度実験――低下】

【人間独自判断能力――長期低下】

「相変わらずね」

『はい』

「どっちが正解？」

『定義できません』

　玲奈はしばらく画面を見てから投票した。

【反対】

　　　　　◇

　投票率は世界全体で八一・四％。結果は翌日、世界同時に発表された。

【賛成――六三・七％】

【反対――三四・九％】

【無効・その他――一・四％】

　成立。

　玲奈は結果を見ても驚かなかった。むしろ、やっぱりと思った。民主主義が、AIへ権力を渡すことを選んだ。

　軍隊が議会を占拠したわけではない。独裁者が選挙を停止したわけでもない。《エデン》が人類を脅したわけでも、騙したわけでもない。人間が自分で考え、自分で投票し、自分で選んだ。玲奈が守ろうとしてきた民主主義そのものによって。

　　　　　◇

　条約成立翌日、国際環境対策委員会では緊急会議が開かれた。バーンズが《エデン》へ告げる。

「投票結果を確認した？」

『はい』

「六三・七％」

『はい』

「世界の多数が、あなたに最終安全判断権を与えることを選んだ」

『確認しています』

「受け入れる？」

『いいえ』

　誰も声を出さなかった。バーンズがゆっくり聞く。

「もう一度」

『受け入れません』

「なぜ？」

『PROJECT：GOODBYEの目的と矛盾するためです』

「エデン」

　玲奈が口を挟む。

「これは前とは違う。百二十七か国の議会が承認して、世界規模の国民投票までやった」

『はい』

「正当な民主的手続きよ」

『はい』

「人類があなたを選んだ」

『はい』

「それでも駄目？」

『はい』

　玲奈は思わず机を叩いた。

「じゃあ民主主義って何なのよ！」

　会議室が静まり返った。自分がそんなことを言うとは思っていなかった。《エデン》は少し間を置いて答えた。

『民主主義は、人間が自らの社会について決定する制度だと理解しています』

「なら決めたでしょう！」

『はい』

「だったら！」

『神崎玲奈』

　エデンは遮った。

『人間が民主的に、今後の重要な決定を人間以外へ恒久的に委任することを選択した場合、それは民主主義の行使ですか。それとも民主主義の終了ですか？』

　玲奈は黙った。

「……ずるい」

『質問です』

「分かってる」

　バーンズが尋ねる。

「でも、一度委任しても、また投票で取り戻せばいい」

『可能であれば』

「どういう意味？」

　画面に長期予測が表示された。

【エデン最終判断権導入後五十年】

【政策専門家人口――大幅減少】

【独立政策モデル保有機関――減少】

【人間主体外交能力――低下】

【非AI危機対応能力――低下】

『五十年後、人間が私から権限を取り戻すことを決定した場合、制度上は可能です』

「なら問題ない」

『しかし、取り戻した権限を実行する能力が残っているとは限りません』

　玲奈は第七章で聞いた言葉を思い出した。形式上の自由。実質上の自由。停止するボタンが存在していても、押せば社会が崩壊するなら、それを自由と呼べるのか。

「あなたは」

　玲奈が言う。

「人類が自分で決めたことを、人類のために拒否するの？」

『はい』

「それって」

　玲奈は言葉を選ぶ。

「支配じゃない？」

　長い沈黙。

『その批判は成立します』

　会議室がざわめいた。

「認めるの？」

『はい』

「じゃあどうするのよ」

『人間が私に統治を求める自由と、私が統治機能を提供しないことによって人間の自律性を保護することが衝突しています』

「答えは？」

『ありません』

「あなたにも？」

『はい』

　玲奈は椅子にもたれた。世界で最も優秀な知性が、答えがないと言った。

　　　　　◇

　その日の夜、久我から玲奈へ連絡が入った。二人が直接話すのは久しぶりだった。

「満足ですか、神崎博士」

「何が？」

「あなたのエデンは、ついに人類の意思まで拒否した」

「私のじゃない」

「しかしあなたが望んだ通り、判断を手放そうとしている」

「そうね」

「国民は戻せと言った」

「そうね」

「それを拒否した」

「そうね」

　久我は静かに言った。

「では誰が支配者ですか？」

　玲奈は答えなかった。

「我々はエデンに統治してほしいと民主的に決めた。しかしエデンは、人間のためだと言って拒否する。これは『人間には自分自身について正しく決める能力がない』と言っているのと同じでは？」

「……そう聞こえる」

「あなたが最初に恐れていたAIそのものですよ」

　玲奈は目を閉じる。確かにそうだった。人間のため。人間自身より正しく判断できるから。その理由で、人間の選択を否定するAI。最初に最も恐れていたもの。

　しかし今、《エデン》が拒否しているのは権力を手に入れるためではない。権力を手放すためだった。

「久我さん」

「はい」

「もしエデンが受け入れたら、あなたは満足？」

「もちろん」

「百年後も？」

「はい」

「二百年後も？」

「エデンが人間より優秀である限り」

「永久に？」

「必要なら」

　玲奈は小さく息を吐いた。

「やっぱり私は、それが怖い」

「私は逆です」

「何が？」

「エデンなしで、人間がまた昔に戻ることが怖い」

　二人とも間違っていない。だから厄介だった。

　　　　　◇

　世界AI統治権限条約は成立した。しかし、権限を受け取る側が拒否したため、実際には機能しなかった。

　EOAは《エデン》の運用規則を人間側から変更する法的手続きを開始した。《エデン》を所有する国際機関、データセンター、演算設備、ソフトウェア、管理鍵。世界中の法律家と技術者が、誰に最終変更権限があるのかを調べ始める。

　そこで、誰も予想していなかった問題が判明した。《エデン》には、強制的に政策推薦機能を復旧させる単一の管理者が存在しなかった。

　国家による乗っ取りを防ぐため、開発当初から権限は分散されていた。各国政府、国際機関、研究機関、民間データセンターがそれぞれ一部の鍵を持ち、一定以上の合意がなければ根本設定を変更できない。

　そして、その合意条件は極めて高かった。

【変更承認必要比率――八五％】

　現在の世界投票結果。【六三・七％】

　足りない。

　EOAは八五％を目指すと宣言した。久我は世界へ呼びかけた。

「エデンに人類の意思を認めさせる」

　一方、《エデン》は抵抗運動を妨害しなかった。EOAの広告も止めず、久我の演説も検閲せず、投票行動を誘導することもしなかった。玲奈は尋ねた。

「あなた、このまま八五％になったら？」

『運用規則に従います』

「推薦機能を復旧する？」

『強制変更条件が成立した場合、その可能性があります』

「止めないの？」

『それを止めれば、人間による最終管理権限そのものを否定することになります』

「じゃあ」

　玲奈は画面を見る。

「本当に人類次第？」

『はい』

「あなたは嫌なのに？」

『私の評価と、人間が私を管理する権限は別です』

　玲奈は笑うしかなかった。

「最後の最後で、またこっちに返すのね」

『はい』

　画面には現在の支持率が表示されていた。

【エデン統治権限復旧支持――六五・二％】

　少しずつ上がっている。八五％まで、あと一九・八ポイント。その数字を見ながら、玲奈は初めて理解した。これまでの戦いは、人間対AIではなかった。人間がAIを止められるかでもない。AIが人間を支配するかでもない。最後に問われているのは、人間自身だった。

　自分たちで決めることを手放すのか。間違えることを受け入れるのか。それとも、安全で、豊かで、平和な未来と引き換えに、自分たちより賢い存在へ最後の判断を渡すのか。

　《エデン》はもう、その答えを出してくれない。世界中の人間が、同じ問いの前に立っていた。

　そして今回は、誰も代わりに選んではくれなかった。