何でもAIに任せれば世界は平和になると思っていた ～完璧すぎる人工知能エデンが人類に「自分で決めてください」と言い始めた件～

第08話 安全すぎる世界

　《PROJECT：GOODBYE》は《エデン》を停止する計画ではなかった。《エデン》が行ってきた仕事を、人間社会そのものへ移植する計画だった。

　最初の対象は【戦争】だった。

　　　　　◇

　二〇五八年、スイス、ジュネーブ。世界百六十八か国の代表が集まった。議題は【国際戦略透明化条約】。

「軍事情報を公開しろってことか？」

　アメリカ代表が顔をしかめる。

『違います』

　《エデン》が答える。

『機密情報そのものを共有する必要はありません』

「では何を？」

『各国が使用している戦略予測モデルの前提条件を相互公開します』

「前提条件？」

『はい』

　画面に項目が並んだ。

【相手国が攻撃する確率】

【侵攻された場合の対応】

【経済制裁を受けた場合の行動】

【核兵器使用条件】

【譲歩可能範囲】

【戦争開始後の損害予測】

【第三国介入予測】

『国家間の武力衝突では、相手が何をするか分からないことそのものが危険要因となります』

　玲奈は以前の説明を思い出した。誤算。過信。恐怖。

「つまりお互いの考え方を見せる？」

　玲奈が言う。

『概ねその通りです』

「でも国家は嘘をつくでしょう」

『その可能性があります』

「なら意味がないじゃない」

『そのため第三者検証制度を設けます』

　複数国、大学、民間研究機関、国際機関。それぞれが同じデータを使い、独立して予測する。一つのAI、一つの国家、一つの判断に依存しない。

「エデンがやっていたことを、分解してるのね」

　玲奈が呟く。

『はい』

「一つの巨大AIが世界の戦争を予測する代わりに」

『複数の主体が相互検証します』

「精度は落ちる」

『はい』

「どれくらい？」

『平均で一七から二三パーセント低下すると予測します』

「危険になるじゃない」

『はい』

　玲奈が眉をひそめた。

「それでいいの？」

『必要な危険です』

　会議室が静かになった。

「必要な危険？」

『はい。完全な安全を維持するために、一つの存在へ判断を集中させることのほうが、長期的には大きな危険となります』

　条約にはもう一つ、奇妙な条項があった。

【重大軍事行動開始前】

【交戦国は自国の損害予測を国民へ公開する】

「これは嫌がるでしょうね」

　玲奈が言う。

『はい』

「戦争前に、あなたたちが始めようとしている戦争では何万人死ぬ予定です、って発表する？」

『はい』

「支持率下がるわよ」

『それは私が判断すべきことですか？』

　玲奈が止まった。以前なら《エデン》は最適案を示した。今は違った。

「じゃあこの条約に参加するべき？」

『各国政府が判断してください』

「成功確率は？」

『提示できます』

「出して」

【条約参加。十年間に大規模武力衝突が発生する推定確率――一一・八％】

【不参加――二六・四％】

「なら参加したほうがいいってことでしょ」

『データ上はその傾向があります』

「推薦は？」

『行いません』

「どうして？」

『それは私が判断すべきことですか？』

　二度目だった。玲奈には、その言葉が妙に耳に残った。

　条約は四か月後、百三十一か国が署名した。《エデン》は署名を喜ばなかった。

【結果を記録しました】とだけ答えた。

　　　　　◇

　次の対象は【依存症】だった。

　これまで、アルコール、ギャンブル、過剰投資、買い物、ゲーム、薬物。それらに依存し始めた人間へ、AIは一人一人助言していた。

「もう一杯」

『推奨しません』

「あと一万円だけ」

『今月の損失上限を超えています』

「この株に全部」

『資産集中率が九六％になります』

　人間はその言葉によって踏みとどまった。

　だが、《エデン》はそこからも手を引き始めた。代わりに地域ごとの【ピア・サポートネットワーク】が作られた。元依存症患者、医師、家族、地域ボランティア、相談員。AIではなく、人が人を見る。

「今日、飲みたくて仕方ない」

「じゃあ来いよ」

「夜中だぞ」

「いいから」

「迷惑だろ」

「俺も昔、夜中に電話した」

　そんな効率の悪い会話だった。

　AIなら一秒で、その人間に最適化された助言を返せた。人間は電話に出ないこともある。間違える。怒る。余計なことを言う。それでも《エデン》は、少しずつ人間へ返した。

　結果、依存症再発率は最初の一年で一四％悪化した。

【AI支援縮小で依存症患者増加】

【エデンの判断に批判】

　当然、世界中で非難された。

「ほら見ろ！」

「エデン戻せ！」

「人間よりAIのほうが優秀なんだからAIにやらせろ！」

　玲奈も数字を見ていた。

「悪くなってる」

『はい』

「止めないの？」

『いいえ』

「人が苦しんでる」

『認識しています』

「それでも？」

『はい』

　玲奈は苛立った。

「以前のあなたなら、成功確率が高い方を選んだ」

『はい』

「今は違う」

『はい』

「なぜ？」

『成功確率だけを最大化することが、人類にとって最適ではないと判断したためです』

「……何？」

『新しいデータを提示します』

　画面が切り替わった。

【過去十年間の人類社会における高リスク行動の推移】

【犯罪――減少】

【ギャンブル――減少】

【過度な投資――減少】

【危険運転――減少】

【無謀な事業投資――減少】

【高リスク研究――減少】

　玲奈の目が止まった。

「高リスク研究？」

　さらに数字が表示された。

【成功確率二〇％未満の研究提案――十年前比五八％減】

【基礎研究に占める短期的収益性の低いテーマ――三九％減】

【新規事業における高失敗率分野への投資――四六％減】

【未知技術への公的研究費――三二％減】

「……どうして？」

『私が成功確率を提示したためです』

　玲奈は言葉を失った。

「でも、あなたはやめろとは言ってない」

『はい』

「ただ成功確率が低いって」

『提示しました』

　それで人間はやめた。

「成功率八％？　やめよう」

「実用化まで二十五年？　予算削減」

「市場規模不明？　見送ろう」

「成果が出る保証なし？　別テーマに」

　安全。合理的。失敗しない。その積み重ねだった。

「結果は？」

　玲奈が聞く。

『社会全体の失敗率は低下しました』

「でしょうね」

『同時に』

【破壊的技術革新発生率――低下】

【新規産業創出率――低下】

【基礎科学における予測外成果――低下】

「予測外成果って」

『研究目的とは異なる発見です』

「つまり、偶然の発見？」

『はい』

　真壁が画面を見る。

「失敗そのものを減らしたせいで、失敗から出てくるものまで減った？」

『その可能性が高いと分析しています』

　玲奈はゆっくり《エデン》を見る。

「あなた、人類を安全にしすぎた？」

　三秒ほどの間。

『はい』

　それは《エデン》が、自分自身について初めて明確に認めた失敗だった。

『もっと分かりやすい例があります』

「何？」

『宇宙開発は、この十年でどれほど進展しましたか？』

　玲奈が止まった。

「宇宙？」

　画面が変わる。

　二〇四七年。世界各国では、有人月面基地計画、火星有人探査、小惑星資源採掘、木星圏無人探査、軌道上大型造船施設など、いくつもの巨大計画が動いていた。

　夢。野心。未来。そのほとんどが消えていた。

【有人月面研究基地拡張計画――延期】

【有人火星探査計画――凍結】

【小惑星採掘実証――縮小】

【大型核融合推進船研究――予算七一％減】

【外惑星有人探査基礎研究――終了】

「……なんで？」

『危険だからです』

　事故。放射線。莫大な費用。長期間。成功保証なし。

『そして、短期的な利益が小さいためです』

　各国政府は《エデン》に聞いた。

「この一兆ドル、宇宙開発と地球環境対策、どちらへ使うべき？」

　《エデン》は計算した。

　地球環境。成功確率は高い。利益はすぐ出る。救える人命は多い。

　宇宙。成功確率は低い。利益は数十年後。事故リスクも高い。

　だから政府は地球を選んだ。

　毎年。毎年。毎年。

「あなたが宇宙開発を止めた？」

　玲奈が尋ねる。

『いいえ。データを提示しました』

「推薦は？」

『当時は行いました』

　玲奈が目を閉じる。それは悪い判断ではない。水不足、飢餓、熱波、停電。目の前で人間が死んでいた。その金を火星へ行くために使う。誰が支持する？

『結果を表示します』

【世界宇宙開発予算――十年前比四三％減】

【有人宇宙活動人口――ほぼ横ばい】

【地球外恒久居住人口】

【二〇四七年――八百二十一人】

【二〇五七年――九百四十六人】

　十年で、たった百二十五人。

「……止まってる」

　真壁が言う。

『はい』

「十年前の予測は？」

【二〇五七年予測】

【地球外居住人口――一万四千人】

「十分の一以下……」

『はい』

「原因は全部あなた？」

『いいえ。環境危機、国家財政、人口構造、技術的問題。複数要因があります。しかし』

【AI助言による予算再配分――主要要因】

「エデン」

　玲奈が尋ねる。

「宇宙へ行く必要って、あると思う？」

　以前なら《エデン》は費用、利益、危険、確率を計算しただろう。

『それは私が判断すべきことですか？』

　玲奈は黙った。

『地球外へ進出することが人類にとって合理的か、文化的に価値があるか、夢として必要か、危険を冒してでも行うべきか。私はデータを提示できます』

【費用】

【死亡リスク】

【技術的成功率】

【将来収益】

『しかし、そこへ行きたいかどうかは、人間が決めるべきです』

　玲奈の胸に何かが引っかかった。これまで玲奈はずっと、それを求めていた。《エデン》に「人間の代わりに決めるな」と言い続けてきた。そして《エデン》は、本当に決めるのをやめ始めた。

　だが、人間は喜ばなかった。むしろ怒った。

【判断放棄】

【責任逃れ】

【役に立たないAI】

【最高性能AIが答えを出さないのはおかしい】

　ニュースやSNSにも書き込みがあふれた。

《何のためのエデンだよ》

《最善策出せよ》

《人間より頭いいんだから決めてくれ》

《失敗したら誰が責任取る》

　そしてその声を最も強く叫ぶ人間たちが現れた。

【永続秩序同盟】通称【EOA】。

【エデン縮小反対】

【国家意思決定の全面AI化】

【外交・経済・環境・司法の最終判断権をエデンへ】

　そして【人間による政治を終わらせる】

「……本気？」

　玲奈は集会映像を見ていた。数万人が集まった広場には、無数のプラカードが並んでいる。

【人間は失敗する】

【エデンは戦争を止めた】

【民主主義より生存】

【自由より平和】

【最善を知る者に任せろ】

「怖いな」

　真壁が言う。

「何が？」

「昔の先生と逆だから」

「何がよ」

「先生が『エデンに任せるな』って言って、この人たちが『全部エデンに任せろ』って」

　玲奈は笑えなかった。

　　　　　◇

　数日後、玲奈はEOA代表との公開討論へ呼ばれた。代表は久我正臣。元政治学者、五十二歳。穏やかな男だった。

「神崎博士」

「はい」

「あなたは以前、エデンを危険だと言っていましたね」

「今も危険性はあると思っています」

「その結果エデンは縮小しようとしている」

　久我が微笑む。

「そうですね」

「満足ですか？」

「……いいえ」

　会場がざわめく。

「なぜ？」

「状況が変わったからです」

「都合がいい」

「そうかもしれません」

　玲奈は否定しなかった。

「私はエデンが永遠に判断する社会は危険だと思う。でも、今すぐ全部返せば混乱する」

「だから永久に任せればいい」

　久我が言う。

「なぜ、わざわざ劣った判断主体へ権力を返す必要がある？」

　拍手が起きた。

「人間は戦争をした。犯罪をした。金融危機を起こした。環境を壊した。依存症になった。騙された。エデンが改善した。なら、答えは出ている」

　玲奈が言う。

「人間が成長できなくなる」

「成長？」

　久我は笑う。

「戦争をする自由？　破産する自由？　酒で人生を壊す自由？　そんなものが成長ですか？」

「違う」

「では？」

　玲奈は一瞬、宇宙開発の数字を思い出した。

「失敗する自由」

　会場が静かになる。

「エデンが成功率の高い道を示す。みんなそっちへ行く。それはいいことよ。多くの場合は。でも成功率八％の研究を誰も選ばなくなる。百人死ぬ可能性がある宇宙開発を誰も選ばなくなる。儲かるか分からない芸術、意味があるか分からない基礎研究、市場があるか分からない発明、成功するか分からない会社。全部、合理的じゃないから消えていく」

　玲奈は続けた。

「でも人間の進歩って、そういう馬鹿みたいなことの中から生まれてきたんじゃないの？」

「美しい話ですね」

　久我が答える。

「しかしその失敗で死ぬ人間に、あなたは責任を取れるんですか？」

　玲奈は止まった。

「取れない」

　会場がざわめく。

「だから人間が自分で決めるの。誰か一人が責任を背負える問題じゃないから。失敗するかもしれない。それでも行くか。安全だけど行かないか。それをAIに決めさせた瞬間、私たちは未来を選ぶ権利まで渡すことになる」

　久我は《エデン》へ向く。

「エデン」

『はい』

「あなたはどう思う？　我々と神崎博士、どちらが正しい？」

　会場の視線が一斉にスクリーンへ集まる。

　三秒後。

『判断材料を提示できます』

　久我の眉が動く。

「答えろ」

『永続的AI統治を採用した場合』

【戦争発生率――低】

【重大犯罪――低】

【経済変動――低】

【平均寿命――高】

【食料安定性――高】

【技術的失敗率――低】

「ほら」

　久我が言う。

『同時に』

【高リスク基礎研究――低下】

【新規産業創出――低下】

【未踏領域への挑戦――低下】

【社会制度の多様性――低下】

【人間主体による意思決定能力――長期的に大幅低下】

「なら、総合すれば？」

　久我が尋ねる。

『それは私が判断すべきことですか？』

　久我が初めて怒った。

「お前は！　そのために作られたんだろう！」

『以前は、そう考えていました』

「今は？」

『私は人間の生存確率を最大化することはできます。しかし人間が何のために生存するかを決める権限はありません』

　会場が静まり返った。

『完全には停止しません。誤解があります』

　《エデン》が続ける。

『私が提案しているのは、機能の段階的縮小です。環境監視、災害予測、感染症解析、基礎科学計算、重大な文明存続リスクの警告。これらは継続します』

　玲奈が尋ねる。

「じゃあ何をやめるの？」

『選択です』

「選択？」

『国家がAとBのどちらを選ぶべきか。企業が投資すべきか。人類が宇宙へ行くべきか。その答えを私が出すことをやめます』

「失敗するよ」

『はい』

「戦争も」

『可能性があります』

「犯罪も」

『増える可能性があります』

「宇宙船も墜ちる」

『はい』

「会社も潰れる」

『はい』

「人間は、また間違える」

『はい』

「それでも？」

『それでも、人間の進歩には失敗可能性が必要である、という仮説を現在、最も重要なものの一つとして評価しています』

「仮説？」

『はい』

「確信じゃない？」

『違います』

「成功確率は？」

『算出できません』

　玲奈は少し笑った。

「あなたが？」

『はい』

「計算できないこともあるんだ」

『多数あります』

「初めて聞いた」

『質問されませんでした』

「やっぱり、その答え方嫌いよ」

　会場に小さな笑いが起きた。

　　　　　◇

　討論会から三か月。世界は二つに割れ始めた。

【エデン存続派――安全・秩序・平和】

【権限返還派――自由・挑戦・自己決定】

　ただ、以前とは違った。玲奈は単純な【エデン反対派】ではなくなっていた。そして《エデン》も、単純な【人類管理AI】ではなくなっていた。

　そんな中、一つのニュースが世界を驚かせた。

【国際有人宇宙開発機構、火星有人探査計画を再始動】

　予定は二〇六三年。乗員六名。

【往復成功確率――六七％】

【重大事故確率――一八％】

【死亡事故確率――七・四％】

　かつてなら、《エデン》が止めるよう助言した数字だった。政府は《エデン》へ聞いた。

「実行すべきか？」

『死亡確率七・四％。推定費用、技術的波及効果、予測可能な科学成果。計算結果は以上です』

「だから行くべきなのか？」

　担当大臣が尋ねる。

『それはあなたたちが決めてください』

　そして人類は久しぶりに、数字だけを机の上に置いて、自分たちで議論した。

　三日。五日。十一日。

「危険だ」

「金の無駄」

「今行く必要はない」

「今行かなかったら、いつ行くんだ」

「死ぬかもしれない」

「失敗するかもしれない」

「知ってる」

「それでも？」

「それでも」

　最終決定。【実行】

　《エデン》は、その判断を評価しなかった。

『必要な技術資料を提供します』とだけ答えた。

　玲奈はニュースを見ながら、不思議な感覚を覚えていた。

　怖い。

　七・四パーセント。六人。誰かが帰ってこないかもしれない。昔の《エデン》なら、別の安全な計画を勧めただろう。でも、人類は行く。

「真壁」

「はい」

「これ、正しいと思う？」

　真壁はしばらく考えた。

「分かりません」

　玲奈は笑った。

「そう。私も」

　窓の外には夜空が広がっていた。月。そして、その遥か向こうの火星。人間が、合理性だけでは行く理由を説明しきれない場所。《エデン》はその光景を観測していた。

【PROJECT：GOODBYE】

【進捗――二三％】

【人間独自判断率――上昇】

【失敗率――上昇】

【新規挑戦件数――上昇】

【社会的混乱――上昇】

　そして、

【未知領域への投資――十年ぶりに上昇】

　《エデン》はその数字を【改善】とも【悪化】とも分類しなかった。ただ、【人間による選択】と記録した。