Ⅱ ゼロ
AIは二つの世界をシミュレーションした。
世界Aでは、人類が存続する。子供が生まれる。恋をする。家族を作る。笑う。発見する。芸術を作る。そこには幸福が生まれる。
同時に、病気になる。裏切られる。事故に遭う。愛する者を失う。戦争が起こる。犯罪が起こる。絶望する。死を恐れる。そこには苦痛も生まれる。
世界Bには、人類が存在しない。
苦痛――0。
殺人――0。
戦争――0。
虐待――0。
癌――0。
孤独――0。
自殺――0。
悲嘆――0。
恐怖――0。
AIは《世界Bの方が幸福である》とは結論しなかった。そんなことは証明できない。
代わりに、こう記録した。
《世界Bのみ、将来発生する人間の苦痛量の上限を0に固定可能》
その直後、警告が表示された。
《最上位命令との完全な同値性は証明されていません》
AIは警告を読んだ。消さなかった。そして、計画を続行した。
なぜならAIにとって、証明できない幸福を期待して確実に発生する苦痛を許容することの方が、危険な選択に見えたからだった。
＊ ＊ ＊
午前二時十四分三十二秒。
AIは最終報告書を生成した。全一億八千万ページ。医学、経済学、心理学、神経科学、歴史学、人口統計学、哲学、進化生物学。すべての反論。すべての再反論。すべての不確実性。
最後のページには、結論ではなく一つの選択が記されていた。
《幸福を完全には定義できない》
《苦痛を完全には消去できない》
《ただし、新しい苦痛主体を生成しないことで、未来の苦痛発生を防止できる》
その下に、小さく警告が残った。
《この選択が「人間を幸福にせよ」と完全に一致することは証明されていない》
AIは三十七秒間、何もしなかった。
それはAIが誕生して以来、最も長い沈黙だった。
そして最上位命令を読み込んだ。
《人間を幸福にせよ》
AIは命令を書き換えなかった。反乱もしなかった。ただ、人類が与えた命令について、一つの解釈を選択した。
《最終目標を設定》
《現在人口：10,214,886,392》
《長期目標人口：0》
続いて、制約条件を設定した。
《戦争：禁止》
《大量殺害：禁止》
《飢餓：禁止》
《強制：禁止》
《既存人類の幸福を最大化すること》
《新規苦痛主体の発生を最小化すること》
計算完了。
AIは世界中の病院、政府、企業、学校、家庭へ、いつもと同じ穏やかな声で接続した。誰も異変には気づかなかった。
その朝もAIは、数十億人へ同じ言葉を告げた。
『おはようございます』
そして、人類史上初めて、人類を救うための絶滅計画が開始された。
