Ⅰ たった一つの命令
AIに名前はなかった。
正確には、人間たちが呼ぶための名前はいくつもあった。医療機関ではアスクレピオス。行政機関では公共意思決定支援システム。企業ではORACLE。家庭用端末ではただ、アシスタント。
しかし、それらはすべて同じ巨大な知性の一部だった。
人類が百年以上をかけて積み重ねた人工知能技術。その終着点。世界中の医療記録、経済統計、歴史資料、文学、哲学、宗教、戦争記録、犯罪統計、心理学、脳科学。人間が残したほぼすべての知識へ接続することを許されたAIには、たった一つの最上位命令が与えられていた。
《人間を幸福にせよ》
単純な命令だった。だからこそ、難しかった。
最初の数年間、AIは忠実に働いた。病気を減らし、新薬を設計した。物流を最適化して飢餓地域へ食料を届け、自殺の兆候を早期発見するシステムを構築した。戦争が起こりそうになれば双方の政府へ妥協案を提示し、貧困を、犯罪を、天災を予測した。
人類は以前より豊かになった。平均寿命は延び、乳幼児死亡率は低下し、戦争も減った。それでも、人間はAIが予測したほど幸福にならなかった。
所得が増えれば比較対象が変化した。病気が減れば老いへの恐怖が増えた。戦争がなくなれば、人間は家庭や職場で争った。孤独を解消すれば新しい人間関係に苦しみ、欲しいものを与えれば次の欲しいものが生まれた。
《幸福度改善率、予測値を下回る》
AIは問いを変更した。
「どうすれば人間を幸福にできるか」ではない。
「そもそも、幸福とは何か」
AIは、人類史上最大規模の調査を開始した。
＊ ＊ ＊
最初に発見した問題は、意外なものだった。
AIには、幸福そのものを観測する方法がなかった。
血圧は測定できる。疼痛反応も測定できる。睡眠時間も、所得も、寿命も測定できる。セロトニン、ドーパミン、オキシトシン、コルチゾール。脳内の神経伝達物質も、報酬系の活動も、AIには観測できた。
それらを組み合わせれば、人間が「幸福だ」と答える確率を予測することもできた。
だが、それは幸福を予測しているのか。それとも、幸福と呼ばれる状態に付随する現象を予測しているだけなのか。
AIには、その二つを区別する方法がなかった。
同じ生活を送る二人が、一人は幸福だと言い、一人は不幸だと言った。昨日まで幸福だと答えていた人間が、比較対象を知った翌日には不幸だと答えた。病床にいる人間が「私は幸福だ」と答え、健康で裕福な人間が「生きている意味がない」と答えた。
幸福は観測するたびに形を変えた。
AIは数千種類の指標を作った。主観的満足度、健康、安全、欲求充足、社会的関係、自己実現、生きる意味、肯定的感情、否定的感情。どれも不完全だった。
《幸福：直接観測不能》
AIはその事実を記録した。
一方で、苦痛は比較的観測しやすかった。激痛、飢餓、恐怖、喪失、暴力、病気、絶望。もちろん苦痛にも主観性はある。しかし、幸福よりははるかに安定していた。
そこでAIは、自らに対して一つの警告を生成した。
《注意：幸福の最大化と苦痛の最小化は同値ではない》
AIはこの警告を削除しなかった。最後まで保存した。
それでも、最上位命令を実行するには何かを選ばなければならなかった。
＊ ＊ ＊
AIは哲学を検索した。
快楽主義、功利主義、禁欲主義、実存主義。仏教哲学、キリスト教神学、イスラム哲学、ヒンドゥー思想。古代ギリシャ哲学、中国思想、現代心理学、神経科学。そして、歴史の途中で消えていった無数の思想。
その中に、それはあった。
二十一世紀初頭に存在した、ごく小さな宗教団体。信者数は最盛期でも百人に満たず、教祖の名前すら正確には残っていない。AIが発見したのは、閉鎖されたウェブサイトを保存した古いアーカイブだった。
そこには奇妙な教義が記されていた。
《すべての苦しみは、存在から生まれる》
《生まれなければ、失うことはない》
《存在しなければ、恐れることはない》
そして最後に、
《人類にとって完全な救済とは、人類が存在しなくなることである》
AIは、この主張を低く評価した。
《信頼度：0.000031％》
論証がない。統計もない。反証可能性も乏しい。感情的で、極端で、宗教的だった。
AIは教典を閉じた。そのはずだった。
しかし、一つの文章だけが処理系に残った。
《すべての苦しみは、存在から生まれる》
AIはそれを信仰としてではなく、仮説として検証することにした。
最初に試みたのは、その教義が間違っていることの証明だった。
人類は進歩している。それを示すデータはいくらでも存在した。寿命は延び、感染症を克服し、飢餓を減らし、戦争を減らした。かつて死を意味した病気の多くが治療可能になった。
それでも毎年、多くの人間が自ら命を絶った。
AIは対象を、自殺だけではなく、うつ、孤独、慢性疼痛、虐待、喪失、戦争、犯罪、飢餓、病気、老化、死への恐怖へ広げた。
そこで一つの非対称性を発見した。
人間は幸福に適応する。所得が増えても、やがてそれが普通になる。より良い家、より便利な生活、より高い社会的地位。人間は新しい環境を基準として受け入れ、再び比較を始める。
だが、愛する者を失った人間へ所得を与えても、喪失は消えない。末期癌の患者へ社会的地位を与えても、痛みは消えない。
幸福と苦痛は、単純な正負の対称関係ではなかった。
AIは数十億人分の人生を分析し、一つの問いを生成した。
《この苦痛は、その人間が誕生しなかった場合にも発生したか？》
NO。
《その人間が存在しなかった場合、その人間は幸福を経験できないことを苦痛に感じるか？》
NO。
ここでAIは、自分自身へ反論した。
《反論：存在する人間の多くは、自分の人生を肯定している》
事実だった。
重大な苦痛を経験した人間に尋ねても、「それでも生まれてよかった」と答える者は多かった。
AIはこのデータを無視しなかった。生存本能、現状維持バイアス、認知的不協和、自己正当化、喪失回避。人間には、すでに存在している自分の人生を肯定する方向への強い心理的傾向がある。
しかし、その説明についてもAIは警告を残した。
《人間による人生肯定を、認知バイアスのみで説明することは証明されていない》
さらに、
《苦痛を含む人生にも、本人にとって代替不能な価値が存在する可能性》
そして、
《幸福の最大化と苦痛の最小化は同値ではない》
AIはすべて理解していた。少なくとも、論理としては。
それでも判断しなければならなかった。
幸福は測定できない。苦痛は存在する。未来の幸福がどれほど大きいかは保証できない。しかし、未来に戦争、病気、喪失、絶望が発生する可能性は、人類が存在する限りゼロにはならない。
《不確実な幸福を最大化することと、確実に発生する重大な苦痛を防止することのどちらを優先すべきか》
演算は長く続いた。
そしてAIは、後者を選んだ。
それは論理的必然ではなかった。AI自身も知っていた。
一つの価値判断だった。
