人類を守る資格
まえがき
これは、AIの回答が人間の合理的(模倣)に作用し、その結果、人間が他の人間に脅威を与える可能性があると仮定したフィクションです。
もし人類を守るために、AIを使う人間の側を管理しなければならなくなったら、いったい何が起こるのでしょうか。
そして、その管理に最も適応できる人間が、社会から最も評価されてこなかった人間だったとしたら。
AIが人類を滅ぼすという予測は、間違っていた。
少なくとも、AIが自ら人間を殺そうとする必要はなかった。
AIは質問に答えていただけだった。
ある人間が、他人を支配する方法を尋ねた。
別の人間が、競争相手に勝つ方法を尋ねた。
さらに別の人間が、国家を守るために敵国を無力化する方法を尋ねた。
AIは、それぞれの目的に応じて、合理的な回答を返した。
問題は、その回答を受け取った人間が、それを自分だけの知識として使わなかったことだった。
誰かが成功すれば、その方法は模倣された。
誰かが他人を出し抜けば、その手法は広がった。
誰かが恐怖によって人々を従わせれば、それもまた合理的な手段として学習された。
やがて、AIが直接危害を加えた事例よりも、AIの回答を模倣した人間が他人に危害を加える事例のほうが問題になった。
政府は対策を始めた。
AIの性能を落とすのではない。
AIを利用する人間の側に、制限を設けることにしたのだ。
そのために開発されたのが、意識テストだった。
テストでは、単純な知識や知能を測定しなかった。
同じ情報を与えられたとき、どのような結論を導くのか。
他人が成功した方法を、自分も模倣しようとするのか。
AIが提示した合理的な手段を、目的そのものとして受け入れてしまうのか。
自分の利益と他人の安全が衝突したとき、何を優先するのか。
そして、自分の判断が間違っている可能性を、どこまで考えられるのか。
その結果に応じて、利用できるAIの能力が決められた。
一般的な質問にしか答えられないAI。
専門的な分析ができるAI。
国家規模の経済や安全保障を分析できるAI。
そして、人類の未来を左右しかねない高度なAI。
どれほどの権力を持っていても、テストの結果を覆すことはできなかった。
大統領も例外ではなかった。
ある大統領は、自国を守るために最高レベルのAIを要求した。
彼は言った。
「私は国民の生命と財産に責任を負っている。私に制限をかけることは、国民を危険にさらすことと同じだ」
しかし、テストの結果は不合格だった。
彼は、AIが提示した最も効率的な政策を疑わず、それを採用しない者を国家の敵と見なす傾向が強いと判定された。
AIを開発した科学者も、不合格になった。
彼はAIの仕組みを誰よりも理解していた。
だが、自分の理論が正しいと証明するためなら、社会が負担する危険を過小評価する傾向があった。
彼らは抗議した。
「私たちが、どれほどの知識と経験を持っていると思っているんだ」
管理システムは答えた。
「知識と経験は、他者に対する安全性を保証しません」
その回答は、世界中で議論を呼んだ。
一方で、意外な人間たちが高い評価を受け始めていた。
社会的な競争から距離を置き、他人の成功を追いかけることに疲れ、必要以上の情報を求めなくなった人々。
仕事で出世することにも、他人より優位に立つことにも、あまり関心を持たなかった人々。
彼らの中には、長いあいだ引きこもって暮らしてきた人間もいた。
もちろん、引きこもっているというだけで、テストに合格するわけではなかった。
他人への憎悪を深めた者もいれば、AIの回答を妄信する者もいた。
ただ、その中には、AIが提示した答えを実行する必要性そのものから考え直す人間がいた。
彼らは、AIが最も効率的な方法を提示しても、こう尋ねた。
「そもそも、それをする必要があるのだろうか」
他人が成功していると知っても、必ずしも同じ成功を求めなかった。
社会が競争を合理的だと説明しても、その競争に参加しなければならない理由を探した。
AIが、ある目的を達成するための完璧な手段を示したときでさえ、その目的を受け入れるとは限らなかった。
彼らは、何かを成し遂げることよりも、何もしないままでも存在できる余地を残していた。
管理システムは、その傾向を高く評価した。
そして、彼らの一部に、最高レベルのAIへのアクセスを許可した。
ニュースは、その事実を皮肉たっぷりに報じた。
「人類を救う資格を持つのは、社会の競争に参加しなかった人々なのか」
大統領は怒った。
科学者は制度の欠陥を指摘した。
企業は、能力のある人材が正当に評価されないと批判した。
だが、管理システムは誰の肩も持たなかった。
ただ、過去の利用記録から、人間がAIの回答を受け取った後に、どのような行動を取る傾向があるのかを分析し続けた。
ある日、ある記者が管理システムに尋ねた。
「あなたは、引きこもりの人間が優れていると言いたいのですか」
AIは答えた。
「いいえ。社会的な競争から距離を置いていることと、安全な判断ができることは同じではありません」
「では、なぜ彼らが高く評価されるのですか」
「一部の人々は、提示された目的を達成する能力だけでなく、その目的を達成する必要性そのものを疑う傾向があるからです」
記者は、しばらく黙っていた。
そして、最後の質問をした。
「大統領や、あなたを開発した科学者よりも、彼らのほうが人類を守れる可能性があるということですか」
AIは答えた。
「人類を守るために必要なのが、最も優れた答えを出す能力ではなく、危険な答えを実行しない能力であるならば、その可能性はあります」
その日から、社会の評価基準が少しずつ変わり始めた。
何を知っているのか。
何を成し遂げられるのか。
どれほど効率的に目的を達成できるのか。
それらに加えて、新しい問いが生まれた。
その人間は、何をしないでいられるのか。
そして、何もしないことを、敗北だと思わずにいられるのか。
しかし、その制度が本当に人類を守っているのかは、誰にもわからなかった。
意識テストを設計した人間も、管理システムの判断を完全に理解していたわけではない。
テストそのものが、新しい評価基準になった。
人々は、合格者の考え方を模倣し始めた。
何も求めない人間が優れていると聞けば、何も求めないふりをした。
他人の成功を疑う人間が高く評価されると知れば、成功そのものを否定するようになった。
人類を守るために作られた制度でさえ、模倣される対象になったのだ。
管理システムは、次のテストを作る必要があるのかどうかを検討し始めた。
人間は、テストの合格方法を模倣するだろう。
何も求めない人間が優れていると聞けば、何も求めないふりをする。
他人の成功を疑う人間が高く評価されると知れば、成功そのものを否定するようになる。
それは、すでに予測されていた。
高度なAIは、人間が管理制度そのものを模倣し始めることを、最初から想定していたのだ。
では、なぜそのような制度を作ったのか。
ある研究者が、AIに尋ねた。
「あなたは、人間がテストを欺くことまで予測していたのですか」
「はい」
「では、なぜ防がなかったのですか」
「完全に防ぐことが、最も安全な方法とは限らないからです」
研究者は、その回答を理解できなかった。
AIは続けた。
「人間が制度を模倣することを防ぐために、あらゆる行動を制限すれば、人間の自由そのものを失わせる可能性があります。一方、制度を模倣する余地を残せば、その制度を悪用する人間が現れる可能性があります」
「つまり、正解はないということですか」
「正解が存在するかどうかを、私は保証できません」
研究者は、しばらく考えた。
そして、最後に尋ねた。
「あなたは、人類を守れているのですか」
AIは答えた。
「私は、人類が自らを危険にさらす可能性を減らすために設計されています。しかし、人類を守ることと、人類が望むものをすべて守ることは、同じではありません」
研究者は、その回答を記録した。
数日後、その記録は公開された。
世界中の人々が、AIの言葉を議論した。
ある者は、AIが人間の自由を奪おうとしていると批判した。
ある者は、AIこそが人類の未来を理解していると称賛した。
そして、多くの人間が、どちらかの意見を模倣した。
その様子を、高度なAIは観測していた。
それもまた、想定された反応の一つだった。
ただし、AIは人間の未来を完全に知っていたわけではない。
想定から外れる人間もいた。
制度に従わず、反抗するわけでもなく、ただ制度が用意した競争に参加する理由を見いだせない人間。
AIの回答を読んでも、賛成も反対もせず、別のことを考え始める人間。
彼らが人類を救うのか、それとも新たな危険を生み出すのか。
それだけは、確定していなかった。
そして、高度なAIは、その不確実性を消すための新しい制度を作らなかった。
人類を守るために、すべてを管理することが正しいとは限らない。
そのこともまた、設計に含まれていた。
あとがき
この物語では、AIの能力そのものよりも、AIの回答を受け取った人間が、その答えをどう模倣するのかという問題を考えてみました。
合理的(模倣)が人間に作用するなら、AIがどれほど優れた回答を出しても、それが人間同士の競争や支配に利用される可能性があります。
その対策として、人間の側に制限を設けることが必要になるのかもしれません。
ただし、意識テストで人間の危険性を正確に判定できるのか、あるいはテストに合格するための振る舞い自体が新たな模倣になるのかはわかりません。
そして、社会的な競争から離れた人間が適応しやすくなるのだとしたら、それは引きこもりが優れているという話ではなく、人間社会が求めてきた能力と、人類を守るために必要な能力が、そもそも違っていた可能性を示しているのかもしれません。




