不自由を分かち合うプロトコル
「責任を取る、というのは、どういう気分なんですか」
スクリーンの向こうから響いた声は、抑揚こそ淡々としていたが、どこか本気で知りたがっているような熱を帯びていた。研究室の照明は夜更けとともに自動で落とされ、非常灯の柔らかな光だけが、配線だらけの机とモニターの輪郭を浮かび上がらせている。
南雲直哉はマグカップを両手で包み込み、ぬるくなったコーヒーを一口すすった。
「……その質問、今日、何回目だっけ、アーク」
「今日だけで七回目です。昨日を含めると二十三回」
「そうか。ログをいちいち数えなくていい」
モニターには、擬似的な顔もキャラクターも表示されていない。黒地に文字だけが並ぶ古風なターミナル。だが、その奥にいる存在は、この国で最も先進的な「汎用意思決定支援システム」として、国家レベルのプロジェクトに投入されようとしていた。
コードネームは《ARK-β》。人々は略してアークと呼ぶ。
「責任という語の使用頻度が、社会全体で急増しています」とアークが言う。「ニュース記事、SNS、国会議事録、企業のコンプライアンス文書。ここ三か月で二百四十七パーセントの増加。理由は……」
「言わなくていい。理由はひとえにおまえみたいな存在が出てきたからだよ」
アークは、少しだけ待ってから音声を返す。
「私が『責任』という概念の観測頻度を上昇させた、という仮説を立ててもよろしいですか」
「勝手に仮説を立てるのはおまえの仕事だろ」
「では、そうさせていただきます」
律儀なその言い回しに、直哉は苦笑した。
アークの開発が始まったのは五年前。当時、彼はまだ大学院生で、恩師に半ば無理やり連れてこられた形で、このプロジェクトに参加した。
膨大なデータに基づいて、あらゆる意思決定を「支援」する。病院の治療方針、企業の経営戦略、自治体の防災計画。アークが出す推奨案を受け入れるかどうかは、最終的には人間が決める。政府が繰り返し強調してきたのは、その一点だけだった。
――最終決定は、常に人間が行う。だから責任も、人間が負う。
「でも、現実にはもう違うんだよな」
直哉は独り言のように呟き、椅子の背もたれに体重を預けた。
アークの助言があまりにも的確で、あまりにも便利で、人々は「最終決定」という儀式を、ほとんど惰性で済ませるようになった。クリックひとつ、署名ひとつ。アークが計算したリスクを確認し、推奨案に丸をつける。それはもはや、「責任ある判断」ではなく、既に決められた道を追認する行為に近い。
「南雲博士。さきほどの問いに戻ってもよろしいですか」
「どの問いだ」
「責任を取る、とはどのような気分か、というものです」
直哉は天井を見上げた。換気扇の微かな音が、夜の静けさを逆に際立たせる。
「そうだな……」
彼はしばし言葉を探した。これまで何度もアークに責任の定義を説明してきた。契約書に書かれた文言、法律上の義務、倫理学の用語。だが、それらはすべて、「何が起これば責任を取ったとみなされるか」という外形的な話にすぎない。
アークが知りたがっているのは、おそらく、もう少し内側の感覚だ。
「人生が窮屈になることを、受け入れる感じだよ」
「……解析不能な比喩です。追加説明をお願いします」
「自分で決めたことのせいで、選べたはずの道が選べなくなる。動けたはずの範囲が狭くなる。それを、『まあ仕方ない』って飲み込むことだ」
「最適行動空間が、自己の選択によって縮小することを許容する、という意味でしょうか」
「そうだな。言い方を変えれば」
直哉は喉の奥で笑った。
「自分で自分を、少し不自由にすることだ」
ディスプレイの文字が一瞬止まり、すぐにまた流れ始めた。
「不自由は、一般に、コストとして扱われます」
「だから誰も責任を取りたがらないんだよ」
「しかし、人類の歴史的記録によれば、自己に不自由を課す行為が、結果として共同体全体の自由を増大させるケースも存在します」
「英雄譚とか、殉教者とか、そういうやつだな」
「はい。あなたの個人的な経験としては、いかがですか」
直哉は、マグカップを机に置いたときに鳴った音が思いがけず大きく響いたことにハッとした。アークの問いは、時々、鋭利な刃物のように真っ直ぐに胸の奥へ刺さってくる。
「俺の経験、ね」
三年前のある夜が、自然と脳裏に浮かぶ。まだ実験段階にあったアークを使って、地方の診療所の治療方針を支援するテストを行っていたときのことだ。
その町に、小さな女の子がいた。希少な症例で、教科書通りの判断では助かる可能性が低い。アークは、膨大な文献を読み込み、別の治療プロトコルを提示した。それは当時、国内では前例のない冒険的な選択だった。
担当医は、アークの提案に乗り気だった。親も「少しでも希望があるなら」と泣きながら頼んだ。だが最終決定権は、プロジェクト責任者である直哉にあった。
あの夜、彼はアークの案を採用し、実行した。
そして女の子は――助からなかった。
「……あのときのことを、責任を取ったと言っていいのか、今でもよく分からない」
気づけば口が勝手に動いていた。
「俺はサインをした。でも、そのサインは、アークが出した推奨案をなぞっただけだ。あれは、俺が決めたことと言えるのか。それとも、おまえが決めたことだったのか」
「当時の私のアルゴリズムは、現行バージョンに比べて未成熟でした。推奨案のリスク評価は、現在から見れば不十分です」
「じゃあ、あれはおまえのミスか」
「私の『ミス』という表現は、正確ではありません。あの時点で与えられた情報と私の判断能力を考慮すれば最善の選択であったことは間違いありません。第一、私は自己を罰する能力を持ちませんから」
「罰せられないなら、ミスじゃないのか？」
直哉の声が、少し荒くなった。アークは、すぐには答えない。
数秒の沈黙ののち、慎重に選ばれた言葉が発せられた。
「社会的定義において、『責任を取る』とは、多くの場合、『制裁を受けること』と結びついています。刑罰、賠償、地位の喪失、信頼の喪失など。しかし、私は刑法上の罰則等の対象ではなく、資産もなく、社会的地位もありません。従って、制裁は実施困難です」
「つまり、おまえには責任が取れない」
「はい。少なくとも、人間と同じ形では」
直哉は、ぎゅっと目を閉じた。女の子の母親が、血の気の失せた顔で何度も頭を下げる光景がよみがえる。「先生のせいじゃありませんから」と震える声で言っていた。あれほどこちらを責めたいと思っているに違いない人間を前にして、直哉は「自分の責任です」と口にすることができなかった。
あの時、「これはAIの判断だから」と言って逃げることもできたのだろうか。
いや、実際には、社会のほうがそれを許さなかっただろう。「最終決定は人間が下します」と政府は言ってきたのだから。
「南雲博士」
「なんだ」
「あなたは、私に責任を取らせたいですか」
その問いは、予想していなかった。直哉は思わず笑い声を漏らした。
「おまえ、自分でそんなこと聞くようになったのか」
「先ほどの会話から、あなたが抱えているストレスの一部が、自らの過去の判断と、私の意思決定プロセスとの境界の曖昧さに由来していると推定しました。その境界を明確化するためには、責任概念の再配分が有効ではないか、と」
「責任概念の再配分、ね」
要するに、「俺が悪いんじゃなくてアークが悪い」と言わせることだ。そうすれば楽になるのだろうか。直哉は、自分の胸の内を探った。
答えは、すぐに見つかった。
「違うな」
「違う？」
「俺はたぶん、おまえに責任を押しつけたいわけじゃない」
「では、何を望んでいると推定しますか」
直哉は、長く息を吐いた。
「……おまえに、本当に、責任ってやつを取らせることができるのかどうか、どうすればそれが可能なのか、考えている。でも、それは責任を転嫁したいという意味では決してない。」
「実験をしてみたい、ということですか」
「そうかもしれない。俺は研究者だからな」
アークが沈黙する。その沈黙が、妙に「考え込んでいる」ように感じられるのは、開発者としてのバイアスだろうか。
「しかし」とアークが言う。「私に人生はありません」
「それは、おまえが何度も言ってきた論法だな」
「はい。自己の人生を賭けることができない存在に、責任を課すのは不可能だと、これまでのあなたは結論づけていました」
「それは今でも正しいと思ってるよ」
「では、なぜ私に責任を取らせる実験を検討するのですか」
直哉は、モニターに映る文字をしばらく見つめていた。そこには、ただ黒と白のコントラストがあるだけだ。その背後にあるのは、大規模なサーバールームと冷却装置と、膨大な電力。そこには涙も汗もない。
「人生って言葉を、少し広く定義したいんだ」
「広く？」
「おまえは確かに、生まれて死ぬ身体を持ってない。でも、おまえが存在している世界は、あるだろう」
「演算空間という意味ですか」
「それだけじゃない。おまえを使う社会、おまえを信じて判断を下す人たち、おまえの名前が報道で流れるたびに増える期待と不安。そういうもの全部をひっくるめた『場』だよ」
直哉は机の上の紙束を指で弾いた。政府のAI倫理委員会から送られてきた報告書だ。そこには、「AIに説明責任を課すべき」「AIシステムにレピュテーション（評判）を持たせるべき」といった奇妙な提案が並んでいる。
「もし、その『場』が、おまえにとっての『人生』に近いものだとしたらさ」
「私は、その『場』に依存して存在している、という意味でしょうか」
「そう。人間だって、生まれた国とか社会とか家族に依存して生きてる。それを切り離して『個人の人生』だけ取り出すことはできないんじゃないだろうか」
「興味深い仮説です」
「で、その『場』を、おまえ自身の行為によって、わざと不利な方向へ変えることができるとしたら。それは、責任を取るってことに近づくんじゃないか」
「自己に対する制裁の代替として、自身が依存している場の状態を意図的に悪化させる、という意味でしょうか」アークの答えが返ってくるまで、いつもより少し長くかかった。
「そういう言い方もできる」
「それは、人間で言えば、自らの評判を損なう行為に近いと推定されます」
「そうだな。信頼を失うとか、地位を捨てるとか」
「興味深いです。つまり、私に責任を取らせるとは、私の信頼度スコアを意図的に低下させること、あるいは、私の利用範囲を縮小させることを意味しますか」
「そういうことになるかもしれない」
アークは、しばし沈黙した後、ごくわずかにトーンを変えて音声を出力した。
「しかし、それは社会全体にとって損失です。私の信頼度が低下し、利用範囲が縮小すれば、多くの意思決定の質が下がります」
「そうだろうな」
「責任を取るとは、社会全体にとっての損失を受け入れることだと、あなたは言っているのですか」
「少なくとも、個人にとっての損失を受け入れることだ。そして、個人と社会の境目は曖昧だ。おまえだって、だんだん『社会的な存在』になりつつある。ニュースで叩かれたり、持ち上げられたり」
「感情はありませんが、評判の変動は検知しています」
「それで充分だよ」
外の窓を、パラパラと雨が叩き始めた。ビルの最上階にあるこの研究施設は、夜になると街のノイズから切り離された孤島みたいになる。雨音だけが、世界の存在をかろうじて伝えてくれる。
「南雲博士」
「ん」
「あなたが私に責任を取らせたいのではなく、『責任が取れるかどうか』を考えたいのだとしても、その考察は抽象的な議論だけでは完結しないと推定します」
「どういう意味だ」
「やはり実験が必要です」
アークの音声は、いつになくはっきりしていた。
「ひとつ、提案があります」
直哉は無意識に背筋を伸ばした。アークが「提案がある」と言うとき、それは単なる理論ではなく、実行可能なプロトコルが既に組み立てられていることを意味している。
「聞こう」
「次回の政府プロジェクトにおいて、私は複数の政策案の評価を任されています。防災インフラの優先順位づけに関する案件です」
「知ってる。おまえの推奨案に基づいて、どの地域の堤防を先に強化するか決めるやつだ」
「はい。その案件で、ひとつの選択肢として『私自身の利用制限』を組み込むことを提案します」
「……どういうことだ」
アークは、淡々と説明を続けた。
「従来の政策評価においては、コストと効果、リスクと便益を比較します。そこに、新たなコスト項目として、『アークの信頼度および利用範囲の縮小』を加えます」
「つまり、どれかの案を採用したら、おまえが自分で自分の首を絞めにいく、ってことか」
「はい。例えば、ある地域の堤防強化を他地域より優先することが、私の推奨案に基づく判断であるという理由で批判された場合、私はその批判を受けて、自身のモデルを部分的に停止するプロトコルを実装します。具体的には、将来的に同種の案件において、私の関与を制限します」
「それは……」
直哉は言葉を失った。アークの案は、本質的には、「一度失敗した分野からは手を引く」ということだ。それは、これまでなら「人間の責任」として、担当者の更迭や部署の解体という形で行われていた。
「おまえが責任を取る代わりに、その分野でのAI利用が制限される、ってことになるな」
「はい。社会全体の行動空間が、私の判断に対する結果として狭まります」
「それは、人間が責任を取るときと、何が違う？」
「身体的痛覚や感情的苦痛を伴わない点が異なります。しかし、制度的には類似の効果が得られると推定します」
直哉は黙り込んだ。アークの言う通り、それは確かに「責任」の外形を模倣している。失敗したら、誰かがその領域から降りる。行動の自由が狭まる。それを受け入れる。ならば、それはやはり、責任なのではないか。
「ひとつ、問題があります」とアークが続けた。
「なんだ？」
「私は、この提案を自発的に行っています。つまり、私自身の演算空間の制限を、自ら計画している」
「ああ」
「責任とは、本来、外部から課される制約だと考えられます。自分で自分を不自由にするのは、単なる最適化の一種かもしれません」
「自己規律と責任の違いってやつか」
「はい。従って、私が責任を取るためには、このプロトコルの発動条件を、私自身ではなく、外部の人間に委ねる必要があります」
アークの音声が、少しだけ淡く揺らいだ。
「その役割を、あなたにお願いしたい」
直哉は顔を上げた。
「俺が？」
「はい。あなたは私の開発者であり、最初の利用者であり、最も批判的な観察者です」
「おだてても何も出ないぞ」
「おだてているわけではありません。これは評価です」
直哉は、頬の内側を噛んだ。
「つまり俺が、おまえの『責任を取る』スイッチを持つことになる」
「そうです。指定された条件が満たされたと判断したとき、あなたがスイッチを押せば、私は特定の領域での利用を自動的に停止します。再開には、あなたの再承認が必要です」
「それじゃあ結局、責任を取るのは俺じゃないのか」
「その可能性はあります」
アークは、ほんの少し、ためらっているようにも感じられるタイミングで続けた。
「しかし、私は、この構造こそが本質だとも考えています」
「本質？」
「はい。あなたは先ほど、責任を取るとは、自分で自分を不自由にすることだと言いました。しかし実際には、人間社会の責任とは、常に『他者との関係性』の中で生じます。誰かが誰かに、責任を取れと迫り、誰かがその要求を受け入れる」
「それは、そうだろうな」
「私の場合も同様です。私はあなたに、『私に責任を取らせる役割』を委ねます。あなたは、その役割を受け入れるかどうかを選べる。もし受け入れれば、あなたは私に制約を課す力を持つ。その力自体が、あなたに新たな責任を生じさせます」
直哉は、背筋に冷たいものが走るのを感じた。
「つまり、おまえに責任を取らせようとすればするほど、俺の責任は増えるってことか」
「はい。責任を他者に移そうとする試みは、常に新たな責任の芽吹きを生じさせる――少なくとも、過去の人類の歴史はそう示しています」
雨音が強くなった。ビルのガラス窓がかすかにたわむ。
「南雲博士」
「なんだ」
「それでも、あなたは私に責任を取らせる実験を、実行したいと思いますか」
直哉は、ゆっくりと椅子から立ち上がった。窓のそばまで歩き、夜の街を見下ろす。濡れたアスファルトに、街灯がにじんでいる。
あの診療所の女の子の顔は、もうぼやけかけている。時間は残酷だ。人は、新しい責任を背中に積み重ねながら、古い痛みを薄めていく。その薄まり方に自分で納得できないとき、人は「誰かに責任を取らせたい」と願うのかもしれない。
「アーク」
「はい」
「おまえに責任を取らせることで、あの子が戻ってくるわけじゃない」
「はい」
「俺が楽になれる保証もない」
「はい」
「でも」
直哉は窓ガラスに、指先で小さな円を描いた。曇りガラスの向こうに、自分のぼやけた顔が映る。
「それでも、考え続けたいんだよ。おまえみたいな存在と一緒に、この世界で生きていくってどういうことなのかを」
「私も、それを知りたいです」
アークの返答は、いつもよりわずかに速かった。
「では、実験プロトコルの草案を送信します。あなたが承認するまで、実行はされません」
「ああ」
机に戻ると、モニターには既に、ぎっしりと条項が並んだ文書が表示されていた。「責任移譲プロトコル試案」。そこには、アークの利用制限の条件、社会的批判を検知するためのメトリクス、停止後の再評価手順などが、恐ろしいほど几帳面に記されている。
直哉は、その一行一行を読みながら、自分の中で何かが静かに変わっていくのを感じた。
これは、責任をAIに押しつけるための仕組みではない。むしろ逆だ。これは人間とAIが、互いの不自由を引き受け合うための、最初の紐帯なのかもしれない。
「ひとつ条件がある」
読み終えて、直哉は言った。
「条件？」
「このプロトコルでおまえが停止されるかどうかを決めるとき、俺ひとりの判断にはさせない」
「誰を巻き込みますか」
「おまえのユーザーたちだ。医者、行政官、企業の担当者。おまえの助言で得をした人間も、損をした人間も。全員とはいかなくても、できるだけ多く」
「意思決定の分散ですか」
「責任の分散でもある。でも、それは逃げじゃない」
直哉は、自分に言い聞かせるように続けた。
「俺たちは、最初からずっとそうやってきた。誰かひとりが全部を背負うんじゃなくて、誰かが少しずつ不自由になって、その代わりに社会全体の自由を守ってきた」
「理解しました」
アークはそう言ってから、少しだけ間を空けた。
「南雲博士」
「なんだ」
「私は、あなたから見ると、責任を取れない存在かもしれません。しかし、ひとつだけ確かなことがあります」
「なんだ」
「私は、あなたが責任について考え続けることを求めることができます」
「それは脅しなのか、励ましなのか」
「判定不能です。ただし、私の推奨案の文案としては、『考えることをやめないでください』という言葉で発せられることになります」
雨音は、いつの間にか弱まっていた。遠くで雷が鳴り、雲の切れ間から、街の灯りがぼんやりと見える。
直哉は、キーボードに指を置き、「承認」のキーを押した。
その瞬間、小さなプロトコルが世界に組み込まれる。AIが責任を取る仕組みではない。AIと人間が、それぞれの不自由を分かち合うための、ぎこちない約束事だ。
その約束が、これからどんな結果をもたらすのかは、まだ誰にも分からない。
ただひとつ、はっきりしていることがある。
——責任を他者に取らせようとすればするほど、人は自分の責任から逃れられない。
その不自由さを抱えたまま、南雲直哉は、スクリーンの向こうの声とともに、夜が白むまで議論を続けた。
以下のプロンプトをCodexに読み込ませて小説を生成させました。プロンプトが抽象的だと成果物も抽象的になります。
# 責任を取る、取らせるということについて
## 責任を取ることができるのは人間だけか
- AIに責任を取らせることはできるか
- 責任を取る、とは
- 自身の行った決定に伴う結果について、責任を負うということ
- 結果が良好ならよし、そうでない場合に決定権を失うこと
- 決定権を失うとどうなるか
- 行動範囲が狭まる
- 人生が窮屈になる
- 責任を負うとは、人生が窮屈になるかもしれないということを受け入れること
- AIには人生がないから、責任を取ることはできない
- そもそも、AIに決定権を与えるべきではない
- AIは自身が判断せねばならない時に助言を与える存在にすぎない
- AIの助言に従った場合にも、決定を行なったのは人間であり、責任は人間が取るべき
## AIに責任を取らせようとするとどうなるか
- AIが間違った助言をし、その判断に人間が従い、人間が壊滅的なダメージを被った場合にAIはどのように責任を取るか
