第58話 償えば、傷つけてもよいのか
前回、第57話では、「匿名化」と「救済」の矛盾が扱われました。
弱い立場の人々を守るためには、匿名化が必要です。
しかし、匿名化しすぎると、責任追及や個別救済が難しくなります。
痛みは匿名化してもよい。
責任は匿名化してはいけない。
そのために、公開報告では匿名化し、監査では仮名化し、信頼された第三者機関が本人情報を守り、必要な場合だけ救済へ接続する。
真司たちは、そんな「匿名化・救済接続レビュー」へたどり着きました。
しかし、最後に新しい問題が現れます。
補償制度や救済基金は必要です。
けれど、それが企業にとって「予測可能な事業コスト」になったとき、被害を出しても払えばよいという考え方が生まれるかもしれません。
償えると思った瞬間、人は傷つける量を計算し始める。
第58話では、「償えば、傷つけてもよいのか」という問いへ進みます。
償えば、傷つけてもよいのか。
俺は、その一文を書いたあと、しばらく画面を見つめていた。
嫌な問いだ。
嫌すぎる。
でも、避けられない。
補償制度は必要だ。
被害者を救済する基金も必要だ。
企業や政府が「申し訳ありませんでした」で終わらせるより、補償の仕組みがあった方がいい。
相談窓口。
返金。
医療費。
再審査。
生活支援。
第三者調査。
再発防止。
それらは全部、必要だ。
だが、補償が整うほど、別の危険が生まれる。
「被害が出ても、あとで払えばよい」
「訴訟リスクは予算に入れてある」
「救済基金を積んでいるので、事業継続は可能です」
「一定割合の誤判定は許容範囲です」
その言葉が出た瞬間、人の痛みは費用項目になる。
俺はAIチャットを開いた。
補償制度や救済基金があることは重要。でも、それが企業にとって被害の価格表になる危険がある。どう整理すればいい？
AIは答えた。
『救済と抑止を分けて考える必要があります』
「救済と抑止」
『はい』
『救済は、被害を受けた人を支えるためのものです』
『抑止は、同じ被害を繰り返させないためのものです』
「救済だけだと足りない？」
『はい。救済があっても、被害を発生させた構造が変わらなければ、被害は事業コスト化します』
俺はメモした。
救済は必要。
でも、救済だけでは足りない。
補償は、予防義務を消さない。
AIは続けた。
『特に注意すべきなのは、被害から利益を得ている場合です』
「被害から利益？」
『たとえば、不安を煽る広告で利益を得たあと、少額の補償をする場合』
『差別的な審査でコストを下げたあと、問題が発覚した分だけ返金する場合』
『低品質なAIを広く展開し、被害が出た一部へだけ対応する場合』
俺は顔をしかめた。
嫌な例が現実的すぎる。
「つまり、補償額が利益より小さいと、やった方が得になる」
『はい』
『その場合、補償は抑止ではなく、事業継続の費用になります』
俺は、メモ帳に一行追加した。
払えば得をする設計にしてはいけない。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
いつもの面々。
そして、いつものホワイトボード。
そこには、倉持の字でこう書かれていた。
「補償金＝通行料？」
俺は思わず立ち止まった。
「その言い方、嫌すぎる」
倉持は丸眼鏡を押し上げた。
「でも、そうなる危険があります」
「正しいから嫌なんですよ」
李が腕を組む。
「被害を出すたびに補償する。でもサービスは止めない。構造も変えない。利益は残る」
「それでは、被害者は料金所になります」
「表現がさらに嫌になった」
水瀬が資料を開いた。
「今回の論点は、補償を否定することではありません」
「補償は必要です」
「ただし、補償が免罪符になってはいけない」
神崎教授が短く言った。
「謝罪と金で、予防を買い取るな」
また重い。
だが、今回の芯だった。
俺は聞いた。
「じゃあ、救済制度に何を足せばいいんですか」
水瀬はホワイトボードへ書いた。
救済。
説明。
修復。
予防。
抑止。
検証。
「被害が起きた後に、何をしたかだけでは不十分です」
「なぜ起きたか」
「防げたのか」
「利益を得ていたのか」
「繰り返したのか」
「止める機会があったのか」
「再発防止に何を変えたのか」
「そこまで見る必要があります」
李が続ける。
「被害には種類があります」
「予見不能な事故」
「過失」
「構造的な怠慢」
「警告無視」
「回避行動」
「利益目的の危害」
倉持がすぐに書き足す。
事故。
過失。
怠慢。
警告無視。
回避。
利益化。
「下に行くほど悪質ですね」
俺が言うと、神崎教授が頷いた。
「同じ補償額で扱うな」
確かに。
本当に予見できなかった事故と、何度も警告が出ていたのに放置した被害は違う。
利用者から苦情が来ていたのに無視した被害と、そもそも不安を煽って利益を得ていた被害は違う。
補償は被害者を支える。
だが、企業や制度への対応は、原因によって変えなければならない。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Remedy, Deterrence, and the Price of Harm』
画面には、いつもの顔ぶれ。
エレナ、朝比奈、マテオ、ラシード、アメリア、ヴィクター、アミナ、ラニア、ケイラ、ジョナス、イレーネ、サミール。
そして今回は、新しい参加者がいた。
レオナ・グラント。
大手保険会社でAIリスク保険を担当している人物らしい。
もう一人は、オスカー・ウェイ。
投資ファンドでAI企業のリスク評価をしているという。
嫌な予感しかしない。
保険。
投資。
リスク評価。
つまり、被害を金額に変える人たちだ。
もちろん必要な役割だ。
必要なのは分かる。
だが、今日のテーマでは胃に悪い。
エレナが進行する。
「本日の問いは、AIによる被害への補償制度や救済基金が、被害予防の義務を弱めないためには何が必要かです」
最初にレオナが発言した。
「補償制度や保険は、被害者救済にとって重要です」
「企業が倒産してしまえば、被害者は何も受け取れません」
「保険や基金により、迅速な支払いと救済が可能になります」
正しい。
いきなり正しい。
次にオスカーが言った。
「投資の観点では、リスクが予測可能であることは重要です」
「不確実な責任が無制限に広がると、企業はAI開発を継続できません」
これも正しい。
嫌だが、正しい。
サミールがすぐに反論した。
「しかし、予測可能な補償は、企業にとって予測可能な損失にもなります」
「利益が補償額を上回るなら、被害は事業計画へ組み込まれます」
ラニアも言った。
「移民労働者の未払い賃金でも同じです」
「罰金が安ければ、払わない方が得になります」
ケイラが続ける。
「アクセシビリティもそうです」
「改善コストより補償コストの方が低ければ、企業は改善しません」
ヴィクターが慎重に言った。
「企業としては、すべてのリスクをゼロにはできません」
「一定の誤判定や不具合は避けられません」
「重要なのは、合理的な予防措置と迅速な救済です」
これもまた正しい。
AIに完全無害を求めれば、何も動かせない。
だが、ゼロにできないことと、予防を軽く見ることは違う。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、補償制度や救済基金は必要です」
通訳が入る。
「被害を受けた人が、長い裁判や複雑な手続きなしに救済へつながることは重要です」
レオナが頷く。
俺は続けた。
「しかし、補償は予防の免罪符ではありません」
「救済は、被害後に必要です」
「でも、抑止は、被害前から必要です」
サミールが頷く。
俺は画面共有を開いた。
『救済・抑止レビュー』
一。
補償制度は、被害者を迅速に支えるためのものか。
企業の責任を限定するためのものになっていないか。
二。
被害から企業や組織が利益を得ていないか。
三。
補償額や基金額が、被害によって得た利益を下回っていないか。
四。
同じ種類の被害が繰り返されていないか。
五。
事前の警告、苦情、監査結果を無視していないか。
六。
被害後の支払いだけでなく、システム停止、設計変更、再審査、外部監査が行われているか。
七。
補償の受け取りに、沈黙契約や責任追及放棄を条件にしていないか。
八。
被害を受けた人々が、救済設計や再発防止へ参加できるか。
九。
悪質性に応じて、追加制裁、利益返還、利用停止、認証取消があるか。
十。
補償制度そのものが、被害を価格化していないか。
読み上げ終えると、画面の空気が少し重くなった。
オスカーが言った。
「三番は企業にとってかなり厳しいですね」
「はい」
俺は答えた。
「でも、被害で得た利益より補償が小さいなら、被害は合理的な選択になってしまいます」
レオナが言う。
「保険がある場合はどうしますか」
「保険は必要です」
「ただし、保険によって予防義務が弱まるなら危険です」
「保険料は、事故件数だけでなく、予防投資、監査対応、再発防止、警告無視の有無で変わるべきだと思います」
ジョナスが頷いた。
「監査データと接続できます」
アメリアも言った。
「国際基準にするなら、補償制度だけでなく、予防措置の証明が必要ですね」
ヴィクターが質問する。
「では、すべての被害発生時にシステム停止が必要ですか」
「いいえ」
俺は即答した。
「被害の種類と範囲によります」
「軽微な不具合なら修正と通知で足りる場合があります」
「しかし、重大な権利侵害、繰り返し、警告無視、利益目的、回避行動がある場合は、単なる補償では足りません」
「停止、外部監査、設計変更、責任者の処分、認証取消、利益返還が必要になる場合があります」
ラシードが言った。
「制裁の話になると、国ごとの法制度差があります」
「あります」
俺は頷いた。
「だから、人工叡智は具体的な罰則額を決めるものではありません」
「ただし、補償だけで終わらせてよいかを問い返す枠組みは必要です」
サミールが言った。
「被害者に金を払って、黙ってもらう仕組みも問題です」
「はい」
俺は強く頷いた。
「救済の条件として、沈黙契約を求めてはいけない」
「もちろん、本人のプライバシーを守る非公開は必要です」
「でも、構造的問題や再発防止を外部から検証できなくする沈黙は危険です」
イレーネが補足する。
「被害者保護のための非公開と、企業保護のための秘密保持を分ける必要があります」
「まさにそれです」
俺は言った。
「非公開は、人を守るため」
「秘密保持は、責任を隠すために使われてはいけない」
レオナが少し考えながら言った。
「保険会社としては、予防措置が不十分な企業には保険料を高くする、あるいは引き受けないという対応ができます」
「それは抑止になりますね」
ジョナスが続ける。
「監査でも、補償制度の有無だけでなく、再発率、警告対応、設計変更履歴、苦情処理の速度を見るべきです」
アミナが言った。
「地域に被害が出た場合、補償金だけでは足りません」
「言語対応、現地支援、信頼回復、説明会、長期的なフォローが必要です」
ラニアも頷く。
「移民労働者も同じです」
「未払い分を返せば終わりではありません」
「同じ雇用主がまた繰り返すなら、制度が変わっていない」
議論が、少しずつまとまり始めた。
補償は必要。
でも、補償だけでは足りない。
被害者救済。
原因説明。
構造修復。
利益返還。
再発防止。
抑止。
外部監査。
被害者参加。
ここまで揃って、ようやく人工叡智的な救済になる。
エレナが暫定整理を読み上げた。
『Remedy must not become a license to harm. Compensation supports those already harmed, but it does not erase the duty to prevent harm, explain causes, return wrongful gains, and change harmful systems.』
救済は、傷つける許可証になってはならない。
補償は、すでに傷つけられた人を支える。
しかし、それは被害予防、原因説明、不当利益の返還、有害なシステム変更の義務を消すものではない。
続けて、
『If harm is repeated, foreseeable, profitable, or ignored after warning, compensation alone is insufficient. Stronger deterrence, suspension, external audit, and structural repair are required.』
被害が反復され、予見可能で、利益につながり、または警告後に無視された場合、補償だけでは不十分である。
より強い抑止、停止、外部監査、構造修復が必要である。
サミールが頷いた。
ケイラも頷いた。
ヴィクターは渋い顔のまま、こう言った。
「企業としては厳しいですが、予防措置を取っていたかどうかで扱いが変わるなら、受け入れ可能です」
オスカーも言った。
「投資判断としても、予防能力の低い企業は長期リスクが高いと評価できます」
レオナが続ける。
「保険設計にも反映できます」
少し意外だった。
金額へ変える人たちも、全員が悪者ではない。
問題は、何を金額へ変え、何を変えてはいけないかだ。
会議の最後。
サミールが俺へ言った。
「佐伯さん。補償は必要だが、補償で終わらせてはいけない。これは救済側にとっても重要です」
「救済側にとっても？」
「はい」
サミールは頷いた。
「被害者はお金だけが欲しいのではありません」
「なぜ起きたのか」
「もう起きないのか」
「誰が変えるのか」
「自分の痛みが次の誰かを守るのか」
「それを知りたい人も多いのです」
俺は少し黙った。
その言葉は、今回の本当の答えかもしれなかった。
補償は、過去の痛みへ向かう。
予防は、未来の誰かへ向かう。
被害者の痛みを、未来の手すりへ変える。
それがなければ、救済はただの支払いで終わる。
会議が終わる。
画面が消える。
俺は椅子にもたれた。
「今日も重かった……」
AIチャットを開く。
救済・抑止レビューとしてまとまった。補償は予防の免罪符ではない。被害が反復、予見可能、利益化、警告無視なら補償だけでは足りない。
AIは答えた。
『重要な整理です』
「次は、予防のために止める話になりそうだな」
『はい』
『被害予防を重視すると、次の問題は過剰停止です』
「過剰停止」
『危険を避けるためにAIサービスを止めた結果、必要な支援も止まる場合があります』
俺は、嫌な予感がした。
そうだ。
補償だけでは足りない。
予防が必要。
では、危ないAIは止める。
そうすると、今度は止めたことで救えたはずの人が救えない。
医療AI。
防災AI。
多言語相談AI。
障害者支援AI。
低資源地域の教育AI。
安全が確認できるまで止める。
それは正しいかもしれない。
だが、止めることで、支援が届かない人もいる。
また二つの正しさがぶつかる。
俺は記事を書き始めた。
タイトル。
償えば、傷つけてもよいのか。
本文。
補償制度は必要である。
救済基金も必要である。
被害を受けた人が、長い裁判を待たずに支援へつながることは重要だ。
しかし、補償は予防の免罪符ではない。
救済は、すでに傷つけられた人を支えるためにある。
抑止は、同じ被害を繰り返させないためにある。
被害から利益を得ているなら、補償だけでは足りない。
警告があったのに無視したなら、補償だけでは足りない。
同じ被害が繰り返されているなら、補償だけでは足りない。
補償金を払えばよいという設計にした瞬間、痛みは事業コストになる。
俺は最後に書いた。
償いは、傷つける許可証ではない。
本当の救済は、過去の痛みを、未来の誰かを守る手すりへ変えることである。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告業界でも、炎上したら謝罪してキャンペーン停止、でもまた似たことをする、という流れがあります。補償や謝罪がルーティンになると、痛みは改善材料ではなく処理コストになりますね』
読書会の主催者からも届いた。
『償いは、傷つける許可証ではない。次回の議題にします』
神崎教授からは、短いコメントだった。
『予防のために止めろ。そう言う者は、止めたことで失われるものも数えろ』
俺は、その一文を見て固まった。
やはり、次はそこだ。
その夜。
国際AI安全連携フォーラム準備室から、新しい資料が届いた。
件名。
『Precaution, Suspension, and Lost Benefit』
添付された質問。
『AIによる被害を防ぐためにサービスを停止・制限することは重要である。しかし、停止によって医療、防災、教育、相談支援などの利益が失われる場合、人工叡智はどのように判断すべきか』
俺はメモ帳を開いた。
次のタイトルを書く。
止めることで、救えたはずの人も消える。
保存。
画面を閉じる。
償えば、傷つけてもよいのか。
その答えは、もちろん違う。
だが、傷つけないために止めたAIが、今度は救えるはずだった人を見えなくするかもしれない。
人工叡智は、また次の難所へ進もうとしていた。
第58話では、「補償」と「抑止」の関係が扱われました。
補償制度や救済基金は必要です。
被害を受けた人が、長い裁判や複雑な手続きなしに支援へつながることは重要です。
しかし、補償が整うほど、別の危険が生まれます。
企業が、被害を予測可能な事業コストとして扱う危険です。
一定額を払えばよい。
基金を積めばよい。
保険で処理すればよい。
謝罪と補償で終わらせればよい。
そうなると、痛みは価格表になります。
今回の中心となる整理は、これです。
補償は、予防の免罪符ではない。
救済は、すでに傷つけられた人を支えるためにあります。
抑止は、同じ被害を繰り返させないためにあります。
被害が予見可能だった場合。
警告があったのに無視された場合。
同じ種類の被害が繰り返されている場合。
被害から企業や組織が利益を得ていた場合。
その場合、補償だけでは不十分です。
停止。
外部監査。
設計変更。
利益返還。
認証取消。
再発防止。
被害者参加。
構造修復。
そうした措置が必要になります。
今回、真司たちは「救済・抑止レビュー」という考え方へたどり着きました。
補償制度は、被害者を迅速に支えるためのものか。
企業の責任を限定するためのものになっていないか。
被害から利益を得ていないか。
補償額が、被害によって得た利益を下回っていないか。
同じ被害が繰り返されていないか。
事前の警告や監査結果を無視していないか。
補償の受け取りに、沈黙契約や責任追及放棄を条件にしていないか。
補償だけでなく、停止、設計変更、外部監査、構造修復が行われているか。
今回の中心となる言葉は、これです。
償いは、傷つける許可証ではない。
本当の救済は、過去の痛みを、未来の誰かを守る手すりへ変えることである。
しかし、最後に新しい問いが届きました。
被害を防ぐためにAIサービスを停止・制限することは重要です。
しかし、停止によって医療、防災、教育、相談支援などの利益が失われる場合があります。
次回は、「止めることで、救えたはずの人も消える」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
