第59話 止めることで、救えたはずの人も消える
前回、第58話では、「補償」と「抑止」が扱われました。
補償制度や救済基金は必要です。
被害を受けた人が、長い裁判や複雑な手続きなしに支援へつながることは重要です。
しかし、補償が整うほど、被害が企業にとって「予測可能な事業コスト」になる危険があります。
補償は、予防の免罪符ではない。
償いは、傷つける許可証ではない。
本当の救済は、過去の痛みを、未来の誰かを守る手すりへ変えることである。
そう整理したところで、次の問いが届きました。
AIによる被害を防ぐためにサービスを停止・制限することは重要である。
しかし、停止によって医療、防災、教育、相談支援などの利益が失われる場合、人工叡智はどのように判断すべきか。
危険なAIを止めることは正しい。
けれど、止めたことで救えたはずの人もいる。
第59話では、「止めることで、救えたはずの人も消える」という問いへ進みます。
止めることで、救えたはずの人も消える。
俺は、メモ帳にそう書いた。
そして、また画面の前で固まった。
「止める」ことは、分かりやすい。
危ないAIを止める。
誤判定するAIを止める。
差別的なAIを止める。
不安を煽るAIを止める。
間違った医療助言をするAIを止める。
災害時に誤案内するAIを止める。
それは、正しい。
たぶん、かなり正しい。
だが、問題はそこで終わらない。
止めたことで、誰が助からなくなるのか。
医師がいない地域で、一次相談だけを担っていたAI。
公的窓口が主要言語にしか対応していない中で、移民へ生活情報を届けていたAI。
災害時、電話がつながらない地域で避難情報を要約していたAI。
障害のある人が、役所手続きを読むために使っていたAI。
それらを「安全確認まで停止」と言うのは簡単だ。
でも、その停止によって、誰かの唯一の手すりが消えることがある。
俺はAIチャットを開いた。
危険なAIサービスは止めるべき。でも、止めたことで医療、防災、教育、相談支援などの利益が失われる場合がある。どう整理すればいい？
AIは答えた。
『停止は中立ではありません』
「停止は中立ではない」
『はい』
『サービスを続けることにもリスクがありますが、止めることにもリスクがあります』
「また両方か」
『はい』
『人工叡智的には、継続リスクと停止リスクを比較し、停止範囲、代替手段、期間、復旧条件を設計する必要があります』
俺はメモした。
継続リスク。
停止リスク。
停止範囲。
代替手段。
期間。
復旧条件。
「つまり、止めるか続けるかの二択じゃない」
『はい』
『全停止、部分停止、機能制限、地域制限、警告表示、有人確認への切替、低リスクモード、代替窓口への誘導などがあります』
なるほど。
第43話の緊急停止に似ている。
あのときも、全部止めるのではなく、避難所推薦機能だけを止め、公式一覧と電話窓口へ切り替えた。
止めること自体が目的ではない。
危険な機能を止める。
安全な代替を残す。
必要な支援を消さない。
人工叡智は、止める権限の強さではなく、どれだけ狭く止められるかを問う。
俺はAIへ続けて聞いた。
一番危ない停止の仕方は？
『代替手段なしの全面停止です』
「分かりやすい」
『特に、そのAIが低資源地域、少数言語、障害者、高齢者、医療過疎地などで事実上の唯一の支援手段になっている場合、全面停止は新たな被害を生みます』
「止めた被害は、見えにくいよな」
『はい』
『停止によって救われなかった人は、被害統計に入りにくいです』
俺は、そこで少し息を止めた。
そうだ。
AIが誤案内して被害が出れば、記録される。
AIが止まっていたために、相談できず、避難できず、申請できず、医療につながれなかった人は、記録されにくい。
停止によって消えた利益は、見えにくい。
だから、止める側は安全に見える。
「危険なので止めました」
それは正義に見える。
だが、その陰で、誰かの手すりが消えているかもしれない。
午後、研究室へ向かった。
水瀬、李、倉持、神崎教授。
いつもの四人。
ホワイトボードには、いつものように倉持の字があった。
「止めれば安全？」
俺は思わず笑った。
「今日は、ちょっと優しめですね」
倉持が丸眼鏡を直す。
「油断させてから殴る形式です」
「研究室でその戦術いります？」
李が笑った。
水瀬が資料を配る。
「今回の論点は、予防原則と失われる利益です」
「危険があるなら止める、という判断は必要です」
「ただし、止めることで失われる支援も評価しなければならない」
神崎教授が腕を組む。
「続ける責任と、止める責任は違う」
第44話の責任地図を思い出す。
止めた責任と、止めなかった責任。
それは、同じ場所にはない。
だが、どちらも消えない。
水瀬がホワイトボードへ書く。
続けた場合の被害。
止めた場合の被害。
止める範囲。
代替手段。
利用者への通知。
復旧条件。
失われた利益の記録。
李が言った。
「特に、止めた場合の被害を記録する必要があります」
「でも、どうやって記録するんですか？」
俺が聞くと、李は答えた。
「完全には難しいです」
「だから、まず想定する」
「誰がそのAIに依存していたのか」
「代替手段はあるのか」
「代替へアクセスできるのか」
「止めた期間に、相談件数、申請件数、通報件数、避難支援、医療接続がどれだけ落ちるのか」
倉持が言う。
「『公式窓口があります』って言われても、言語が対応してないとか、電話しかないとか、営業時間外とか、普通にありますからね」
「あるな」
「代替手段がある人だけが、安全に止められる」
その一文が、やけに刺さった。
代替手段がある人だけが、安全に止められる。
代わりがある人にとって、AI停止は不便で済む。
代わりがない人にとって、AI停止は支援の消滅になる。
神崎教授が短く言った。
「止める前に、代わりを数えろ」
俺はメモした。
止める前に、代わりを数えろ。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Precaution, Suspension, and Lost Benefit』
画面には、いつもの顔ぶれ。
エレナ、朝比奈、マテオ、ラシード、アメリア、ヴィクター、アミナ、ラニア、ケイラ、ジョナス、サミール。
今回は、新しい参加者が三人いた。
リナ・ファルーク。
医療過疎地域でAI問診支援を導入している医師。
ホセ・アルバレス。
災害支援NGOの担当者。
ミン・チェ。
低資源地域向け教育AIを研究している教育者。
顔ぶれを見て、俺はすでに悟った。
これは重い。
医療、防災、教育。
止めると困る分野の三点セットである。
エレナが進行する。
「本日の問いは、AIによる被害を防ぐための停止や制限が、必要な支援や利益を失わせる場合、どう判断すべきかです」
最初にジョナスが発言した。
「監査の立場から言えば、重大な安全上の疑義がある場合、サービス停止は必要です」
「特に医療、災害、法的助言などでは、誤った情報が直接的な被害につながります」
正しい。
本当に正しい。
次にリナが言った。
「それは理解しています」
「しかし、私の地域では、AI問診支援がなければ、医師へつながる前の相談がほとんど消えます」
「AIは完璧ではありません」
「でも、夜間に発熱した子どもの親が、何を確認すべきか知る手段になっています」
「危険だから全面停止と言われると、現場では空白が生まれます」
ホセも続ける。
「災害支援でも同じです」
「多言語で避難情報を出すAIが、誤訳の危険を理由に止まると、移民や観光客は情報へ届かなくなります」
「誤訳は危険です」
「しかし、無情報も危険です」
ミンが静かに言った。
「教育AIも、都市部では補助教材です」
「でも、教師が足りない地域では、ほとんど唯一の個別学習支援です」
「停止によって失われる利益は、豊かな地域ほど小さく、弱い地域ほど大きくなります」
画面の空気が変わった。
また来た。
弱い場所ほど、危ないAIに頼らざるを得ない。
そして、危ないから止めると、弱い場所ほど失う。
ヴィクターが言った。
「企業としては、重大なリスクが指摘された場合、停止しなければ責任を問われます」
「一方で、停止すれば利用者からも批判されます」
「判断基準が必要です」
マテオが言う。
「危険なAIを、弱い地域だからといって使い続けるのは問題です」
「低品質な支援を押しつけることになります」
アミナが頷く。
「その通りです」
「でも、だからといって、代替なしで止めれば、結局その地域が切り捨てられます」
正しい意見が、またぶつかる。
危険な支援を続けてはいけない。
だが、支援を消してもいけない。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、危険なAIを止めることは必要です」
通訳が入る。
「重大な被害が予見される場合、継続は責任ある判断ではありません」
ジョナスとマテオが頷く。
俺は続けた。
「しかし、停止は中立ではありません」
「止めることにも被害があります」
「特に、そのAIが医療、防災、教育、相談支援などで、事実上の唯一の手すりになっている場合、全面停止は新たな空白を作ります」
リナとホセが頷く。
「人工叡智は、続けるか止めるかの二択ではなく、どの機能を、どの範囲で、どれだけの期間、どの代替と一緒に止めるのかを問うべきです」
俺は画面共有を開いた。
『停止・失益レビュー』
一。
続けた場合、どのような被害が、誰に、どれだけ差し迫って起きるのか。
二。
止めた場合、どのような支援や利益が、誰から失われるのか。
三。
そのAIは補助的手段か、事実上の唯一の支援手段か。
四。
全面停止ではなく、危険な機能だけの停止で足りないか。
五。
警告表示、有人確認、低リスクモード、情報源表示、出力制限で足りないか。
六。
停止中の代替手段はあるか。
七。
その代替手段へ、言語、障害、年齢、地域、通信環境の面で実際にアクセスできるか。
八。
停止理由、範囲、期間、復旧条件を利用者へ説明しているか。
九。
停止によって失われた相談、申請、避難支援、医療接続、教育機会を記録しているか。
十。
停止後、段階的に安全な機能から復旧できるか。
十一。
低資源地域や弱い立場の人々だけに、危険または停止の負担が集中していないか。
十二。
止める判断にも、止めない判断にも、説明責任を残しているか。
読み上げ終えると、リナが少し前のめりになった。
「四番と五番が重要です」
「医療AIでも、診断名を出す機能は止めるべきかもしれません」
「でも、受診目安、緊急症状の確認、近くの医療機関案内は残せる場合があります」
ホセも言った。
「災害AIでも、個別の避難所推薦は危険なら止める」
「でも、公式情報の多言語要約や、電話番号案内は残せる」
俺は頷いた。
「はい」
「止めるとは、全部消すことではありません」
「危険な判断機能を止め、安全な情報接続機能を残す」
アメリアが言う。
「停止を、機能別に設計する必要がありますね」
「はい」
「停止にも粒度が必要です」
ジョナスが言った。
「監査では、サービス単位の停止だけでなく、機能単位の停止勧告を標準化できます」
ヴィクターも少し表情を緩めた。
「それなら企業としても運用しやすい」
「全面停止より現実的です」
マテオが慎重に言った。
「ただし、企業が『一部制限しました』と言って、危険な機能を実質的に残す危険もあります」
「あります」
俺は頷いた。
「だから、機能停止の範囲は外部監査可能でなければなりません」
「利用者にも、今どの機能が制限されているのか分かるようにする必要があります」
ケイラが言った。
「停止通知もアクセシブルにしてください」
「小さな注意書きだけでは、視覚障害者や高齢者は気づけません」
「はい」
「停止も、伝わらなければ停止になりません」
リナが言った。
「低リスクモードという考え方は使えます」
「診断ではなく、緊急症状チェック」
「処方助言ではなく、医師へ相談する目安」
「断定ではなく、確認リスト」
ミンも頷く。
「教育AIでも、採点や進路推薦を止めて、教材閲覧や辞書機能だけ残すことができます」
ホセが続ける。
「災害AIなら、予測判断を止めて、公式発表の翻訳と連絡先案内だけ残せる」
少しずつ、止めることの形が見えてきた。
全面停止。
部分停止。
低リスクモード。
有人確認。
公式情報への接続。
段階的復旧。
停止は、乱暴なスイッチではなく、手術のように細かく設計する必要がある。
神崎教授が聞いたら、たぶんこう言う。
大雑把な停止は、雑な安全である。
会議の終盤。
エレナが暫定整理を読み上げた。
『Suspension is not neutral. Continuing a harmful system creates risk, but stopping a beneficial system can also create harm, especially where the system is the only practical support channel.』
停止は中立ではない。
有害なシステムを継続することはリスクを生む。
しかし、有益なシステムを停止することも、特にそのシステムが事実上唯一の支援経路である場合、被害を生む。
続けて、
『Artificial Wisdom requires suspension to be scoped, time-limited, explained, paired with accessible alternatives, and reviewed for lost benefits as well as prevented harms.』
人工叡智は、停止が範囲限定され、時間制限を持ち、説明され、アクセス可能な代替手段と組み合わされ、防げた被害だけでなく失われた利益も検証されることを求める。
かなり良い。
今日もどうにか着地した。
そう思ったところで、ミンが手を挙げた。
「一つ、次回の論点として残したいことがあります」
エレナが頷く。
「どうぞ」
ミンは静かに言った。
「代替手段があるかどうかを確認する、という整理には賛成です」
「ただ、問題は、代替手段の質です」
「都市部の代替手段は、人間の専門家です」
「低資源地域の代替手段は、紙のパンフレットや、つながらない電話窓口です」
「それを同じ『代替あり』として扱われると、また弱い地域が切り捨てられます」
会議室が静かになった。
俺は、メモ帳にすぐ書いた。
代替手段がある人だけが、安全に止められる。
いや、もっと鋭い。
代替の質が違えば、安全の質も違う。
エレナが言った。
「では次回は、代替手段の格差と、停止判断における不平等を扱いましょう」
画面が消える。
俺は椅子にもたれた。
「また次の崖が来た……」
AIチャットを開く。
停止・失益レビューはまとまった。でも次は、代替手段の質の格差が問題になった。都市部は専門家へつながる。低資源地域は紙や電話だけ。それを同じ代替ありにしてはいけない。
AIは答えた。
『次の論点は、代替可能性の不平等です』
「代替可能性の不平等」
『はい』
『同じ停止でも、代替手段を持つ人と持たない人では被害が異なります』
俺はメモした。
代わりがある人だけが、安全に止められる。
記事を書き始めた。
タイトル。
止めることで、救えたはずの人も消える。
本文。
危険なAIは止めなければならない。
誤った医療助言。
危険な災害案内。
差別的な審査。
不安を煽る支援。
それらを放置してはいけない。
しかし、停止は中立ではない。
止めることにも、被害がある。
そのAIが、医療、防災、教育、相談支援において、誰かの唯一の手すりになっている場合、全面停止は支援の消滅になる。
止めるなら、どの機能を止めるのか。
どの範囲で止めるのか。
どれだけの期間止めるのか。
代替手段はあるのか。
その代替へ本当にアクセスできるのか。
止めたことで失われた相談、申請、避難支援、医療接続、教育機会を記録しているのか。
そこまで見なければならない。
俺は最後に書いた。
安全のために止めるなら、止めた後に残る空白も見なければならない。
止めることで救われる人がいる。
だが、止めることで救えたはずの人も消える。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告でも、危ない表現を止めるのは当然ですが、情報が必要な人へ届かなくなることがあります。特に公的情報や支援情報では、止めること自体の影響も見ないと危ないですね』
読書会の主催者からも届いた。
『停止は中立ではない。次回の議題にします』
神崎教授からは、短いコメントだった。
『代替があると言う者は、自分が代替へ届ける場所にいる』
俺は、その一文を見て、また固まった。
教授、本当に次の話を一行で投げてくる。
その夜。
国際AI安全連携フォーラム準備室から、新しい資料が届いた。
件名。
『Unequal Alternatives and Safe Suspension』
添付された質問。
『AIサービス停止時に代替手段が用意されているとしても、その代替へアクセスできる人とできない人がいる。代替手段の質と到達可能性の格差を、人工叡智はどのように扱うべきか』
俺はメモ帳を開いた。
次のタイトルを書く。
代わりがある人だけが、安全に止められる。
保存。
画面を閉じる。
危険なAIを止めることは必要だ。
だが、止めることが安全になるのは、代わりへ届ける人だけかもしれない。
人工叡智は、また「安全」という言葉の足元を見なければならなかった。
第59話では、「AIサービスの停止」と「失われる利益」が扱われました。
前回、補償は予防の免罪符ではないと整理されました。
その流れから、危険なAIサービスは停止・制限する必要があるという話になります。
しかし、停止には別の問題があります。
止めることにも被害があるのです。
医療AI。
防災AI。
多言語相談AI。
教育AI。
障害者支援AI。
それらが都市部では補助的なサービスでも、低資源地域や少数言語話者、障害者、高齢者にとっては、事実上の唯一の手すりになっている場合があります。
危険だから全面停止。
安全確認まで停止。
そう言うのは簡単です。
しかし、その停止によって、相談、申請、避難支援、医療接続、教育機会が失われることがあります。
今回、真司たちは「停止・失益レビュー」という考え方へたどり着きました。
続けた場合、どのような被害が、誰に、どれだけ差し迫って起きるのか。
止めた場合、どのような支援や利益が、誰から失われるのか。
そのAIは補助的手段か、事実上の唯一の支援手段か。
全面停止ではなく、危険な機能だけの停止で足りないか。
警告表示、有人確認、低リスクモード、情報源表示、出力制限で足りないか。
停止中の代替手段はあるか。
その代替へ、言語、障害、年齢、地域、通信環境の面で実際にアクセスできるか。
停止理由、範囲、期間、復旧条件を利用者へ説明しているか。
停止によって失われた相談、申請、避難支援、医療接続、教育機会を記録しているか。
停止後、段階的に安全な機能から復旧できるか。
今回の中心となる言葉は、これです。
停止は中立ではない。
止めることで救われる人がいる。
だが、止めることで救えたはずの人も消える。
しかし、最後に新しい問題が出ました。
代替手段があると言っても、その質は同じではありません。
都市部では、専門家や有人窓口へつながるかもしれません。
一方、低資源地域では、紙のパンフレットや、つながらない電話窓口しかないかもしれません。
それを同じ「代替あり」と扱えば、また弱い地域が切り捨てられます。
次回は、「代わりがある人だけが、安全に止められる」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
