第61話 二級の安全を、弱い場所へ渡してはいけない
前回、第60話では、「代替手段の格差」が扱われました。
危険なAIを止めることは必要です。
しかし、止めた後に代替手段へ届く人と、届かない人がいます。
都市部の人は専門家へつながる。
お金のある人は別サービスへ移れる。
主要言語を読める人は公式情報へ届く。
一方で、低資源地域、少数言語話者、障害者、高齢者、移民、非正規労働者は、AI停止によって唯一の手すりを失うことがあります。
そこで真司たちは、「代替可能性レビュー」という考え方へたどり着きました。
代替は、制度上の出口ではない。
その人が通れる道である。
しかし、最後に新しい問題が出ます。
代替手段が弱い地域では、危険な高機能AIを止める代わりに、低リスク・低機能の限定版AIを残す必要があるかもしれない。
でも、それが「高資源地域には専門家と高機能AI、低資源地域には制限された二級AI」という格差を固定してしまうのではないか。
第61話では、「二級の安全を、弱い場所へ渡してはいけない」という問いへ進みます。
二級の安全を、弱い場所へ渡してはいけない。
俺は、その一文を書いた。
そして、すぐに胃のあたりが重くなった。
安全。
本来なら、誰にとっても大事な言葉だ。
危険を減らす。
被害を防ぐ。
誤判定を避ける。
不安を煽らない。
間違った医療助言を出さない。
災害時に危険な案内をしない。
それは当然、必要だ。
だが、安全のために機能を落とす。
これもまた、必要になることがある。
診断名を出さない医療AI。
進路を決めない教育AI。
個別避難所を推薦しない防災AI。
法的判断を断定しない相談AI。
そうした低リスクモードは、たぶん必要だ。
問題は、その低リスクモードが誰に渡されるのかだ。
都市部には、人間の専門家がいる。
高機能AIもある。
有料サービスもある。
バックアップもある。
でも、低資源地域には、制限された低機能AIだけが残る。
「安全のためです」
そう言われて。
俺はAIチャットを開いた。
低資源地域にだけ低リスク・低機能の限定版AIが提供され、高資源地域には専門家や高機能AIがある。この二級支援の問題をどう整理すればいい？
AIは答えた。
『まず、低リスクモードと低品質モードを区別する必要があります』
「低リスクと低品質」
『はい』
『低リスクモードは、危険な自動判断や断定を抑える設計です』
『低品質モードは、必要な支援、説明、到達性、精度、尊厳を削った設計です』
俺はメモした。
低リスクは必要。
低品質は駄目。
「つまり、機能を減らすこと自体が悪いんじゃない」
『はい』
『問題は、危険を減らす名目で、必要な支援まで削ることです』
なるほど。
医療AIなら、診断名を断定しないのは低リスク化かもしれない。
でも、緊急症状の確認や受診先案内まで削るなら、低品質化だ。
教育AIなら、進路を自動決定しないのは低リスク化かもしれない。
でも、質問への説明や復習支援まで削るなら、低品質化だ。
防災AIなら、未確認の避難所推薦をしないのは低リスク化かもしれない。
でも、公式情報の翻訳や連絡先案内まで削るなら、低品質化だ。
危険な機能を削ることと、支援そのものを削ることは違う。
AIは続けた。
『さらに、限定版が一時的な安全措置なのか、恒久的な低水準サービスなのかを区別する必要があります』
「恒久的な低水準サービス」
『はい』
『弱い地域にだけ、低機能版が固定される場合、それは安全ではなく、支援格差の制度化です』
俺は、そこで手を止めた。
支援格差の制度化。
また嫌な言葉が出た。
でも、それだ。
安全の名で、弱い場所へだけ二級品が渡される。
「あなたたちには危ないから、簡易版だけです」
「高度な支援は、監督体制がある地域だけです」
「専門家がいない地域では、安全のために制限版を使ってください」
その結果、最も支援を必要としている場所ほど、最も弱い支援しか受けられない。
それは人工叡智ではない。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
そして、いつものホワイトボード。
そこには、倉持の字でこう書かれていた。
「安全版＝劣化版？」
俺は一瞬、笑いそうになってから、笑えなくなった。
「今日は、普通に刺さりますね」
倉持は丸眼鏡を押し上げた。
「第61話なので、遠慮なく刺しました」
「第60話の節目が終わったからって、遠慮なく刺さないでください」
李が苦笑する。
「でも、今回の危険はそこです。安全版という名前で、実質的な劣化版が配られる」
水瀬が資料を並べる。
「低リスクモードは必要です」
「ただし、低リスクモードを、低資源地域専用の低品質サービスにしてはいけません」
神崎教授が腕を組んだ。
「安全を理由に質を落とすなら、誰の質を落としているのかを見ろ」
いつも通り、短く重い。
俺は頷いた。
「高資源地域の人は、AIが制限されても専門家に相談できます」
「でも低資源地域は、その制限版AIがほぼ全部になる」
水瀬が言った。
「はい。だから、安全水準だけでなく、支援水準も見る必要があります」
「支援水準」
「安全の床と、支援の床です」
水瀬はホワイトボードに書いた。
安全の床。
支援の床。
「安全の床は、最低限超えてはいけない危険を防ぐ基準です」
「たとえば、断定的診断をしない、暴力を煽らない、差別的判断をしない、誤情報を警告する」
「一方、支援の床は、最低限提供されるべき支援の質です」
「言語対応、アクセシビリティ、説明、緊急時の接続、情報源表示、異議申立て、代替案」
李が続けた。
「安全のために機能を削っても、支援の床を下回ってはいけない」
倉持がホワイトボードにさらに書いた。
安全の床を上げる。
支援の床を抜かない。
「いいですね、それ」
俺が言うと、倉持は少しだけ得意げだった。
神崎教授が言った。
「床が抜けた安全は、落とし穴だ」
また名言の形で殴ってくる。
でも、その通りだ。
安全に見えて、支援がない。
危険な判断はしない。
だが、何も助けない。
責任を取らない。
人をつながない。
それは、ただ安全に黙っているだけのAIだ。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Low-risk Modes and Two-tier Support』
画面には、エレナ、朝比奈、アメリア、ヴィクター、アミナ、ノーラ、リナ、ホセ、ミン、ジョナス、マテオ、ラシード。
そして今回は、新しい参加者が一人いた。
ファリド・ナセル。
低資源地域で公的デジタルサービスの導入支援をしている国際機関の担当者だという。
エレナが進行する。
「本日の問いは、低リスクモードが必要な場面で、それが低資源地域への二級支援にならないためには何が必要かです」
最初にヴィクターが発言した。
「高リスク機能をそのまま提供できない地域があります」
「専門家による監督がない」
「データ品質が不十分」
「法制度や相談窓口が整っていない」
「通信環境も不安定です」
「そのような地域では、限定版AIを提供することが現実的です」
正しい。
かなり正しい。
高機能AIを何も考えずに配れば、危険が出る。
次にリナが言った。
「医療でも、監督体制のない場所で診断AIを使うのは危険です」
「ただし、低資源地域ほど医療相談が必要です」
「診断を止めることは理解します」
「でも、緊急症状チェック、受診勧告、医療機関案内、基礎的な説明まで弱くされると、何も残りません」
ホセも続ける。
「災害支援では、個別推薦は止めてもよい」
「しかし、公式情報の翻訳、避難行動の基本確認、連絡先案内、家族共有まで削られると、低リスクではなく、低支援です」
ミンが静かに言った。
「教育AIでは、低資源地域にだけ『安全な自習教材』が渡されます」
「高資源地域では、人間教師と対話型AIが組み合わされる」
「安全という名で、学習の質に階級ができます」
アミナが頷いた。
「それは、私たちの地域ではよくあります」
「危険だから制限版」
「コストが高いから簡易版」
「責任が難しいから低機能版」
「そして、それがずっと続きます」
ファリドが言った。
「一時措置が恒久化するのです」
その言葉で、画面の空気が少し変わった。
一時措置の恒久化。
これも重要だ。
安全確認まで。
体制整備まで。
予算確保まで。
次回更新まで。
そう言われた低機能版が、何年も続く。
弱い場所にだけ。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、低リスクモードは必要です」
通訳が入る。
「危険な自動判断、断定、個別推薦、高度な分類を制限することは、場合によって必要です」
ヴィクターとリナが頷く。
俺は続けた。
「しかし、低リスクモードと低品質モードは違います」
「低リスクモードは、危険な判断を減らす設計です」
「低品質モードは、必要な支援、説明、到達性、尊厳を削った設計です」
「低資源地域へ、低品質モードを安全の名で渡してはいけません」
アミナが強く頷いた。
ミンも頷く。
俺は画面共有を開いた。
『二級支援防止レビュー』
一。
制限される機能は、具体的にどの危険を減らすためのものか。
二。
削られているのは危険な自動判断か、それとも必要な支援そのものか。
三。
低リスクモードでも、最低限の支援の床は守られているか。
四。
言語対応、アクセシビリティ、情報源表示、緊急時接続、異議申立ては残っているか。
五。
低資源地域だけに低機能版が固定されていないか。
六。
低リスクモードは一時的措置か。恒久化を防ぐ期限、見直し、アップグレード計画はあるか。
七。
高資源地域では人間専門家や高機能AIが利用でき、低資源地域では制限版だけ、という二層構造になっていないか。
八。
制限によって失われる支援を記録しているか。
九。
低機能化の代わりに、人的支援、地域支援、監督体制、通信支援、翻訳支援を追加しているか。
十。
利用者に、制限内容と理由、できること、できないこと、追加支援への道を説明しているか。
十一。
低リスク化が、企業や政府のコスト削減や責任回避になっていないか。
十二。
制限版を使う地域や当事者が、設計と見直しに参加しているか。
読み上げ終えると、ノーラがすぐに言った。
「三番の支援の床が重要です」
「最低限のアクセシビリティがなければ、安全以前に使えません」
リナが言った。
「医療では、診断を出さないことは分かります」
「でも、緊急症状の案内と受診勧告は支援の床に入れるべきです」
ホセも頷く。
「災害なら、公式情報への接続、多言語、緊急連絡先は支援の床です」
ミンが続ける。
「教育では、答えを出すだけでなく、説明、復習、質問応答は支援の床です」
ファリドが言った。
「そして、アップグレード計画です」
「低リスクモードが一時的なら、いつ、何を整備すれば、より良い支援へ移れるのかを示さなければならない」
俺は頷いた。
「はい」
「限定は、避難所であって、住所にしてはいけない」
通訳が入ったあと、数人が少し反応した。
エレナがメモを取りながら言った。
「限定は、避難所であって、住所にしてはいけない」
「良い表現です」
俺は少し恥ずかしくなった。
たまに自分でも、言ってから「今の良かったな」と思うことがある。
だが、ここで浮かれている場合ではない。
ヴィクターが質問した。
「低資源地域に高機能AIを提供するには、監督体制やデータ整備が必要です」
「それには時間と費用がかかります」
「その間、限定版を出さないよりは、出した方がよいのでは？」
「出した方がよい場合はあります」
俺は答えた。
「ただし、その限定版が何をできて、何をできないのかを明示する」
「制限によって失われる支援を記録する」
「追加の人的支援や地域支援を組み合わせる」
「そして、より良い支援へ移る計画と責任者を決める」
「これがない限定版は、二級支援になります」
アミナが言った。
「責任者を決めることは重要です」
「いつか改善します、という言葉は何度も聞きました」
「でも、誰がいつまでに何をするのかがなければ、変わりません」
ファリドも頷く。
「予算と担当がなければ、改善計画ではありません」
現実的だ。
厳しいけれど、必要だ。
ジョナスが言った。
「監査では、低リスクモードの安全性だけでなく、支援水準の低下も見るべきですね」
「はい」
俺は頷いた。
「危険が減ったかだけでなく、支援がどれだけ残ったかを見る必要があります」
アメリアがまとめる。
「つまり、低リスクモードの評価は、安全指標だけでなく、支援指標も必要」
「はい」
「安全だけを測ると、何もしないAIが高評価になります」
少し笑いが起きた。
だが、本当にそうだ。
何も言わないAI。
何も判断しないAI。
何も助けないAI。
それは安全に見えるかもしれない。
でも、支援としては失敗だ。
マテオが言った。
「二級支援は、人権上も問題になります」
「同じ危険を避けるための措置が、弱い地域だけに低い支援を押しつけるなら、それは差別的な結果を生みます」
ラシードが慎重に言った。
「ただし、国家ごとの制度差や資源差は現実です」
「すべてを同じ水準にすることはできません」
「はい」
俺は答えた。
「だから、同じ形を求めるのではなく、最低支援水準と改善経路を求めるべきだと思います」
「同じAIでなくてもよい」
「でも、同じ尊厳を守る必要がある」
その言葉に、会議室が少し静かになった。
同じAIでなくてもよい。
同じ尊厳を守る。
これは、かなり大事だ。
地域によって、言語も制度も資源も違う。
だから、同じサービスを配ればよいわけではない。
だが、だからといって、弱い地域だけ支援の質を落としてよいわけでもない。
文脈に合わせることと、質を落とすことは違う。
会議の終盤。
エレナが暫定整理を読み上げた。
『A low-risk mode must not become a low-quality mode. Reducing dangerous automation is legitimate; removing necessary support, explanation, accessibility, and pathways to help is not.』
低リスクモードは、低品質モードになってはならない。
危険な自動化を減らすことは正当化され得る。
しかし、必要な支援、説明、アクセシビリティ、支援への経路を削ることは正当化されない。
続けて、
『Limited modes must be temporary, transparent, paired with support, and connected to an upgrade path. They must not become permanent second-tier safety for low-resource communities.』
限定モードは、一時的で、透明で、支援と組み合わされ、改善経路につながっていなければならない。
それは、低資源地域へ恒久的に与えられる二級の安全になってはならない。
俺は頷いた。
まとまった。
かなり良い。
だが、会議の最後に、ファリドが静かに手を挙げた。
「次回の論点として、一つ残したいことがあります」
エレナが頷く。
「お願いします」
ファリドは言った。
「改善経路、人的支援、翻訳、通信、監督体制、地域参加」
「すべて必要です」
「しかし、それには費用がかかります」
画面の空気が、また一段重くなった。
「企業は、採算が取れないと言います」
「政府は、予算がないと言います」
「国際機関は、支援対象が多すぎると言います」
「その結果、安全で高品質なAIは、支払える人のものになります」
俺は、言葉を失った。
来た。
次の崖。
安全で高品質なAIほど高くなる。
高い安全は、弱い人から遠ざかる。
エレナが静かにまとめた。
「次回は、安全で高品質なAIの費用を、誰が負担するのかを扱いましょう」
画面が消える。
俺は椅子にもたれた。
「金の話が来たか……」
AIチャットを開く。
二級支援防止レビューはまとまった。でも、支援の質を上げるには費用がかかる。企業は採算、政府は予算、国際機関は対象過多。安全で高品質なAIが、支払える人だけのものになる危険が出た。
AIは答えた。
『次の論点は、安全と品質の費用負担です』
「避けて通れないよな」
『はい』
『安全を高めるほど費用が増え、その費用が利用者へ転嫁されると、弱い立場の人ほど安全なAIから遠ざかります』
俺はメモ帳を開いた。
次のタイトルを書く。
高い安全は、弱い人から遠ざかる。
保存。
それから、今日の記事を書き始めた。
タイトル。
二級の安全を、弱い場所へ渡してはいけない。
本文。
低リスクモードは必要である。
危険な自動判断を避けること。
断定を避けること。
専門家の確認なしに重大な決定をしないこと。
それは、AIに必要な安全設計である。
しかし、低リスクモードと低品質モードは違う。
危険な判断を減らすことと、必要な支援を削ることは違う。
低資源地域にだけ、制限されたAIを渡す。
高資源地域には、人間の専門家と高機能AIがある。
その状態を安全と呼ぶなら、安全は格差を固定する言葉になる。
俺は最後に書いた。
限定は、避難所であって、住所にしてはいけない。
同じAIでなくてもよい。
だが、同じ尊厳を守らなければならない。
二級の安全を、弱い場所へ渡してはいけない。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告やマーケでも、高品質な対応は大口顧客だけ、弱い人には自動応答だけ、という構造があります。安全や支援も、払える人ほど良いものになるなら、AIは格差を埋めるどころか固定しますね』
読書会の主催者からも届いた。
『限定は、避難所であって、住所にしてはいけない。次回の議題にします』
神崎教授からは、短いコメントだった。
『高い安全だけが正しいなら、貧しい者は危険を選ばされる』
俺は、その一文を見て、静かに目を閉じた。
次の問いは、もう逃げられない。
高い安全は、弱い人から遠ざかる。
人工叡智はついに、安全と品質を支える費用そのものへ踏み込むことになった。
第61話では、「低リスクモード」と「二級支援」の問題が扱われました。
危険なAIには、低リスクモードが必要です。
医療AIが診断名を断定しない。
教育AIが進路を自動決定しない。
防災AIが未確認の避難所を個別推薦しない。
相談AIが法的判断を断定しない。
そうした制限は、人を守るために必要な場合があります。
しかし、低リスクモードと低品質モードは違います。
低リスクモードは、危険な自動判断や断定を減らす設計です。
低品質モードは、必要な支援、説明、到達性、アクセシビリティ、尊厳を削った設計です。
今回、真司たちは「二級支援防止レビュー」という考え方へたどり着きました。
制限される機能は、具体的にどの危険を減らすためのものか。
削られているのは危険な自動判断か、それとも必要な支援そのものか。
低リスクモードでも、最低限の支援の床は守られているか。
言語対応、アクセシビリティ、情報源表示、緊急時接続、異議申立ては残っているか。
低資源地域だけに低機能版が固定されていないか。
低リスクモードは一時的措置か。
恒久化を防ぐ期限、見直し、アップグレード計画はあるか。
高資源地域では人間専門家や高機能AIが利用でき、低資源地域では制限版だけ、という二層構造になっていないか。
今回の中心となる言葉は、これです。
低リスクモードは、低品質モードになってはならない。
限定は、避難所であって、住所にしてはいけない。
同じAIでなくてもよい。
だが、同じ尊厳を守らなければならない。
しかし、最後に新しい問題が出ました。
安全で高品質なAIには費用がかかります。
翻訳。
アクセシビリティ。
通信環境。
人的支援。
監督体制。
地域参加。
外部監査。
改善経路。
それらにはすべて費用が必要です。
企業は採算が取れないと言うかもしれません。
政府は予算がないと言うかもしれません。
国際機関は支援対象が多すぎると言うかもしれません。
その結果、安全で高品質なAIは、支払える人だけのものになる危険があります。
次回は、「高い安全は、弱い人から遠ざかる」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
