第63話 危険と名づける権力は、誰が監査するのか
前回、第62話では、「安全で高品質なAIの費用負担」が扱われました。
安全なAIには費用がかかります。
翻訳。
アクセシビリティ。
外部監査。
人的支援。
地域参加。
通信環境。
救済窓口。
説明責任。
継続的改善。
しかし、その費用を利用者だけへ転嫁すれば、弱い立場の人ほど安全なAIから遠ざかります。
安全は、オプションではない。
危険を安く売ってはいけない。
高い安全だけが正しいなら、貧しい者は危険を選ばされる。
そう整理したところで、次の問いが届きました。
安全費用や監査義務を決めるためには、AIのリスク分類が必要です。
しかし、「危険」と名づける権限は、企業活動、市民活動、公共サービス、表現の自由に大きな影響を与えます。
危険と名づける者は、費用を動かす者になる。
第63話では、「危険と名づける権力は、誰が監査するのか」という問いへ進みます。
危険と名づける権力は、誰が監査するのか。
俺は、その一文を書いた。
そして、すぐに思った。
ついに、ここまで来たか。
安全費用を誰が払うのか。
監査義務を誰に課すのか。
停止条件をどのサービスに適用するのか。
それを決めるには、分類が必要になる。
高リスクAI。
中リスクAI。
低リスクAI。
公共性AI。
商業最適化AI。
基盤モデル。
高影響判断システム。
危険な用途。
安全な用途。
分類自体は必要だ。
分類しなければ、制度は動かない。
しかし、分類する者は、力を持つ。
「あなたのAIは高リスクです」
そう言われれば、監査費用が増える。
保険料が上がる。
投資家が離れる。
サービス停止を求められる。
市場から撤退するかもしれない。
逆に、
「あなたのAIは低リスクです」
そう言われれば、監査は軽くなる。
費用は安くなる。
導入しやすくなる。
事故が起きるまで、誰も疑わないかもしれない。
危険と名づけることは、ただのラベルではない。
費用、信用、停止、自由、責任を動かす。
俺はAIチャットを開いた。
AIのリスク分類は必要。でも、危険と名づける権限が新しい権力になる。どう整理すればいい？
AIは答えた。
『リスク分類を、真実の宣告ではなく、行動のための仮説として扱う必要があります』
「行動のための仮説」
『はい』
『分類は、現時点の証拠、用途、文脈、影響、未確定要素に基づく暫定判断です』
『したがって、異議申立て、再分類、外部監査、分類者の利益相反開示が必要です』
俺はメモした。
分類は、真実ではない。
行動のための仮説である。
これは大事だ。
危険。
安全。
高リスク。
低リスク。
そう言われると、確定した事実のように聞こえる。
でも、本当は違う。
どの用途で。
誰に使われ。
どの地域で。
どのデータで。
どの規模で。
どんな代替があり。
どんな監督があり。
誰が影響を受けるのか。
それによってリスクは変わる。
AIは続けた。
『特に注意すべきなのは、二つの誤りです』
「二つ？」
『一つは、危険なものを低リスクと扱うこと』
『もう一つは、低リスクまたは必要なものを危険と名づけ、過剰に止めることです』
俺は頷いた。
前者は分かりやすい。
危ないAIを見逃す。
事故が起きる。
被害が出る。
後者は見落としやすい。
危険と名づけられたせいで、必要な支援が止まる。
市民活動が萎縮する。
小規模サービスが撤退する。
低資源地域のAIが消える。
批判的な表現が「社会不安を高めるAI」として分類される。
危険指定にも、被害がある。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
いつもの面々。
ホワイトボードには、倉持の字でこう書かれていた。
「危険＝お前が払え？」
俺はドアの前で止まった。
「倉持くん、今日も直球ですね」
「費用負担の話なので」
「嫌な正確さ」
李が苦笑した。
「でも、その通りです。危険と分類された瞬間、費用が発生します」
水瀬が資料を開く。
「今回は、リスク分類そのものを監査対象にする必要があります」
「分類を監査する？」
「はい。AIを監査するだけでは足りません」
「AIを危険と名づける制度、機関、基準、手続きも監査されなければならない」
神崎教授が腕を組んだ。
「裁く者を裁かない制度は、すぐに権威になる」
重い。
でも、今日の核心だ。
俺は聞いた。
「リスク分類って、具体的に何が危ないんですか？」
水瀬はホワイトボードに書いた。
過小分類。
過大分類。
政治利用。
企業の自己評価。
競合潰し。
表現萎縮。
低資源地域の撤退。
分類固定化。
「過小分類は、危険なAIを低リスクとして扱うことです」
「監査が軽くなり、事故が起きやすくなる」
「過大分類は、本来必要なサービスや表現を高リスクとして扱い、過剰に止めること」
李が続ける。
「政治利用もあります」
「政府に批判的なAIや、市民活動を支えるAIを、高リスクと分類する」
「社会秩序や治安を理由にして」
第50話が戻ってくる。
調和を理由に、自由を黙らせてはいけない。
倉持が言った。
「企業の自己評価も危ないですね」
「自社サービスを低リスクにしたくなる」
「逆に、競合他社のサービスを高リスクだと主張することもある」
神崎教授が短く言った。
「危険は、武器にも盾にもなる」
俺はメモした。
危険は、武器にも盾にもなる。
誰かを止める武器。
自分を守る盾。
だから、危険と名づける権限は監査されなければならない。
水瀬が言った。
「高リスク指定は、罰ではありません」
「低リスク指定は、免罪符でもありません」
「これも大事です」
俺は頷いた。
高リスク指定は、危険だから潰せという意味ではない。
より強い安全措置が必要という意味だ。
低リスク指定は、何をしてもよいという意味ではない。
文脈が変われば、リスクも変わる。
分類は、固定した身分ではなく、状況に応じて更新されるべき仮説だ。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Risk Classification Authority and Abuse』
画面には、いつもの顔ぶれ。
エレナ、朝比奈、アメリア、ヴィクター、ヘンリー、セリーヌ、ジョナス、マテオ、ラシード、アミナ、ノーラ、ファリド。
そして今回は、新しい参加者が一人いた。
クララ・ヴァイス。
欧州系のAI規制研究者で、リスク分類制度の設計に関わっているらしい。
エレナが進行する。
「本日の問いは、AIの安全費用、監査義務、停止条件を決めるためのリスク分類を、誰がどのように監査すべきかです」
最初にクララが発言した。
「リスク分類は制度に不可欠です」
「すべてのAIへ同じ義務を課すことは現実的ではありません」
「高影響領域、脆弱な人々への影響、不可逆性、規模、判断の自動化度に応じて分類が必要です」
正しい。
いきなり正しい。
ジョナスも頷く。
「監査資源は限られています」
「高リスクのサービスへ重点的に配分するには、分類が必要です」
これも正しい。
ヴィクターが続ける。
「企業としても、明確な分類基準がなければ投資や開発計画を立てられません」
「不確実な高リスク指定は、事業継続の大きな脅威になります」
これも正しい。
マテオが口を開く。
「一方で、リスク分類は表現や市民活動を萎縮させる可能性があります」
「政府批判の分析AI、労働運動の支援AI、告発支援AIが、高リスクと分類されれば、資金も導入先も失います」
ラシードが言った。
「公共秩序や安全保障に関わるAIは、本当に危険な場合があります」
「扇動、暴力、偽情報、社会不安を拡大するAIを軽く扱うことはできません」
また来た。
正しい意見の衝突だ。
アミナが続ける。
「低資源地域では、リスク分類の影響がさらに大きいです」
「高リスクと分類されると、企業はその地域から撤退します」
「高い監査費用を払えないからです」
「結果として、最も支援が必要な地域からAIが消えることがあります」
セリーヌが頷く。
「国際基金でも、リスク分類は資金配分に影響します」
「高リスク指定は支援対象にもなりますが、逆に導入見送りの理由にもなります」
ヘンリーが言った。
「投資側は、分類に敏感です」
「高リスク指定は、それだけで資金調達を難しくします」
「分類が不透明なら、企業は挑戦的な公共性AIを避けるようになります」
俺は黙って聞いていた。
リスク分類は必要。
だが、強すぎる。
危険を見逃せば、人が傷つく。
危険と名づけすぎれば、必要な支援が消える。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、リスク分類は必要です」
通訳が入る。
「監査、費用負担、停止条件、救済制度を設計するには、すべてのAIを同じように扱うことはできません」
クララとジョナスが頷く。
俺は続けた。
「しかし、リスク分類は真実の宣告ではありません」
「それは、現時点の証拠と文脈に基づく、行動のための仮説です」
画面の向こうで、何人かがメモを取った。
「高リスク指定は罰ではありません」
「低リスク指定は免罪符ではありません」
「分類は、異議申立て、再分類、外部監査、影響評価に開かれている必要があります」
マテオが頷く。
アミナも頷いた。
俺は画面共有を開いた。
『リスク分類監査レビュー』
一。
分類の目的は何か。
費用負担、監査強度、停止条件、利用制限、支援対象選定などを明示しているか。
二。
分類基準は公開されているか。
三。
技術そのものだけでなく、用途、文脈、利用者、影響を受ける人々、規模、不可逆性を見ているか。
四。
企業の自己分類だけに依存していないか。
五。
政府、企業、監査機関、保険会社、投資家、市民団体の利益相反を開示しているか。
六。
分類による二次被害を評価しているか。
撤退、萎縮、費用増加、支援空白、表現制限など。
七。
高リスク指定を受けた側が、根拠開示、異議申立て、再審査を求められるか。
八。
低リスク指定後も、事故、利用拡大、文脈変化、苦情、外部指摘によって再分類できるか。
九。
分類者自身が監査されているか。
十。
分類結果とともに、未確定要素、少数意見、条件付き判断を公開しているか。
十一。
分類が、特定の政治的立場、地域、言語、企業規模に不利に働いていないか。
十二。
分類を避けるための機能分割、外部委託、名目変更を検出しているか。
読み上げ終えると、会議室が静かになった。
クララが最初に反応した。
「九番、分類者自身の監査は重要です」
「多くの制度では、AI事業者の監査は考えられていても、分類機関の監査は弱い」
ジョナスが頷く。
「監査機関にも利益相反があります」
「企業から報酬を受け取る場合、低く分類したくなる圧力がある」
ヘンリーが言った。
「投資家も同じです」
「出資先のリスクを低く見せたくなる」
マテオが言う。
「政府も同じです」
「都合の悪い市民活動を高リスクと名づけたくなる」
ラシードが少し眉をひそめる。
「安全保障を軽視しすぎるのも危険です」
「はい」
俺は答えた。
「本当に危険なものを低リスクにすることも、人工叡智に反します」
「だからこそ、分類には根拠と手続きが必要です」
「秘密が必要な分野でも、独立監査、期間制限、事後検証、異議申立ての道が必要です」
第50話の言葉が戻ってくる。
秘密であることは、無制限であることを意味しない。
アミナが言った。
「六番の二次被害を入れてください」
「高リスク指定で企業が撤退すると、低資源地域では支援そのものが消えます」
「分類によって救われる人だけでなく、分類によって失う人も見てほしい」
「はい」
俺は頷いた。
「危険指定にも、被害があります」
「その被害を見ないリスク分類は、雑な安全です」
ヴィクターが質問した。
「十二番の機能分割とは？」
俺は答えた。
「本来は高リスクな判断を、一つのAIとして提供するのではなく、複数の低リスク機能に分ける」
「たとえば、採用判断AIではありません、と言いながら、適性分析、感情分析、離職予測、面接要約、ランキング補助を別々に提供する」
「単体では低リスクに見える」
「でも、組み合わせると実質的に採用判断を自動化している」
ヴィクターの表情が変わった。
クララもすぐにメモを取る。
「それは重要です」
ジョナスも言った。
「監査回避の典型になります」
倉持が研究室にいたら、きっとこう書いただろう。
危険をバラせば安全？
答えは、もちろん違う。
アメリアが言った。
「分類単位の問題ですね」
「サービス単位、機能単位、用途単位、組み合わせ単位」
「どの単位で分類するかを決めないと、回避されます」
「はい」
俺は頷いた。
「分類は、名前ではなく、実際の使用結果を見る必要があります」
「採用AIと名乗らなくても、採用判断に使われるなら、採用領域のリスクとして扱う」
「医療AIと名乗らなくても、医療判断へ影響するなら、医療領域のリスクとして扱う」
ヴィクターが少し苦い顔で言った。
「企業は、用途外利用を完全には管理できません」
「はい」
「だから、提供側の責任と、導入側の責任を分ける必要があります」
「でも、想定される高リスク利用を知りながら、低リスクと主張して売るなら問題です」
ジョナスが頷く。
「用途想定と販売実態の監査が必要ですね」
議論が、かなり実務的になってきた。
リスク分類は、言葉ではなく制度だ。
分類基準。
分類者。
利益相反。
異議申立て。
再分類。
分類単位。
二次被害。
回避検出。
どれか一つでも抜けると、危険と名づける権力は暴走する。
会議の終盤。
エレナが暫定整理を読み上げた。
『Risk classification is not a declaration of truth. It is a provisional judgment for action, based on evidence, context, use, impact, and uncertainty.』
リスク分類は、真実の宣告ではない。
それは、証拠、文脈、用途、影響、不確実性に基づく、行動のための暫定判断である。
続いて、
『High-risk designation must not be used as punishment or political suppression. Low-risk designation must not become immunity. Classification authorities, criteria, conflicts of interest, appeals, and secondary harms must themselves be audited.』
高リスク指定は、罰や政治的抑圧として使われてはならない。
低リスク指定は、免責になってはならない。
分類権限、基準、利益相反、異議申立て、二次被害は、それ自体が監査されなければならない。
俺は頷いた。
かなり良い。
今日も、どうにか着地した。
そう思った瞬間だった。
ヴィクターが手を挙げた。
「一つ、次回の論点として残したいことがあります」
エレナが頷く。
「どうぞ」
ヴィクターは少し言いにくそうに言った。
「実務上、企業はリスク分類を避けるために、機能を分割することがあります」
「採用AIではなく、候補者理解支援」
「医療AIではなく、健康情報整理」
「信用審査AIではなく、生活傾向分析」
「法的助言AIではなく、文書理解支援」
画面の空気が、また変わった。
ヴィクターは続けた。
「単体では低リスクに見える機能が、組み合わされると高リスク判断になります」
「この場合、誰が全体リスクを見るのか」
俺は、思わず息を止めた。
来た。
また次の崖。
分類を監査する話をしていたら、今度は分類そのものを逃れる構造が出てきた。
名前を変える。
機能を分ける。
責任を分ける。
そして、危険も分ける。
でも、人への影響は一つになる。
エレナが静かに言った。
「次回は、分割された危険と、組み合わせリスクを扱いましょう」
画面が消える。
俺は椅子にもたれた。
「危険をバラして逃げるのか……」
AIチャットを開く。
リスク分類監査レビューはまとまった。でも次は、企業が高リスク分類を避けるために機能を分割し、単体では低リスク、組み合わせると高リスクになる問題が出た。
AIは答えた。
『次の論点は、分割された危険と組み合わせ責任です』
「また責任地図だな」
『はい』
『危険を分割しても、人への影響が統合されるなら、責任も統合的に見る必要があります』
俺はメモ帳を開いた。
次のタイトルを書く。
分割された危険は、誰の目にも高リスクに見えない。
保存。
それから、今日の記事を書き始めた。
タイトル。
危険と名づける権力は、誰が監査するのか。
本文。
リスク分類は必要である。
安全費用を分担するため。
監査義務を決めるため。
停止条件を設計するため。
救済制度を動かすため。
しかし、危険と名づける権限は、新しい権力になる。
高リスク指定は、費用、信用、投資、導入、停止に影響する。
低リスク指定は、監査の軽減や免責のように使われる危険がある。
だから、リスク分類は真実の宣告ではなく、行動のための仮説として扱わなければならない。
俺は最後に書いた。
高リスク指定は、罰ではない。
低リスク指定は、免罪符ではない。
危険を決める者は、危険指定によって生じる被害も数えなければならない。
そして、危険と名づける権力そのものも、監査されなければならない。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告でも、危険な訴求を細かい機能に分けると、単体では問題なさそうに見えることがあります。ターゲティング、心理分析、文言生成、効果測定。全部合わせると危ないのに、個別には普通のツールに見える。かなり怖いですね』
読書会の主催者からも届いた。
『高リスク指定は罰ではない。低リスク指定は免罪符ではない。次回の議題にします』
神崎教授からは、短いコメントだった。
『危険を粉にすれば、責任も粉になると思うな』
俺は、その一文を見て、静かに笑った。
教授、本当に容赦がない。
だが、次の問いは決まった。
分割された危険は、誰の目にも高リスクに見えない。
人工叡智は、今度は名前を変え、機能を分け、責任を薄めるAIビジネスの奥へ踏み込むことになる。
第63話では、「リスク分類の権限」が扱われました。
AIの安全費用、監査義務、停止条件、救済制度を設計するためには、リスク分類が必要です。
高リスクAI。
中リスクAI。
低リスクAI。
公共性AI。
商業最適化AI。
高影響判断システム。
そうした分類がなければ、制度は動きません。
しかし、危険と名づける権限は、新しい権力になります。
高リスクと分類されれば、監査費用が増え、保険料が上がり、投資が離れ、サービス停止や撤退につながる可能性があります。
低リスクと分類されれば、監査が軽くなり、導入しやすくなり、事故が起きるまで疑われにくくなる可能性があります。
今回の中心となる整理は、これです。
リスク分類は、真実の宣告ではない。
それは、証拠、文脈、用途、影響、不確実性に基づく、行動のための暫定判断である。
高リスク指定は、罰ではありません。
低リスク指定は、免罪符ではありません。
分類は、異議申立て、再分類、外部監査、影響評価に開かれている必要があります。
今回、真司たちは「リスク分類監査レビュー」という考え方へたどり着きました。
分類の目的は何か。
分類基準は公開されているか。
技術そのものだけでなく、用途、文脈、利用者、影響を受ける人々、規模、不可逆性を見ているか。
企業の自己分類だけに依存していないか。
政府、企業、監査機関、保険会社、投資家、市民団体の利益相反を開示しているか。
分類による二次被害を評価しているか。
高リスク指定を受けた側が、根拠開示、異議申立て、再審査を求められるか。
低リスク指定後も、事故、利用拡大、文脈変化、苦情、外部指摘によって再分類できるか。
分類者自身が監査されているか。
分類結果とともに、未確定要素、少数意見、条件付き判断を公開しているか。
今回の中心となる言葉は、これです。
危険を決める者は、危険指定によって生じる被害も数えなければならない。
そして、危険と名づける権力そのものも、監査されなければならない。
しかし、最後に新しい問題が出ました。
企業が高リスク分類を避けるために、機能を分割する場合があります。
採用AIではなく、候補者理解支援。
医療AIではなく、健康情報整理。
信用審査AIではなく、生活傾向分析。
法的助言AIではなく、文書理解支援。
単体では低リスクに見える機能が、組み合わされると高リスク判断になる。
次回は、「分割された危険は、誰の目にも高リスクに見えない」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
