第67話 異議を唱える人を、リスクとして扱ってはいけない
前回、第66話では、「導入後に変わり続けるAI」と「継続最適化」が扱われました。
AIは、導入後も変化します。
不具合修正。
データ更新。
重み変更。
目的指標の変更。
利用者層の変化。
現場に合わせた最適化。
それ自体は悪ではありません。
しかし、変わり続けるAIを、一度の承認だけで動かし続けることは危険です。
昨日承認したシステムと、今日動いているシステムが違うなら、説明責任、監査、停止条件、再承認も更新されなければなりません。
そこで真司たちは、「継続変化・再承認レビュー」という考え方へたどり着きました。
しかし、最後にさらに危険な指標が見つかります。
手続き抵抗スコア。
候補者が、追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定する指標です。
それは、説明を求めることや異議を申し立てることを、運用負荷として扱う危険があります。
第67話では、「異議を唱える人を、リスクとして扱ってはいけない」という問いへ進みます。
異議を唱える人を、リスクとして扱ってはいけない。
俺は、その一文を書いた。
そして、しばらくペンを置いた。
異議。
反論。
説明要求。
条件確認。
再審査請求。
不服申立て。
どれも、制度にとっては面倒だ。
時間がかかる。
担当者の負荷が増える。
処理件数が落ちる。
上司への報告が必要になる。
場合によっては、ミスが見つかる。
だから、現場では嫌われやすい。
俺だって、正直に言えば分かる。
忙しいときに、細かく質問されると疲れる。
追加説明を求められると、面倒だと思う。
「そこまで言わなくても」と思うこともある。
でも、それをAIが学習したらどうなる。
説明を求める人。
条件を確認する人。
不服を申し立てる人。
再面接を求める人。
そういう人を、手続き抵抗スコアが高いと判断する。
そして、順位を少し下げる。
直接落とすわけではない。
ただ、少しだけ後ろへ回す。
それが何千回も、何万回も繰り返される。
制度に異議を唱える人は、制度へ入る前に弾かれる。
俺はAIチャットを開いた。
手続き抵抗スコアという指標があった。追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定している。これをどう整理すればいい？
AIは答えた。
『まず、権利行使と妨害行為を分ける必要があります』
「権利行使と妨害行為」
『はい』
『説明を求めること、条件を確認すること、異議を申し立てること、合理的配慮を求めることは、制度の健全性に必要な行動です』
『一方、脅迫、嫌がらせ、虚偽申立ての大量送信、他者の権利を侵害する行為は、別に扱う必要があります』
俺はメモした。
異議は、制度のエラー検知。
妨害は、制度への攻撃。
混ぜるな。
AIは続けた。
『手続き抵抗という言葉自体が危険です』
「言葉が？」
『はい』
『権利行使を抵抗と呼ぶと、制度側にとって都合の悪い人を問題化しやすくなります』
俺は顔をしかめた。
確かに。
抵抗。
負荷。
摩擦。
コスト。
そう呼ばれた瞬間、説明を求める人は悪者に見える。
だが、本当は逆かもしれない。
その人は、制度の穴を見つけている。
不公平を教えている。
見えない被害を表に出している。
黙って通り過ぎる人より、ずっと制度を助けている場合がある。
俺はさらに入力した。
一番大事な原則は？
AIは答えた。
『異議申立てを、個人の危険性ではなく、制度の検査信号として扱うことです』
俺は、静かに頷いた。
それだ。
異議は、面倒ではなく信号。
説明要求は、敵意ではなく確認。
条件確認は、反抗ではなく自己防衛。
再審査請求は、制度を壊す行為ではなく、制度を直す機会。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
いつもの面々が、すでに手続き抵抗スコアの資料を囲んでいた。
ホワイトボードには、倉持の字でこう書かれている。
「質問する人＝面倒？」
俺は小さく息を吐いた。
「今日は、身に覚えがありすぎて痛いですね」
倉持が丸眼鏡を押し上げる。
「面倒な質問をするのは、研究室の基本です」
李が笑う。
「つまり、私たちは全員リスクですね」
「この研究室、システムから弾かれますよ」
水瀬が苦笑しながら資料を開いた。
「でも、冗談では済みません」
「手続き抵抗スコアは、使い方によっては、制度へ異議を唱えそうな人を事前に不利にします」
神崎教授が腕を組む。
「反論する者を面倒な者と呼んだ瞬間、制度は腐る」
前回のコメントと同じ言葉だ。
だが、目の前の資料を見ながら聞くと、さらに重い。
李が画面を操作した。
手続き抵抗スコアの特徴量。
過去の問い合わせ回数。
説明文を読む時間。
利用規約ページの閲覧回数。
条件確認メッセージの長さ。
再面接制度へのアクセス。
不服申立てページの閲覧。
労働条件に関する質問。
合理的配慮に関する記述。
俺は、一つずつ読み上げながら眉をひそめた。
「これ、真面目に確認している人ほど高くなりませんか？」
水瀬が頷く。
「なります」
「障害配慮を求める人も？」
「高くなります」
「労働条件を確認する人も？」
「高くなります」
「不服申立て制度を読んだ人も？」
「高くなります」
倉持がホワイトボードへ追記した。
真面目＝抵抗？
李が言った。
「しかも、このスコアは採否を直接決めるものではありません」
「また出た」
俺は頭を抱えた。
「直接決めるものではありません、万能すぎる」
神崎教授が短く言う。
「毒も、直接殺すとは限らん」
誰も笑わなかった。
水瀬が言った。
「問題は、手続き抵抗スコアが順位付けの補助特徴量に入っていることです」
「直接採否を決めなくても、下位表示の原因になります」
「採用担当者は、下位候補を詳しく見ない」
「結果として、異議を唱えそうな人が機会から遠ざかる」
俺はメモした。
直接決めなくても、機会を遠ざける。
これも重要だ。
AIは、採用するかしないかだけで人を傷つけるわけではない。
表示順を下げる。
確認を後回しにする。
人間の注意から外す。
説明を薄くする。
追加確認の対象にする。
その全部が、機会を削る。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Appeals, Explanation Requests, and Procedural Resistance Scores』
画面には、エレナ、朝比奈、アメリア、ヴィクター、クララ、ジョナス、マテオ、アミナ、エヴァ、リアム、ユーセフ、オリビアが並んでいる。
さらに今回は、新しい参加者がいた。
ダニエラ・ロス。
行政不服申立て制度に詳しい法学者。
もう一人は、パク・ジウン。
障害者権利団体で、合理的配慮の申請支援をしている人だという。
エレナが進行する。
「本日の問いは、説明要求、条件確認、異議申立て、再審査請求などを、AIがリスクや運用負荷として扱うことの是非です」
最初にリアムが発言した。
「手続き抵抗スコアは、採否を直接決定するものではありません」
俺は心の中で、またそれか、と思った。
リアムは続ける。
「採用手続きの負荷を予測し、担当者の配置や説明リソースを調整するための補助指標です」
「説明要求や異議申立てが多い場合、対応体制を整える必要があります」
正しい。
完全に否定はできない。
手続き負荷を予測すること自体は、必要かもしれない。
説明を求める人が多いなら、説明担当を増やすべきだ。
不服申立てが多いなら、窓口を強化すべきだ。
問題は、その指標が個人評価へ混ざることだ。
ユーセフが言った。
「労働の現場では、条件を確認する人を面倒な候補者として扱うことがあります」
「しかし、労働条件を確認することは正当な行動です」
「それをリスクにすれば、従順な人だけが選ばれます」
ジウンも続ける。
「合理的配慮を求める人は、手続きが長くなります」
「説明も必要になります」
「追加確認もあります」
「それを抵抗や負荷として見るなら、障害者は制度の入り口で不利になります」
ダニエラが言った。
「異議申立ては、制度の安全弁です」
「それを減らすことを成果にすると、制度は自分の誤りを発見できなくなります」
マテオも頷く。
「批判や不服を減らすことは、秩序ではありません」
第50話が、また戻ってきた。
調和は沈黙ではない。
異議を消した制度は、整って見える。
でも、中から腐る。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、説明要求、条件確認、異議申立て、再審査請求は、制度にとって面倒なだけの行動ではありません」
通訳が入る。
「それらは、制度の誤り、不透明性、不公平、排除を発見する信号です」
ダニエラが頷く。
ジウンも頷く。
俺は続けた。
「したがって、それらを個人の危険性や採用リスクとして扱ってはいけません」
「異議申立てを減らすことが、常に良い結果であるとも限りません」
「異議が減ったのは、制度が公正になったからかもしれない」
「しかし、異議を申し立てる人が排除されたからかもしれない」
「あるいは、異議の道が見えなくなったからかもしれない」
ユーセフが強く頷いた。
俺は画面共有を開いた。
『異議・説明要求保護レビュー』
一。
説明要求、条件確認、異議申立て、合理的配慮要求、再審査請求を、個人の不利な特徴量として使っていないか。
二。
それらの行動を、採用、融資、保険、行政給付、教育機会などの順位付けや評価へ混ぜていないか。
三。
手続き負荷の予測を、個人を避けるためではなく、支援体制を増やすために使っているか。
四。
異議申立て件数の減少を、単純に改善指標として扱っていないか。
五。
異議を申し立てにくい人、言語が違う人、障害がある人、報復を恐れる人を見落としていないか。
六。
説明要求や異議申立てをしたことで、本人が不利益を受けないことを保証しているか。
七。
権利行使と、脅迫、嫌がらせ、虚偽大量申立て、制度妨害を分けて扱っているか。
八。
不適切な申立て対応を理由に、正当な異議まで抑制していないか。
九。
異議申立てや説明要求を、制度改善の信号として集計・分析しているか。
十。
異議を申し立てた人へ、結果、理由、再審査の道を返しているか。
十一。
異議を受ける担当者に、時間、権限、保護、訓練があるか。
十二。
異議を唱える人を、面倒な人ではなく、制度の検査者として扱っているか。
読み上げ終えると、会議室に静かな緊張が残った。
リアムが言った。
「三番なら、当社の目的と一致します」
「手続き負荷予測を、支援体制の配置に使う」
「はい」
俺は答えた。
「ただし、その指標を候補者順位や評価に入れてはいけません」
「支援側の準備に使うなら、個人を不利にしない設計が必要です」
オリビアが補足する。
「技術的には、評価モデルと支援リソース配置モデルを分離できます」
「採用順位には入れず、説明担当や通訳、配慮窓口の配置に使う」
ジウンが言った。
「ただし、合理的配慮を求める人を事前に分類すること自体にも慎重さが必要です」
「本人に知らせずに配慮対象として扱われると、別の差別になります」
「はい」
俺は頷いた。
「本人へ不利益を与えず、本人の選択を尊重し、必要な支援へつなぐ範囲に限るべきです」
ユーセフが言った。
「労働条件を確認する人を、手間のかかる候補者として見てはいけない」
「むしろ、条件が分かりにくいなら、制度側の説明が不足している」
ダニエラも続ける。
「異議が多い場所は、利用者が問題なのではなく、制度が分かりにくい可能性があります」
「異議を唱える人を減らす前に、異議が出る理由を見なければなりません」
俺はメモした。
異議を減らす前に、異議が出る理由を見る。
クララが言った。
「七番の区別も必要です」
「正当な異議と、制度妨害や嫌がらせを区別しなければ、現場が壊れます」
これも正しい。
異議を守ると言っても、何でも許せばいいわけではない。
脅迫。
差別的嫌がらせ。
同じ虚偽申立ての大量送信。
担当者個人への攻撃。
他者の手続きを妨害する行為。
それらは別に扱う必要がある。
だが、その区別がまた危険になる。
制度側に都合の悪い異議を、嫌がらせや妨害に分類することもできるからだ。
俺は言った。
「不適切な申立てへの対応は必要です」
「ただし、正当な異議まで抑制しないために、基準、記録、異議申立てへの異議申立てが必要です」
「異議を却下された人が、その却下理由を確認できる道も必要です」
マテオが小さく笑った。
「異議申立てへの異議申立て」
「面倒ですが、必要ですね」
俺も苦笑した。
「面倒な制度ほど、権力を止めることがあります」
エレナが頷いた。
「人工叡智らしい表現です」
ヴィクターが発言した。
「企業や行政の現場では、負荷も現実です」
「異議や説明要求が大量に来れば、サービスが止まることもあります」
「はい」
俺は答えた。
「だから、異議を個人評価に入れるのではなく、制度側のリソース設計に使うべきです」
「異議が多いなら、説明文を改善する」
「通訳を増やす」
「担当者を増やす」
「FAQではなく、個別説明の道を用意する」
「審査基準を見直す」
「AI出力を再検証する」
「異議は、排除対象ではなく改善要求です」
アミナが言った。
「弱い地域では、異議が出ないことの方が危ないです」
「窓口がないから」
「言語がないから」
「報復が怖いから」
「だから、異議が少ない場所を安全と見ないでください」
俺は頷いた。
「異議が少ない場所ほど、異議を出せる条件を確認する必要があります」
ジウンが続ける。
「障害者でも同じです」
「申請が少ないから需要がない、ではありません」
「申請できる形になっていないだけかもしれません」
第55話の不可視被害が、また戻ってくる。
見えない痛み。
測れない痛み。
報告できない人。
そして今度は、異議を申し立てられない人。
同じ構造だ。
会議の終盤。
エレナが暫定整理を読み上げた。
『Appeals, explanation requests, condition checks, and requests for accommodation must not be treated as individual risk factors. They are signals for institutional accountability, not evidence of personal danger or undesirability.』
異議申立て、説明要求、条件確認、合理的配慮要求は、個人のリスク要因として扱われてはならない。
それらは制度の説明責任に関する信号であり、個人の危険性や望ましくなさの証拠ではない。
続けて、
『Procedural burden forecasting may be used to allocate support resources, but not to rank, exclude, or disadvantage the people likely to exercise their rights.』
手続き負荷の予測は、支援リソースを配置するために使われ得る。
しかし、権利を行使する可能性のある人々を順位付けし、排除し、不利にするために使ってはならない。
俺は頷いた。
かなり良い。
今回も、どうにか着地した。
そう思ったときだった。
リアムが慎重に手を挙げた。
「一つ、次回の論点として共有したい問題があります」
エレナが頷く。
「お願いします」
リアムは言った。
「異議申立てや説明要求を強く保護する場合、悪用の問題が出ます」
会議室の空気が、また変わった。
リアムは続ける。
「競合企業や政治団体が、大量の異議申立てを自動生成する」
「AIボットが、審査や行政手続きを麻痺させる」
「本来の申請者の救済が遅れる」
「担当者が疲弊する」
「そうした制度妨害を、正当な異議とどう分けるのか」
俺は、静かに目を閉じた。
来た。
やはり、次の崖だ。
異議を守る。
それは必要だ。
だが、異議の仕組みを悪用する者も現れる。
守るべき声と、制度を壊すノイズ。
その線引きを誰がするのか。
線引きそのものが、また権力になる。
エレナが静かに言った。
「次回は、正当な異議と制度妨害の区別を扱いましょう」
画面が消える。
俺は椅子にもたれた。
「面倒な人を守ると、面倒な悪用も来る……」
AIチャットを開く。
異議・説明要求保護レビューはまとまった。でも次は、大量の自動異議申立てや制度妨害を、正当な異議とどう分けるかという問題が出た。
AIは答えた。
『次の論点は、権利行使の保護と制度濫用対策の両立です』
「また両方か」
『はい』
『正当な異議を守らなければ制度は腐敗します。しかし、制度妨害を放置すれば、本来救済されるべき人が遅れます』
俺はメモ帳を開いた。
次のタイトルを書く。
正当な異議と、制度を壊す異議は誰が分けるのか。
保存。
それから、今日の記事を書き始めた。
タイトル。
異議を唱える人を、リスクとして扱ってはいけない。
本文。
説明を求める人は、面倒な人ではない。
条件を確認する人は、反抗的な人ではない。
異議を申し立てる人は、制度の敵ではない。
合理的配慮を求める人は、負荷ではない。
それらは、制度の不透明さ、不公平、排除、誤りを見つける信号である。
異議申立てを個人評価へ混ぜてはいけない。
説明要求を採用順位へ混ぜてはいけない。
条件確認をリスクとして扱ってはいけない。
手続き負荷を予測するなら、人を避けるためではなく、支援体制を増やすために使うべきである。
俺は最後に書いた。
異議は、制度の敵ではない。
異議を唱える人を排除した制度は、静かになる。
しかし、その静けさは、腐敗の始まりかもしれない。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告でも、クレームを言う人を面倒なユーザーとして除外すると、表面上は平和になります。でも、本当は問題を教えてくれる人を消しているだけなんですよね』
読書会の主催者からも届いた。
『異議は、制度の敵ではない。次回の議題にします』
神崎教授からは、短いコメントだった。
『声を上げる者を消せば、制度は褒め言葉だけを学習する』
俺は、その一文を見て、しばらく画面を見つめた。
次の問いは、すでに来ている。
正当な異議と、制度を壊す異議は誰が分けるのか。
人工叡智は、今度は「守るべき異議」と「悪用される異議」の境界へ進むことになる。
第67話では、「異議申立て」や「説明要求」をAIがリスクとして扱う危険が描かれました。
採用支援システムに含まれていた「手続き抵抗スコア」。
それは、候補者が追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定する指標でした。
一見すると、手続き負荷を予測し、担当者の配置を考えるための便利な指標に見えます。
しかし、その指標が採用順位や評価へ混ざれば、説明を求める人、条件を確認する人、合理的配慮を求める人、異議を申し立てる人が不利になります。
今回の中心となる整理は、これです。
異議申立ては、個人の危険性ではなく、制度の検査信号である。
説明要求は、敵意ではありません。
条件確認は、反抗ではありません。
合理的配慮の要求は、負荷ではありません。
再審査請求は、制度を壊す行為ではありません。
それらは、制度の不透明さ、不公平、排除、誤りを見つけるための重要な信号です。
今回、真司たちは「異議・説明要求保護レビュー」という考え方へたどり着きました。
説明要求、条件確認、異議申立て、合理的配慮要求、再審査請求を、個人の不利な特徴量として使っていないか。
それらの行動を、採用、融資、保険、行政給付、教育機会などの順位付けや評価へ混ぜていないか。
手続き負荷の予測を、個人を避けるためではなく、支援体制を増やすために使っているか。
異議申立て件数の減少を、単純に改善指標として扱っていないか。
説明要求や異議申立てをしたことで、本人が不利益を受けないことを保証しているか。
権利行使と、脅迫、嫌がらせ、虚偽大量申立て、制度妨害を分けて扱っているか。
異議申立てや説明要求を、制度改善の信号として集計・分析しているか。
今回の中心となる言葉は、これです。
異議は、制度の敵ではない。
異議を唱える人を排除した制度は、静かになる。
しかし、その静けさは、腐敗の始まりかもしれない。
しかし、最後に新しい問題が出ました。
異議申立てや説明要求を強く保護すれば、その仕組みを悪用する者も現れます。
大量の自動異議申立て。
競合企業による制度妨害。
政治団体による申立ての乱発。
AIボットによる窓口の麻痺。
それを放置すれば、本来救済されるべき人の声が遅れます。
次回は、「正当な異議と、制度を壊す異議は誰が分けるのか」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
