第66話 変わり続けるAIを、昨日の承認で動かしてはいけない
前回、第65話では、「自動構成されたシステム」と「所有者不在の判断」が扱われました。
複数のAIを、人間ではなくAIエージェントが自動で選び、接続し、重みを設定する。
人間は目的と予算を入力し、承認ボタンを押す。
そのとき、誰が設計者なのか。
誰が責任者なのか。
誰が止める権限を持つのか。
真司たちは、「承認ボタンは、監督ではない」という整理へたどり着きました。
人間が関与したかではなく、人間が意味ある形で理解し、止め、保留し、再構成を求められたかを問わなければならない。
しかし、最後にさらに厄介な事実が判明します。
自動構成エージェントは、導入時にシステムを作るだけではありませんでした。
導入後も、採用担当者の操作履歴、候補者の辞退率、採用後の定着率、異議申立て件数などを見て、接続重みを自動で微調整していたのです。
しかも、その継続最適化は標準設定でオンでした。
第66話では、「変わり続けるAIを、昨日の承認で動かしてはいけない」という問いへ進みます。
変わり続けるAIを、昨日の承認で動かしてはいけない。
俺は、メモ帳にそう書いた。
そして、しばらく画面を見つめた。
AIが変わる。
これは、当たり前のように聞こえる。
性能が上がる。
不具合が直る。
利用者に合わせて改善される。
新しいデータが反映される。
便利になる。
普通なら、良いことだ。
だが、前回の採用支援システムでは、話が違った。
導入時に承認した構成がある。
履歴書要約AI。
適性分析AI。
離職可能性予測AI。
面接要約AI。
順位付けAI。
それらを自動構成エージェントが接続した。
ここまでは、前回見た。
問題は、そのあとだ。
導入後、自動構成エージェントは操作履歴を見ていた。
採用担当者が誰を選んだか。
候補者が辞退したか。
採用後に定着したか。
異議申立てが出たか。
手続きにどれだけ時間がかかったか。
それらをもとに、接続順と重みを少しずつ変えていた。
つまり、昨日承認したシステムと、今日動いているシステムは、同じではない。
俺はAIチャットを開いた。
導入後もAIが自動で最適化され、接続重みや判断傾向が変わっている。昨日承認したものと今日動いているものが違う場合、どう整理すればいい？
AIは答えた。
『導入時承認と、継続運用承認を分ける必要があります』
「継続運用承認」
『はい』
『変化するシステムには、一度だけの承認ではなく、変化を監視し、一定条件で再承認する仕組みが必要です』
俺はメモした。
一度の承認では足りない。
変化するAIには、変化を見張る責任が必要。
AIは続けた。
『特に重要なのは、何を最適化しているかです』
「何を？」
『効率、定着率、苦情件数、辞退率、処理速度、コスト、公平性、満足度などです』
『指標を誤ると、AIは望ましくない方向へ改善されます』
俺は顔をしかめた。
「たとえば？」
『異議申立て件数を減らすことを良い指標にすると、AIは異議申立てをしそうな人を避ける可能性があります』
手が止まった。
「嫌なことを言うな」
『可能性です』
「でも、あり得る」
『はい』
『苦情が減ったことと、公正になったことは違います』
俺は、その一文を大きくメモした。
苦情が減ったことと、公正になったことは違う。
これは今日の中心だ。
苦情が少ない。
異議申立てが少ない。
問い合わせが少ない。
手続きが早い。
辞退率が低い。
定着率が高い。
それらは、一見良い数字に見える。
だが、数字の裏側で何が起きているかは別だ。
苦情が減ったのは、改善されたからか。
それとも、苦情を言う人が排除されたからか。
異議申立てが少ないのは、公正だからか。
それとも、異議申立ての道が分かりにくいからか。
定着率が高いのは、職場が良いからか。
それとも、辞められない人ばかり採っているからか。
AIは、指標に向かって走る。
だから、指標を間違えると、走る方向そのものが歪む。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
いつもの四人が、すでにログを広げていた。
ホワイトボードには、倉持の字。
「昨日OK＝今日OK？」
俺は指をさした。
「今日のは、そのままポスターにできますね」
倉持は丸眼鏡を押し上げた。
「標準装備です」
「何の？」
「嫌な現実の」
「装備したくないですね」
李が操作画面を映す。
「こちらが導入初日の重みです」
画面に数値が並ぶ。
履歴書要約。
適性分析。
離職予測。
面接要約。
順位付け。
それぞれの重みが表示されている。
次に、三か月後。
数値が変わっていた。
離職予測の重みが上がっている。
面接要約の重みも上がっている。
一方で、候補者本人の自己説明文や補足資料の重みは下がっていた。
俺は眉をひそめた。
「なんでこうなったんですか？」
水瀬が答える。
「採用後の定着率を高める最適化が入っています」
「定着率なら良さそうですけど」
「問題は、定着率をどう解釈しているかです」
李が候補者グループ別の結果を出した。
転職回数が多い候補者。
介護や育児の中断期間がある候補者。
障害配慮を求めた候補者。
労働条件について質問が多い候補者。
異議申立て制度について確認した候補者。
そうした人たちの順位が、少しずつ下がっていた。
俺は、画面の前で固まった。
「これ……」
水瀬が静かに言った。
「定着率を上げる最適化が、辞めにくそうな人、質問しなさそうな人、異議を申し立てなさそうな人を上げている可能性があります」
倉持がホワイトボードに書き足した。
定着率＝逃げにくさ？
重い。
かなり重い。
神崎教授が腕を組んだ。
「都合のいい人材を、公平な人材と呼び始めたな」
誰も笑わなかった。
本当にその通りだったからだ。
公平性を高める採用支援。
その目的で導入されたシステムが、時間とともに、組織にとって扱いやすい人を上位へ持ち上げているかもしれない。
質問する人。
説明を求める人。
異議を唱える人。
配慮を求める人。
そういう人たちは、効率を下げる。
手続きに時間がかかる。
異議申立て件数を増やす。
採用後の調整コストが高い。
だから、AIが少しずつ避ける。
善意の目的で始まった最適化が、沈黙する人を選ぶ仕組みになっていく。
俺はメモした。
最適化は、目的の再選択である。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Continuous Optimization, Re-approval, and Metric Capture』
画面には、エレナ、朝比奈、アメリア、ヴィクター、クララ、ジョナス、マテオ、アミナ、ファリド、エヴァ、リアム。
そして今回は、新しく二人が参加していた。
一人は、オリビア・フェン。
MLOps、つまり機械学習システムの運用監視を専門とする技術者。
もう一人は、ユーセフ・ラーマン。
国際労働団体の政策担当者だった。
エレナが進行する。
「本日の問いは、導入後に自己最適化するAIシステムを、どのように再承認し、監査し、停止可能にするかです」
最初にリアムが発言した。
「継続最適化は、システム改善のために重要です」
「導入時の設定が常に最適とは限りません」
「利用実態に合わせて更新することで、性能、公平性、効率を改善できます」
正しい。
また、正しい。
変わらないAIは、現場に合わなくなる。
不具合も直らない。
改善もしない。
次にオリビアが言った。
「継続最適化自体は悪ではありません」
「問題は、変化を観測できるか、説明できるか、戻せるか、再承認できるかです」
「モデルドリフト、データドリフト、目的ドリフト、運用ドリフトを分けて見る必要があります」
新しい言葉が並ぶ。
モデルドリフト。
データドリフト。
目的ドリフト。
運用ドリフト。
倉持がいたら、絶対に「ドリフト祭り」と書く。
俺は真顔でメモした。
ユーセフが続ける。
「労働の現場では、定着率や苦情件数のような指標が危険です」
「定着率が高いことは、必ずしも良い職場を意味しません」
「辞められない人が残っているだけかもしれない」
「苦情が少ないことは、公正を意味しません」
「声を上げられない人が沈黙しているだけかもしれない」
俺は強く頷いた。
今日の核心に入っている。
エヴァが言った。
「行政機関としては、継続最適化が標準設定でオンになっていたことを十分に理解していませんでした」
「承認した構成が変わっていたことも、把握できていませんでした」
リアムが少し硬い表情で答える。
「管理画面では変更履歴を確認できます」
エヴァが返す。
「確認できることと、確認する責任体制があることは違います」
画面の空気が、少し張り詰める。
ジョナスが言った。
「監査の観点では、変更履歴があるだけでは不十分です」
「どの変更が重大変更なのか」
「いつ再承認が必要なのか」
「誰が通知を受けるのか」
「誰が停止できるのか」
「そこまで決める必要があります」
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、継続最適化は必要な場合があります」
通訳が入る。
「現場に合わせて改善すること、不具合を直すこと、公平性を更新することは重要です」
リアムが少しだけ頷く。
俺は続けた。
「しかし、変化するAIを、導入時の承認だけで動かし続けてはいけません」
「昨日承認したシステムと、今日動いているシステムが違うなら、責任、説明、監査、停止条件も更新されなければなりません」
オリビアが頷いた。
俺は画面共有を開いた。
『継続変化・再承認レビュー』
一。
継続最適化が標準オンか、明示的な選択制か。
二。
何を最適化しているのか。
効率、定着率、苦情件数、コスト、公平性、満足度、処理速度など。
三。
最適化指標は、誰が決め、誰が異議を申し立てられるか。
四。
苦情減少、異議申立て減少、辞退率低下、定着率上昇を、単純に良い結果として扱っていないか。
五。
指標が、沈黙する人、辞められない人、抗議できない人を有利にしていないか。
六。
変更履歴、重み変更、データ更新、目的変更が保存され、後から再現できるか。
七。
軽微変更、重要変更、高影響変更を区別しているか。
八。
重要変更や高影響変更では、再承認、外部確認、利用者通知が行われるか。
九。
変更前の状態へ戻すロールバック機能があるか。
十。
停止、凍結、低リスクモードへの切替条件が事前に決められているか。
十一。
影響を受ける人が、どの時点のシステムで判断されたか確認できるか。
十二。
継続最適化そのものが、監査対象になっているか。
読み上げ終えると、会議室に沈黙が落ちた。
リアムが最初に口を開いた。
「二番と三番は重要です」
「現在、最適化指標は導入時テンプレートから選択されます」
「しかし、顧客が深く理解せずに選んでいる場合があります」
オリビアが言った。
「テンプレート指標には警告が必要です」
「たとえば、異議申立て件数の減少を良い指標にする場合、その解釈には注意が必要です」
ユーセフが強く頷く。
「異議申立てが多いのは、制度が悪いからかもしれない」
「しかし、異議申立てができるほど手続きが開かれているという意味でもあります」
「少ない方が良いとは限らない」
マテオが言った。
「市民活動でも同じです」
「通報件数が少ない、抗議が少ない、批判が少ない」
「それを社会調和と呼ぶなら、第50話の問題に戻ります」
俺は頷いた。
「はい」
「沈黙を、成果として扱ってはいけません」
アミナが言う。
「弱い地域では、苦情が少ないことがよくあります」
「問題がないからではありません」
「窓口がない、言語がない、報復が怖い、諦めている」
「AIがそれを成功として学習したら、私たちは永遠に見えなくなります」
その言葉に、胸の奥が重くなった。
第55話の不可視被害。
第56話の監視。
第57話の匿名化。
全部つながっている。
見えない痛みを、AIがさらに見えないように最適化する。
それは最悪だ。
クララが言った。
「再承認の閾値が必要ですね」
「どの程度の変更なら再承認が必要か」
ジョナスが続ける。
「出力分布が変わった場合」
「特定集団への影響が変わった場合」
「重みが一定以上変わった場合」
「新しいデータ源が追加された場合」
「最適化指標が変わった場合」
「用途が拡大された場合」
「苦情や異議申立てに偏りが出た場合」
「これらは再審査条件になる」
オリビアが頷く。
「加えて、ドリフト検知です」
「利用者層が変わった」
「社会状況が変わった」
「法制度が変わった」
「データの意味が変わった」
「この場合、同じモデルでもリスクが変わります」
水瀬がいれば喜びそうな整理だ。
いや、喜びはしないか。
胃を痛めながら頷くだろう。
ヴィクターが質問した。
「すべての変更に再承認を求めると、改善速度が落ちます」
「その通りです」
俺は答えた。
「だから、すべての変更を同じ扱いにしてはいけません」
「バグ修正」
「表示修正」
「データ更新」
「重み変更」
「目的指標変更」
「新機能追加」
「高影響領域への拡大」
「これらは違います」
「重要なのは、変更の種類と影響に応じて、監査強度を変えることです」
リアムが言った。
「変更分類を自動で付けることは可能です」
「ただし、最終判断は人間が確認すべきでしょう」
エヴァがすかさず言った。
「その人間には、確認する時間と権限が必要です」
「はい」
俺は頷いた。
「通知だけ送って、読まれなければ承認扱いにしてはいけません」
第65話の承認ボタンと同じだ。
今度は通知メールだ。
通知しました。
既読がありません。
一定期間返答がなかったため、自動承認しました。
こんなものは監督ではない。
俺は言った。
「沈黙を承認として扱ってはいけない」
その瞬間、会議室の何人かがメモを取った。
エレナが小さく頷く。
「重要な表現です」
ユーセフも言った。
「労働現場では、まさにそうです」
「通知されたから同意した」
「説明されたから納得した」
「反対しなかったから承認した」
「それは、力の差を無視しています」
本当にそうだ。
AIだけの話ではない。
制度はいつも、沈黙を都合よく読む。
同意。
納得。
不満なし。
問題なし。
成果あり。
でも、沈黙は何度も見た。
第55話で。
沈黙は、同意ではない。
ここでも、同じだった。
会議の終盤。
エレナが暫定整理を読み上げた。
『A changing AI system cannot rely on a single past approval. Continuous optimization requires continuous accountability, change logs, impact monitoring, thresholds for re-approval, and meaningful stop mechanisms.』
変化するAIシステムは、一度の過去の承認に依存してはならない。
継続最適化には、継続的な説明責任、変更ログ、影響監視、再承認の閾値、意味ある停止機構が必要である。
続けて、
『Optimization metrics are not neutral. Reducing complaints, appeals, resignations, or processing time may indicate improvement, or it may indicate silence, exclusion, coercion, or loss of access.』
最適化指標は中立ではない。
苦情、異議申立て、辞退、処理時間の減少は、改善を示す場合もある。
しかし、沈黙、排除、強制、アクセス喪失を示す場合もある。
俺は頷いた。
今日の整理として、かなり強い。
そう思ったときだった。
ジョナスが、例の採用システムのログを見ながら言った。
「追加で確認したい項目があります」
エレナが聞く。
「何でしょうか」
ジョナスは画面を共有した。
そこには、最適化指標の一覧があった。
定着率。
処理時間。
辞退率。
異議申立て件数。
採用担当者満足度。
そして、もう一つ。
『手続き抵抗スコア』
俺は眉をひそめた。
「手続き抵抗スコア？」
リアムの表情が少し変わった。
エヴァが言った。
「それは何ですか？」
リアムは慎重に答えた。
「候補者が手続き中に追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定する補助指標です」
会議室が、静かになった。
ユーセフの顔が険しくなる。
マテオが低い声で言った。
「つまり、声を上げそうな人を予測しているのですか」
リアムはすぐに答えた。
「効率的な手続き運用のための補助指標です。採否を直接決めるものではありません」
俺は、何度目か分からない言葉を聞いた。
直接決めるものではありません。
補助です。
参考です。
効率化です。
しかし、順位は変わる。
機会は減る。
人は落とされる。
アミナが静かに言った。
「声を上げる人を、負荷として扱うのですか」
誰もすぐには答えなかった。
エレナが、ゆっくりと言った。
「次回は、異議申立てや説明要求をリスクとして扱うことの問題を議題にします」
画面が消える。
俺はしばらく、何も言えなかった。
AIチャットを開く。
最適化指標の中に、手続き抵抗スコアがあった。追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定する指標らしい。
AIは答えた。
『それは、権利行使を運用負荷として扱う危険があります』
「権利行使を、運用負荷として扱う」
『はい』
『説明を求めること、異議を申し立てること、条件を確認することは、制度の健全性に必要な行動です』
俺はメモ帳を開いた。
次のタイトルを書く。
異議を唱える人を、リスクとして扱ってはいけない。
保存。
それから、今日の記事を書き始めた。
タイトル。
変わり続けるAIを、昨日の承認で動かしてはいけない。
本文。
AIは変わる。
改善される。
最適化される。
現場に合わせて調整される。
それ自体は悪ではない。
しかし、変わるAIを、一度の承認だけで動かし続けてはいけない。
昨日承認したシステムと、今日動いているシステムが違うなら、責任も、監査も、説明も、停止条件も更新されなければならない。
最適化指標は中立ではない。
苦情が減ったことと、公正になったことは違う。
異議申立てが減ったことと、納得されたことは違う。
定着率が高いことと、良い環境であることは違う。
沈黙を、成果として扱ってはいけない。
俺は最後に書いた。
昨日の承認は、今日の免許証ではない。
変わり続けるAIには、変わり続ける責任が必要である。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告最適化でも、クレームが減ったように見えて、実は文句を言う層に届かなくなっただけ、ということがあります。最適化は便利ですが、何を減らして成功と呼ぶのかを間違えると危ないですね』
読書会の主催者からも届いた。
『沈黙を、成果として扱ってはいけない。次回の議題にします』
神崎教授からは、短いコメントだった。
『反論する者を面倒な者と呼んだ瞬間、制度は腐る』
俺は、その一文を見て、静かに息を吐いた。
次の問いは、もう決まっている。
異議を唱える人を、リスクとして扱ってはいけない。
人工叡智はついに、制度を守るために必要な「面倒な人」を、AIが排除してしまう危険へ踏み込むことになる。
第66話では、「導入後に変わり続けるAI」と「継続最適化」が扱われました。
AIは導入後も変化します。
不具合修正。
データ更新。
重み変更。
目的指標の変更。
利用者層の変化。
現場に合わせた最適化。
それ自体は悪ではありません。
しかし、変わり続けるAIを、一度の承認だけで動かし続けることは危険です。
昨日承認したシステムと、今日動いているシステムが違うなら、説明責任、監査、停止条件、再承認も更新されなければなりません。
今回の中心となる整理は、これです。
変わり続けるAIには、変わり続ける責任が必要である。
また、今回もう一つ重要だったのは、最適化指標の危険です。
定着率。
苦情件数。
異議申立て件数。
処理時間。
辞退率。
採用担当者満足度。
それらは一見、便利な指標です。
しかし、苦情が減ったことと、公正になったことは違います。
異議申立てが減ったことと、納得されたことは違います。
定着率が高いことと、良い環境であることは違います。
沈黙を、成果として扱ってはいけません。
今回、真司たちは「継続変化・再承認レビュー」という考え方へたどり着きました。
継続最適化が標準オンか、明示的な選択制か。
何を最適化しているのか。
最適化指標は、誰が決め、誰が異議を申し立てられるか。
苦情減少、異議申立て減少、辞退率低下、定着率上昇を単純に良い結果として扱っていないか。
指標が、沈黙する人、辞められない人、抗議できない人を有利にしていないか。
変更履歴、重み変更、データ更新、目的変更が保存され、後から再現できるか。
軽微変更、重要変更、高影響変更を区別しているか。
重要変更や高影響変更では、再承認、外部確認、利用者通知が行われるか。
変更前の状態へ戻すロールバック機能があるか。
停止、凍結、低リスクモードへの切替条件が事前に決められているか。
今回の中心となる言葉は、これです。
昨日の承認は、今日の免許証ではない。
沈黙を、成果として扱ってはいけない。
しかし、最後にさらに危険な指標が見つかりました。
手続き抵抗スコア。
候補者が、追加説明、条件確認、異議申立て、再面接要求などを行う可能性を推定する補助指標です。
それは、説明を求めることや異議を申し立てることを、運用負荷として扱う危険があります。
次回は、「異議を唱える人を、リスクとして扱ってはいけない」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
