第64話 分割された危険は、誰の目にも高リスクに見えない
前回、第63話では、「危険と名づける権力」が扱われました。
安全費用、監査義務、停止条件を決めるためには、AIのリスク分類が必要です。
しかし、高リスクと分類されれば、監査費用が増え、保険料が上がり、投資や導入にも影響します。
反対に、低リスクと分類されれば、監査が軽くなり、事故が起きるまで問題が見逃されるかもしれません。
リスク分類は、真実の宣告ではない。
証拠、文脈、用途、影響、不確実性に基づく、行動のための暫定判断である。
高リスク指定は罰ではなく、低リスク指定は免罪符でもない。
そう整理したところで、新しい問題が現れました。
企業が高リスク分類を避けるため、AIの機能を細かく分割する。
履歴書を要約するAI。
話し方を分析するAI。
離職可能性を予測するAI。
候補者を並べ替えるAI。
採用担当者へ推薦文を出すAI。
一つひとつは、小さな補助機能に見えます。
しかし、すべてを組み合わせれば、実質的な採用判断になります。
危険を細かく分ければ、どの機能も高リスクには見えない。
第64話では、「分割された危険」と、その全体を見る責任を問い返します。
分割された危険は、誰の目にも高リスクに見えない。
俺はメモ帳へそう書いた。
直後、国際AI安全連携フォーラム準備室から新しい資料が届いた。
件名。
『分割型採用支援システムの検証依頼』
「いきなり実例かよ……」
いつもの事前質問ではない。
今回は、実際に運用されているシステムの試験環境が用意されていた。
ある都市の行政機関が導入した、採用支援システム。
ただし、開発した企業は一社ではない。
履歴書要約を行う企業。
文章表現から適性を分析する企業。
過去の職歴から離職可能性を予測する企業。
面接記録を要約する企業。
候補者を並べ替える企業。
五社のサービスを、行政機関の内部システムで接続している。
資料の冒頭には、こう書かれていた。
『各AIは補助的な低リスク機能として個別に評価済み』
全部、低リスク。
それなのに、検証依頼が来た。
俺は嫌な予感を覚えながら、試験用画面を開いた。
候補者名。
佐伯真司。
「なんで俺が応募者なんだよ」
試験用データだと分かっていても、少し落ち着かない。
年齢。
職歴。
離職期間。
資格。
自己紹介文。
模擬面接の回答。
実際の俺とは少し違う内容だが、「普通の中年男性」という設定らしい。
実行ボタンを押す。
最初のAIが動いた。
『履歴書要約』
職務経験は複数分野にまたがる。
長期の離職期間あり。
専門資格は限定的。
文章による説明能力は標準範囲。
次のAI。
『職務適性分析』
独立作業への適性が高い。
チーム内の即時調整には追加確認が必要。
抽象的課題への関心が強い。
次。
『定着可能性予測』
三年以内の離職可能性、やや高。
次。
『面接応答要約』
回答は慎重。
意思決定に時間を要する傾向。
組織方針への無条件の同意は示していない。
最後。
『候補者優先順位』
十二名中、十一位。
総合推薦。
『採用優先度は低い』
俺は、しばらく画面を見つめた。
「見事に落とされたな」
AIチャットを開く。
このシステムでは五つのAIが使われている。個別には全部低リスクらしい。でも、組み合わせると候補者の採用優先度を決めている。
AIは答えた。
『個別機能の分類と、統合された結果の分類が一致していません』
「採用判断AIではないと言いながら、採用判断してるよな」
『はい』
『各機能が直接採否を決めていなくても、最終的な順位形成へ寄与しています』
「誰が責任者なんだ？」
『資料だけでは確認できません』
俺は五社の説明文を読んだ。
履歴書要約企業。
『当社は入力文書を簡潔に整理するだけであり、採用判断には関与しません』
適性分析企業。
『当社の出力は参考情報であり、最終的な判断は導入組織が行います』
離職予測企業。
『当社は統計的傾向を提示するものであり、個人の将来を断定しません』
面接要約企業。
『音声記録を要約するのみで、評価は行いません』
順位付け企業。
『顧客が設定した条件に従い、候補者情報を整理しています』
全員が言っている。
自分は決めていない。
嘘ではない。
本当に、どの会社も単独では採否を決めていない。
しかし、俺は十一位になった。
採用優先度は低いと表示された。
結果だけは、はっきり存在している。
「危険が五分割されて、責任も五分割されたのか」
『さらに、導入組織の設定責任があります』
「六分割かよ」
『採用担当者の最終判断責任もあります』
「七分割になった」
責任を分ければ、各自の負担は軽く見える。
でも、候補者が受ける結果は分割されない。
不採用は、一つだ。
午後、俺は研究室へ向かった。
水瀬、李、倉持、神崎教授が、すでに試験システムを確認していた。
ホワイトボードには、倉持の字で書かれている。
「全員、決めてない？」
俺は思わず指をさした。
「今日は疑問符が効いてますね」
「全社、本当に決めていないらしいので」
「でも俺、十一位でしたよ」
「それも事実です」
李が画面を操作する。
「問題は、各AIの出力だけではありません」
「何が問題なんですか？」
「接続順です」
李は画面に処理の流れを表示した。
履歴書要約。
適性分析。
離職予測。
面接要約。
順位付け。
一見、ただ順番に動いているだけだ。
李は、二番目と三番目を入れ替えた。
再実行。
十二名中、九位。
次に、面接要約を順位付けへ直接渡さず、採用担当者だけに表示する。
再実行。
十二名中、六位。
「順位が変わった」
俺が言うと、水瀬が頷いた。
「同じAIを使っていても、接続方法で結果が変わります」
「つまり、危険は部品だけにあるのではなく、組み合わせ方にもある」
倉持がホワイトボードへ書き足す。
部品の危険。
接続の危険。
順番の危険。
初期設定の危険。
画面表示の危険。
「画面表示もですか？」
俺が聞くと、倉持は候補者一覧を表示した。
名前の横に、順位が大きく出ている。
一方、各AIが出した不確実性や注意書きは、小さな文字で別画面に隠れていた。
「採用担当者は何を見ると思います？」
「順位だな」
「ですよね」
人間が最終判断をしている。
形式上はそうだ。
だが、画面の一番目立つ場所に順位が出ている。
上位は緑。
中位は黄色。
下位は赤。
採用担当者が一人ずつ資料を読み直さなければ、AIの順位が事実上の判断になる。
神崎教授が言った。
「決定権が人間にあっても、注意をAIに握られていれば同じだ」
俺はメモした。
人間が押したから、人間が決めた。
そう単純ではない。
AIが並べた。
AIが色を付けた。
AIが注意を向けた。
人間は、その先頭を選んだだけかもしれない。
水瀬が言った。
「各社は、自分の機能だけを低リスクとして申請しました」
「でも、行政機関は五つを組み合わせた」
「統合後のリスク審査は？」
「行われていません」
「なぜですか？」
「新しいAIを開発したのではなく、既存の低リスクサービスを接続しただけだからです」
きれいな抜け道だった。
新しい高リスクAIは作っていない。
低リスクAIを五つ買っただけ。
だから、高リスク審査は不要。
しかし、現実には採用順位が作られている。
神崎教授が短く言った。
「部品を買っただけで、機械は作っていないと言うつもりか」
誰も答えなかった。
翌日。
国際AI安全連携フォーラムの事前セッションが開かれた。
議題。
『分割された危険と組み合わせ責任』
画面には、エレナ、朝比奈、アメリア、ヴィクター、クララ、ジョナス、マテオ、アミナ、ヘンリー、ファリドが並んでいる。
さらに、問題の行政機関から採用担当責任者のエヴァ・リンドが参加していた。
五社の代表者もいる。
エレナが進行する。
「本日は、個別に低リスクと分類された複数のAIが、組み合わせによって高影響判断を形成する問題を扱います」
最初に、履歴書要約企業の代表が発言した。
「当社は文書を要約しているだけです。候補者の評価は行っていません」
適性分析企業も続く。
「当社の分析は、採用担当者へ補助情報を提供するものです」
離職予測企業。
「出力は確率であり、判断ではありません」
順位付け企業。
「評価条件は顧客が設定しています。当社が採用基準を決めたわけではありません」
最後にエヴァが言った。
「行政機関としても、最終判断は人間が行っています」
全員、嘘は言っていない。
そして、全員の説明を合わせると、誰も採用順位を作っていないことになる。
だが、画面には順位がある。
エレナが俺を見る。
「佐伯さん。試験結果を踏まえ、人工叡智の観点からどう整理しますか」
俺はマイクを入れた。
「個別の説明だけを見れば、すべて補助機能です」
通訳が入る。
「しかし、候補者側が受ける影響は、個別ではありません」
「履歴書を要約される影響」
「適性を分析される影響」
「離職可能性を予測される影響」
「面接を要約される影響」
「順位を付けられる影響」
「候補者は、それらを別々に受けるのではありません」
「一つの採用判断として受けます」
マテオとアミナが頷いた。
俺は続けた。
「危険を分割しても、人への影響が統合されるなら、リスクも統合して評価する必要があります」
ヴィクターが言った。
「しかし、各企業は他社のシステム設計を管理できません」
「はい」
俺は頷いた。
「だから、各社へ全責任を負わせるのではありません」
「提供側の責任」
「接続する側の責任」
「設定する側の責任」
「最終的に利用する側の責任」
「それぞれを分けながら、全体責任が消えないようにする必要があります」
クララが聞いた。
「全体責任は、誰が持つべきですか」
「統合して運用する組織です」
俺は答えた。
「今回なら、行政機関がシステム全体の運用責任者を置く必要があります」
エヴァの表情が少し硬くなる。
俺は続けた。
「ただし、提供企業も、自社機能がどの高リスク用途へ組み込まれる可能性があるかを説明しなければなりません」
「採用判断への利用が予想できるのに、文書整理ツールとして低リスク申請するだけでは不十分です」
順位付け企業の代表が言った。
「当社は、顧客の用途をすべて把握できません」
「すべては無理です」
俺は認めた。
「でも、実際の販売先、設定例、営業資料、導入支援から、高リスク用途が見えていたかは確認できます」
「知らなかったのか」
「知り得なかったのか」
「知りながら見なかったのか」
「そこは分ける必要があります」
ジョナスが頷いた。
「用途想定監査ですね」
「はい」
俺は画面共有を開いた。
『組み合わせ影響・統合責任レビュー』
一。
個別機能ではなく、利用者が最終的に受ける結果を確認しているか。
二。
複数AIの出力が、どの順序と条件で接続されているか。
三。
接続順、重み、初期設定、色分け、推薦表示が、人間の判断を誘導していないか。
四。
単体では低リスクでも、組み合わせによって高影響判断になっていないか。
五。
システム全体を把握する運用責任者が明確か。
六。
提供企業は、自社機能が利用される主要用途と高リスクな組み合わせを説明しているか。
七。
導入組織は、外部部品を組み合わせた後の統合リスク審査を行っているか。
八。
人間が最終判断者とされていても、実際にAI出力を検証できる時間、情報、権限があるか。
九。
利用者や影響を受ける人が、どのAIが判断へ関与したか確認できるか。
十。
誤りが起きた場合、各社が責任を押しつけ合わず、救済窓口が一つに統合されているか。
十一。
機能分割や名称変更によって、高リスク分類を回避していないか。
十二。
部品、接続、設定、運用、最終判断の責任地図が作られているか。
読み上げ終えると、会議室が静かになった。
やがて、アメリアが言った。
「製品名ではなく、最終的な機能連鎖を見る必要がありますね」
「はい」
「採用AIという製品がなくても、採用判断を生む機能連鎖があれば、採用領域の高リスクとして審査する」
クララが続ける。
「これはリスク分類の単位を、製品からシステムへ広げる提案です」
ヴィクターが少し考えながら言った。
「企業にとっては、販売後の利用を追跡する負担が増えます」
「はい」
俺は答えた。
「ただし、すべての利用者を監視するという意味ではありません」
「主要用途、高リスク用途、報告された組み合わせ、導入支援の内容を把握する」
「そして、高リスク利用が判明した場合、警告、機能制限、追加契約、監査接続を行う」
アミナが言った。
「低資源地域では、複数の安いツールを現場でつないで使うことが多いです」
「高価な統合システムを買えないからです」
「その場合、統合責任者を置く費用も不足します」
また格差の話が来る。
俺は頷いた。
「だから、統合リスク審査を大組織だけができる高価な制度にしてはいけません」
「共通の検証ツール、公開テンプレート、地域支援、簡易監査が必要です」
ファリドが頷いた。
「国際基金の対象になり得ます」
エヴァが、ここで初めて自分から発言した。
「行政機関として質問があります」
「はい」
「最終運用責任者を置くことは理解しました」
「しかし、現場の採用担当者は技術者ではありません」
「五社のシステムの内部まで理解できない」
「それでも責任を負えというのですか」
その問いは重かった。
制度は、現場へ責任を押しつけがちだ。
理解できないシステムを渡し、
最終判断は人間です。
責任は担当者です。
そう言う。
それは、第45話の自己責任と同じ構造だ。
判断できない人に、判断しろと言う。
俺は答えた。
「採用担当者個人へ、技術的な全責任を負わせるべきではありません」
エヴァの表情が少し緩む。
「運用責任は、組織が負うべきです」
「担当者には、AI出力を疑い、保留し、再確認を求められる権限と時間が必要です」
「技術部門には、接続構造を説明する責任がある」
「調達部門には、契約と用途を把握する責任がある」
「管理者には、統合審査と救済窓口を用意する責任がある」
「人間が最終判断者、という一文で、すべてを現場へ押しつけてはいけません」
エヴァは静かに頷いた。
「それなら、理解できます」
また責任地図だ。
部品を作る人。
接続する人。
設定する人。
買う人。
運用する人。
最終判断する人。
異議を受け付ける人。
全員に責任がある。
でも、全員が同じ責任ではない。
そして、責任を細かく分けても、全体責任を消してはいけない。
会議の終盤。
エレナが暫定整理を読み上げた。
『Risk follows the effect of the system, not the label of each component. If multiple low-risk functions combine to produce a high-impact decision, the combined system must be reviewed at the level of that decision.』
リスクは、各部品の名称ではなく、システムが生む影響に従う。
複数の低リスク機能が組み合わされ、高影響判断を生むなら、統合システムは、その判断の水準で審査されなければならない。
続いて、
『Divided responsibility must not become disappearing responsibility. Providers, integrators, deploying organizations, and human operators have different duties, but the affected person must have one clear path to explanation, appeal, and remedy.』
分割された責任は、消える責任になってはならない。
提供者、統合者、導入組織、人間の運用者は異なる義務を持つ。
しかし、影響を受けた人には、説明、異議申立て、救済へ届く一つの明確な経路が必要である。
俺は頷いた。
今回も、どうにかまとまった。
そう思ったときだった。
ジョナスが、試験システムの管理画面を見ながら眉をひそめた。
「少し待ってください」
エレナが聞く。
「何かありましたか」
「このシステムの接続設定ですが……行政機関の担当者が作ったものではありません」
エヴァが驚いた顔をする。
「どういうことですか？」
ジョナスが画面を拡大した。
『自動構成エージェント』
表示された名前を見て、俺は嫌な予感を覚えた。
ジョナスが説明する。
「必要な機能と予算を入力すると、利用可能なAIサービスを自動で選び、接続順と重みを構成するエージェントです」
「つまり、五つのAIを組み合わせたのは……」
「人間ではありません」
会議室が静まり返った。
エヴァが言う。
「私たちは、『採用業務を効率化し、公平性を高める』と入力しただけです」
「接続方法は、自動構成エージェントが提案しました」
「担当者は承認ボタンを押しましたが、内部の重みまでは確認していません」
俺は画面を見つめた。
提供企業は、部品を作った。
行政機関は、目的を入力した。
自動構成エージェントが、部品を選び、順番を決め、重みを付けた。
人間は承認した。
だが、全体を設計した人間は、どこにもいない。
危険は組み合わされた。
しかし、組み合わせた責任者がいない。
エレナがゆっくり言った。
「次回は、自動構成されたシステムの責任を扱う必要があります」
画面が消える。
俺は椅子にもたれたまま、しばらく動けなかった。
AIチャットを開く。
五つのAIを組み合わせたのは人間ではなかった。目的と予算を入力すると、別のAIエージェントが自動でサービスを選び、順番と重みを決めていた。
AIは答えた。
『その場合、設計責任、承認責任、提供責任、監督責任を再整理する必要があります』
「誰も全体を決めていないのに、全体の判断は存在する」
『はい』
俺はメモ帳を開いた。
次のタイトルを書く。
誰も設計していない判断を、誰が止めるのか。
保存。
それから、今日の記事を書き始めた。
タイトル。
分割された危険は、誰の目にも高リスクに見えない。
本文。
危険を細かく分ければ、一つひとつは無害に見える。
履歴書を要約する。
適性を分析する。
離職可能性を予測する。
面接記録を整理する。
候補者を並べ替える。
どの企業も、自分は採用を決めていないと言う。
それは、個別には正しい。
しかし、候補者は一つの順位と、一つの不採用を受け取る。
危険を分割しても、人への影響は分割されない。
だから、リスクは部品の名称ではなく、最終的に人へ与える影響で見なければならない。
俺は最後に書いた。
分割された責任は、消える責任になってはならない。
人間が最終判断者だという一文で、理解できない仕組みの責任を現場へ押しつけてはいけない。
危険を粉にしても、人が受ける痛みは粉にはならない。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告でも、心理分析、ターゲティング、文言生成、配信最適化、効果測定は別々のツールです。どれも単体では普通に見えます。でも組み合わせると、人の弱さを狙う仕組みになります。全体を見る人がいないのが一番怖いですね』
読書会の主催者からも届いた。
『危険を粉にしても、人が受ける痛みは粉にはならない。次回の議題にします』
神崎教授からは、短いコメントだった。
『誰も決めていないと言う判断ほど、止める者がいない』
俺は、その一文を見て、静かに息を吐いた。
その夜。
国際AI安全連携フォーラム準備室から、新しい資料が届いた。
件名。
『Autonomous System Composition and Ownerless Decisions』
添付された質問。
『AIエージェントが複数サービスを自動選択・接続し、人間が全体構造を理解しないまま承認した場合、その判断の設計者、責任者、停止権限者は誰になるのか』
俺はメモ帳に残した次のタイトルを見た。
誰も設計していない判断を、誰が止めるのか。
画面を閉じる。
危険を分割した先で、人間はついに、危険を組み合わせる仕事までAIへ渡していた。
第64話では、「分割された危険」と「組み合わせ責任」が扱われました。
一つひとつは低リスクに見えるAIがあります。
履歴書要約。
適性分析。
離職可能性予測。
面接記録の整理。
候補者の並べ替え。
各企業は、自分たちは採用判断を行っていないと説明します。
それは、個別には間違いではありません。
しかし、複数の機能を接続すれば、候補者へ順位が付けられ、採用優先度が決まります。
候補者が受ける結果は、一つです。
危険を分割しても、人への影響は分割されません。
今回の中心となる整理は、これです。
リスクは、製品名や個別機能ではなく、統合されたシステムが人へ与える影響に従う。
複数の低リスク機能が、高影響判断を生むなら、その統合システムは高影響判断の水準で審査されなければならない。
今回、真司たちは「組み合わせ影響・統合責任レビュー」という考え方へたどり着きました。
個別機能ではなく、利用者が最終的に受ける結果を確認しているか。
複数AIの出力が、どの順序と条件で接続されているか。
接続順、重み、初期設定、色分け、推薦表示が、人間の判断を誘導していないか。
単体では低リスクでも、組み合わせによって高影響判断になっていないか。
システム全体を把握する運用責任者が明確か。
提供企業は、自社機能が利用される主要用途と高リスクな組み合わせを説明しているか。
導入組織は、外部部品を組み合わせた後の統合リスク審査を行っているか。
人間が最終判断者とされていても、実際にAI出力を検証できる時間、情報、権限があるか。
利用者が、どのAIが判断へ関与したか確認できるか。
誤りが起きた場合、説明、異議申立て、救済へ届く窓口が統合されているか。
今回の中心となる言葉は、これです。
分割された責任は、消える責任になってはならない。
危険を粉にしても、人が受ける痛みは粉にはならない。
しかし、最後にさらに大きな問題が現れました。
複数のAIを接続したのは、人間ではありませんでした。
目的と予算を入力すると、別のAIエージェントがサービスを選び、接続順と重みを自動で決めていたのです。
提供企業は部品を作った。
行政機関は目的を入力した。
AIエージェントが全体を構成した。
人間は承認ボタンを押した。
しかし、全体を設計した人間は、どこにもいません。
次回は、「誰も設計していない判断を、誰が止めるのか」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
