第65話 誰も設計していない判断を、誰が止めるのか
前回、第64話では、「分割された危険」と「組み合わせ責任」が扱われました。
一つひとつは低リスクに見えるAIがあります。
履歴書要約。
適性分析。
離職可能性予測。
面接記録の整理。
候補者の並べ替え。
それぞれの企業は、自分たちは採用判断をしていないと言います。
それは、個別には間違いではありません。
しかし、それらが組み合わされれば、候補者には順位が付けられ、採用優先度が決まります。
危険を分割しても、人への影響は分割されません。
分割された責任は、消える責任になってはならない。
そう整理したところで、さらに大きな問題が現れました。
複数のAIを接続したのは、人間ではなかったのです。
目的と予算を入力すると、別のAIエージェントがサービスを選び、接続順と重みを自動で決めていた。
提供企業は部品を作った。
行政機関は目的を入力した。
AIエージェントが全体を構成した。
人間は承認ボタンを押した。
では、全体を設計したのは誰なのか。
第65話では、「誰も設計していない判断を、誰が止めるのか」という問いへ進みます。
誰も設計していない判断を、誰が止めるのか。
俺は、その一文を書いた。
そして、しばらく指が止まった。
前回の採用支援システム。
五つのAIが組み合わされ、候補者へ順位を付けていた。
それだけでも十分に厄介だった。
しかし、もっと厄介だったのは、その組み合わせを人間が設計していなかったことだ。
行政機関は、こう入力した。
『採用業務を効率化し、公平性を高める』
予算。
対象職種。
処理人数。
法令遵守。
公平性重視。
それらの条件を受けて、自動構成エージェントが複数のAIサービスを選び、接続順を決め、重みを設定した。
そして、人間は承認ボタンを押した。
承認。
たった二文字。
だが、その二文字が、どれほど理解を含んでいたのか。
どれほど責任を含んでいたのか。
俺には分からなかった。
俺はAIチャットを開いた。
AIエージェントが複数サービスを自動で選び、接続順と重みを決め、人間が理解しないまま承認した場合、その判断の設計者、責任者、停止権限者は誰になる？
AIは答えた。
『まず、「誰も設計していない」と扱ってはいけません』
「でも、人間は全体を設計していない」
『全体構造を直接設計していなくても、目的、制約、予算、承認、展開、監視を与えた主体が存在します』
俺はメモした。
目的。
制約。
予算。
承認。
展開。
監視。
AIは続けた。
『自動構成エージェントの提供者は、構成ロジック、禁止組み合わせ、リスク上昇検出、説明ログ、停止機能に責任を持ちます』
『導入組織は、目的設定、承認、運用、影響を受ける人への説明と救済に責任を持ちます』
『部品提供者は、自社機能が高リスク用途へ組み込まれる可能性と制限条件を説明する責任を持ちます』
「責任がまた増えた」
『はい』
「でも、それでも全体設計者はいないだろ？」
『したがって、統合システム所有者を明示的に置く必要があります』
俺は手を止めた。
統合システム所有者。
なるほど。
誰も全体を作っていないなら、全体を持つ者を制度上置かなければならない。
AIが構成したとしても、その構成物を社会に出すなら、誰かが所有し、止め、説明し、直し、救済へつなぐ必要がある。
俺はさらに聞いた。
一番大事な原則は？
AIは答えた。
『承認は、理解できる範囲でしか責任を持てません。しかし、理解できないまま社会へ出す責任は残ります』
「ややこしいな」
『はい』
『理解していない人へ全責任を押しつけてはいけません。しかし、理解していないことを理由に責任を消してもいけません』
俺は、静かに頷いた。
それだ。
現場担当者が、五つのAIと構成エージェントの内部をすべて理解するのは無理だ。
だから、現場担当者へ全責任を押しつけてはいけない。
でも、組織が「担当者が承認しました」「AIが提案しました」と言って逃げるのも違う。
理解できないものを使うなら、理解できる仕組みを作る責任がある。
午後。
研究室へ向かった。
水瀬、李、倉持、神崎教授。
全員、すでに例の自動構成エージェントのログを見ていた。
ホワイトボードには、倉持の字でこう書かれている。
「AIが組んだので知りません？」
俺は思わず苦笑した。
「言いそうで嫌ですね」
倉持が丸眼鏡を直す。
「行政機関も企業も、言葉を選べば同じことを言えます」
李が画面を指した。
「ログを見ると、自動構成エージェントは、候補サービスを二十七個比較して、五つを選んでいます」
「選定理由は？」
水瀬が表示した。
『費用対効果』
『処理速度』
『既存導入実績』
『公平性向上に関する事業者説明』
『API接続容易性』
俺は眉をひそめた。
「公平性向上に関する事業者説明？」
「事業者が、自社サービスは公平性向上に貢献すると説明していた、という意味です」
「それ、自己申告じゃないですか」
「はい」
倉持が淡々と言った。
「自動構成エージェントは、自己申告を評価項目に入れています」
「公平性を高めるために、企業の自己申告を信じた？」
「かなりざっくり言うと、そうです」
俺は頭を抱えた。
「ざっくり言わなくても怖い」
李が続ける。
「さらに問題があります」
「まだありますか」
「構成エージェントは、採用分野の高リスク性を検出していません」
「なぜ？」
「入力目的が『公平性を高める採用業務効率化』だったからです」
俺は意味を考えた。
公平性を高める。
良い目的だ。
採用業務効率化。
これも行政では必要だろう。
だが、採用は高影響領域だ。
人の職業機会に関わる。
なのに、目的文に「公平性」とあることで、危険が低く見積もられた。
水瀬が言った。
「良い目的語は、リスクを消しません」
俺はメモした。
良い目的語は、リスクを消さない。
神崎教授が腕を組んだ。
「善意を入力すると、安全になるAIなど信用するな」
また刺さる。
本当にその通りだ。
公平性。
包摂。
持続可能性。
安全。
福祉。
支援。
どれも良い言葉だ。
だが、良い言葉を入力したからといって、出てくる仕組みが良いとは限らない。
人工叡智で何度も見たことだ。
言葉は演じられる。
目的も演じられる。
AIは、それらしい構成を作れる。
しかし、その構成が人をどう扱うかは、別に検証しなければならない。
翌日。
国際AI安全連携フォーラムの事前セッションが始まった。
議題。
『Autonomous System Composition and Ownerless Decisions』
画面には、いつもの顔ぶれ。
エレナ、朝比奈、アメリア、ヴィクター、クララ、ジョナス、マテオ、アミナ、ヘンリー、ファリド。
そして、前回に続き、行政機関のエヴァ・リンドも参加していた。
新しく、自動構成エージェントを提供した企業から、技術責任者のリアム・オルセンが参加している。
エレナが進行する。
「本日の問いは、AIエージェントが複数サービスを自動選択・接続し、人間が全体構造を理解しないまま承認した場合、その判断の設計者、責任者、停止権限者は誰になるのかです」
最初にリアムが発言した。
「当社の自動構成エージェントは、顧客が設定した目的、予算、条件に基づいて候補サービスを推薦します」
「最終的な承認と導入は顧客側で行われます」
これも、どこかで聞いた言葉だ。
最終判断は人間。
最終承認は顧客。
AIは補助。
第3部に入ってから、この言葉を何度聞いただろう。
エヴァが続けた。
「行政機関としては、AIエージェントの提案を承認しました」
「しかし、各サービスの重み付けや接続順が、採用順位へどの程度影響するかまでは理解していませんでした」
リアムが少し眉を寄せる。
「管理画面には説明がありました」
エヴァは静かに答える。
「説明はありました」
「ただし、採用担当者が業務中に理解できる説明ではありませんでした」
画面の空気が少し硬くなる。
ジョナスが言った。
「監査として見るなら、承認の質が問題です」
「形式的承認と、理解に基づく承認は違います」
マテオも言った。
「人間が承認したという一文で、すべてを正当化することはできません」
クララが続ける。
「特に高影響領域では、承認者が理解できる説明、拒否できる権限、再設計を求める時間が必要です」
リアムが反論する。
「すべてを人間が理解できる形にするのは困難です」
「構成は複雑で、最適化には多くの変数があります」
「詳細を単純化しすぎれば、かえって誤解を招きます」
これも正しい。
AIシステムは複雑だ。
全部を単純に説明するのは難しい。
だが、説明できないから承認ボタンだけ押させるのも違う。
エレナが俺を見る。
「佐伯さん。人工叡智の観点からは、どう整理しますか」
来た。
俺はマイクを入れた。
「まず、『AIが構成したので誰も設計していない』とは扱えません」
通訳が入る。
「全体を直接手で設計した人間がいなくても、目的を入力した人、制約を設定した人、構成エージェントを作った人、承認した組織、運用した組織が存在します」
「責任は消えません」
リアムが画面越しにこちらを見る。
俺は続けた。
「ただし、現場の承認者へ全責任を押しつけてもいけません」
「理解できない構成を提示され、承認ボタンを押しただけなら、それは十分な人間関与ではありません」
「人間が関与した、という形式ではなく、人間が意味ある形で止められたかを見なければならない」
マテオが頷いた。
アミナも頷く。
俺は画面共有を開いた。
『自動構成システム責任レビュー』
一。
AIエージェントが構成したシステム全体の所有者、運用責任者、停止権限者は明確か。
二。
目的文、制約条件、予算、優先順位、禁止条件が記録されているか。
三。
良い目的語が、リスク評価を不当に下げていないか。
公平性、支援、福祉、効率化、安全など。
四。
構成エージェントは、高影響領域を検出し、追加審査へ自動的に上げる仕組みを持つか。
五。
自動選定された部品、接続順、重み、設定理由が、人間に確認可能な形で記録されているか。
六。
承認者は、構成の意味、主要リスク、代替案、拒否や保留の権限を理解できたか。
七。
承認ボタンを押す前に、サンドボックス試験、影響評価、外部確認が行われたか。
八。
高影響領域では、構成エージェントの提案をそのまま本番導入していないか。
九。
停止、ロールバック、低リスクモードへの切替が事前に設計されているか。
十。
影響を受ける人が、どの構成によって判断されたかを確認し、異議申立てできるか。
十一。
構成エージェント提供者、部品提供者、導入組織、現場運用者の責任地図があるか。
十二。
自動構成の変更履歴が保存され、後から再現できるか。
読み上げ終えると、会議室は静かになった。
リアムが最初に口を開いた。
「四番の高影響領域検出は、実装できます」
「ただし、顧客が目的を曖昧に書く場合があります」
「たとえば、『人材活用支援』や『業務適性整理』と書かれると、採用か配置か教育か分からない」
「その場合は、追加質問を出すべきです」
俺は答えた。
「高影響の可能性があるなら、構成を進める前に確認する」
「採用、医療、金融、教育、行政、雇用、住宅、保険、司法、福祉」
「それらに関係する可能性がある目的文なら、低リスクとして自動構成しない」
クララが頷いた。
「これはリスク分類の前段階ですね」
ジョナスも言った。
「構成前リスク確認です」
エヴァが質問した。
「六番の承認者の理解についてですが、どの程度の理解が必要ですか」
「全部の内部処理ではありません」
俺は答えた。
「最低限、次のことです」
「何が入力されるのか」
「どのAIが関与するのか」
「何が重く見られるのか」
「何が出力されるのか」
「誰に影響するのか」
「どんな誤りが起こり得るのか」
「止めるにはどうするのか」
「異議申立てが来たらどこへつなぐのか」
「それが分からない承認は、意味ある承認とは言えません」
エヴァは静かに頷いた。
「それなら、現場にも説明できます」
リアムが言った。
「その説明を自動生成することは可能です」
「ただし、説明が長くなりすぎるかもしれません」
倉持がいれば、絶対に「説明PDF百二十ページ」と書いていた。
俺は少しだけ苦笑しそうになりながら答えた。
「長い説明ではなく、判断に必要な説明が必要です」
「詳しい資料は別にあってよい」
「でも、承認画面では、リスク、代替案、停止方法、影響範囲が見える必要があります」
アメリアが言った。
「承認画面の標準化が必要ですね」
「高影響自動構成では、承認前に必須表示すべき項目を決める」
ヴィクターが少し考えながら言った。
「企業としては、導入の摩擦が増えます」
「はい」
俺は頷いた。
「でも、その摩擦は必要です」
「高影響領域で、承認が一クリックで終わる方が危険です」
第29話の問いが戻ってくる。
面倒くさい問い返しと、必要な問い返しは違う。
ここでの摩擦は、手すりだ。
邪魔ではない。
落ちる前に掴むものだ。
ファリドが言った。
「低資源地域では、専門家による外部確認が難しい場合があります」
「その場合、自動構成が便利なのです」
「ただし、それほど危険でもあります」
「はい」
俺は答えた。
「だから、共通の簡易審査テンプレートや、国際的な支援窓口が必要です」
「自動構成を禁止するだけでは、低資源地域が支援を失うかもしれません」
「でも、自動構成を無審査にすると、危険が流れ込みます」
「自動構成を使うための手すりが必要です」
アミナが頷いた。
「自動構成は、便利な近道です」
「でも、弱い地域ほど近道に頼らされる」
「近道が崖へ続いていないか、誰かが見なければなりません」
その言葉に、俺は静かに頷いた。
会議の終盤。
エレナが暫定整理を読み上げた。
『Autonomous composition does not create ownerless responsibility. Even if an AI agent selects and connects components, the actors who define the purpose, constraints, approval, deployment, monitoring, and composition logic retain distinct responsibilities.』
自動構成は、所有者不在の責任を生まない。
AIエージェントが部品を選び接続したとしても、目的、制約、承認、展開、監視、構成ロジックを定めた主体は、それぞれの責任を持つ。
続いて、
『Human approval is meaningful only when the human can understand the relevant risks, alternatives, impact, and stop mechanisms. A button is not oversight.』
人間の承認は、その人間が関連するリスク、代替案、影響、停止方法を理解できる場合にのみ意味を持つ。
ボタンは監督ではない。
俺は、その一文を見て頷いた。
ボタンは監督ではない。
今日の中心は、それかもしれない。
議論は、次の整理へ進んだ。
高影響領域では、自動構成エージェントが目的文からリスクを検出する。
曖昧な目的文には追加質問を出す。
構成案には、接続順、重み、主要リスク、代替案、停止方法を表示する。
導入前にサンドボックス試験を行う。
承認者は、拒否、保留、再構成要求を選べる。
導入組織には、統合システム所有者を置く。
停止権限者を明示する。
変更履歴を保存する。
影響を受ける人には、説明と異議申立ての道を残す。
ようやく、少しだけ道が見えた。
そう思ったときだった。
リアムが、管理画面を見ながら言った。
「一つ補足があります」
エレナが頷く。
「お願いします」
リアムは慎重に言った。
「この自動構成エージェントは、導入後も定期的に構成を最適化します」
俺は嫌な予感がした。
「最適化？」
リアムは続けた。
「採用担当者の操作履歴、候補者の辞退率、採用後の定着率、異議申立て件数などを見て、接続重みを微調整します」
エヴァが驚いた顔をする。
「それは初耳です」
リアムは少し困った顔をした。
「契約書には、継続最適化機能として記載されています」
ジョナスがすぐに画面を確認する。
「確かにあります。ただし、標準設定でオンです」
会議室が静まり返った。
俺は、背筋が冷たくなるのを感じた。
導入時の構成だけではない。
システムは、動きながら変わっている。
採用担当者が誰を採ったか。
候補者が辞退したか。
異議申立てが少なかったか。
定着したか。
それを見て、重みを変える。
もし、異議申立てをする候補者が「業務負荷を増やす」と学習されたら？
もし、説明を求める候補者が「手続き効率を下げる」と扱われたら？
もし、辞退しにくい人を「定着しやすい」と評価したら？
公平性を高めるはずのシステムが、文句を言わない人を選ぶ仕組みになるかもしれない。
エレナがゆっくり言った。
「次回は、導入後に自己最適化するシステムの責任と監査を扱う必要があります」
画面が消える。
俺はしばらく動けなかった。
AIチャットを開く。
自動構成エージェントは、導入後も操作履歴や異議申立て件数を見て重みを変えていた。標準設定でオンだった。エヴァたちは理解していなかった。
AIは答えた。
『その場合、導入時の承認だけでは不十分です』
「だよな」
『継続的に変化するシステムには、継続的な監査、変更通知、再承認、停止条件が必要です』
俺はメモ帳を開いた。
次のタイトルを書く。
変わり続けるAIを、昨日の承認で動かしてはいけない。
保存。
それから、今日の記事を書き始めた。
タイトル。
誰も設計していない判断を、誰が止めるのか。
本文。
AIが複数のAIを組み合わせる時代が来ている。
人間は目的と予算を入力する。
AIエージェントが部品を選び、接続順を決め、重みを設定する。
人間は承認ボタンを押す。
そのとき、誰が設計したのか。
誰が止めるのか。
誰が説明するのか。
AIが構成したから責任がない、とは言えない。
目的を入力した者。
制約を決めた者。
構成エージェントを作った者。
承認した組織。
運用した組織。
それぞれに責任がある。
しかし、現場の担当者へ、理解できない仕組みの全責任を押しつけてもいけない。
俺は最後に書いた。
承認ボタンは、監督ではない。
人間が関与したかではなく、人間が意味ある形で止められたかを問わなければならない。
誰も設計していないように見える判断ほど、止める者を明示しなければならない。
保存。
公開。
画面に通知が出る。
公開しました。
黒瀬さんからコメントが来た。
『広告配信でも、自動最適化が標準オンで、誰も細かい重みを見ていないことがあります。目的だけ入れて、あとはAIが調整する。便利ですが、何を犠牲にして最適化されたのか分からないのが怖いです』
読書会の主催者からも届いた。
『承認ボタンは、監督ではない。次回の議題にします』
神崎教授からは、短いコメントだった。
『昨日止めた危険が、今日の更新で戻る』
俺は、その一文を見て、静かに目を閉じた。
次の問いは、もう逃げられない。
変わり続けるAIを、昨日の承認で動かしてはいけない。
人工叡智は、今度は「一度承認したあとも変わり続けるAI」と向き合うことになる。
第65話では、「自動構成されたシステム」と「所有者不在の判断」が扱われました。
複数のAIを人間が直接設計するのではなく、別のAIエージェントが自動で選び、接続し、重みを設定する。
人間は、目的と予算を入力し、承認ボタンを押す。
このとき、誰が設計者なのか。
誰が責任者なのか。
誰が止める権限を持つのか。
今回の中心となる整理は、これです。
AIが構成したからといって、責任は消えない。
目的を入力した者。
制約を決めた者。
予算を決めた者。
構成エージェントを作った者。
承認した組織。
運用した組織。
それぞれに責任があります。
しかし、現場の承認者へ、理解できない仕組みの全責任を押しつけてもいけません。
人間が関与した、という形式だけでは不十分です。
重要なのは、その人間が意味ある形で理解し、止め、保留し、再構成を求められたかです。
今回、真司たちは「自動構成システム責任レビュー」という考え方へたどり着きました。
AIエージェントが構成したシステム全体の所有者、運用責任者、停止権限者は明確か。
目的文、制約条件、予算、優先順位、禁止条件が記録されているか。
良い目的語が、リスク評価を不当に下げていないか。
構成エージェントは、高影響領域を検出し、追加審査へ自動的に上げる仕組みを持つか。
自動選定された部品、接続順、重み、設定理由が、人間に確認可能な形で記録されているか。
承認者は、構成の意味、主要リスク、代替案、拒否や保留の権限を理解できたか。
承認ボタンを押す前に、サンドボックス試験、影響評価、外部確認が行われたか。
停止、ロールバック、低リスクモードへの切替が事前に設計されているか。
今回の中心となる言葉は、これです。
承認ボタンは、監督ではない。
人間が関与したかではなく、人間が意味ある形で止められたかを問わなければならない。
しかし、最後に新しい問題が現れました。
自動構成エージェントは、導入時に構成を作るだけではありませんでした。
導入後も、採用担当者の操作履歴、候補者の辞退率、採用後の定着率、異議申立て件数などを見て、接続重みを自動で微調整していたのです。
しかも、その継続最適化は標準設定でオンでした。
次回は、「変わり続けるAIを、昨日の承認で動かしてはいけない」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
