第43話 急いで守るための権限ほど、ゆっくり疑わなければならない
前回、人工叡智信頼評議会では、席にいない人の利益を守るための制度が議論されました。
当初の案では、未成年者、高齢者、労働者、未来世代、自然環境を守る擁護委員を、一人ずつ選任する予定でした。
しかし、一人の専門家が集団全体の意思を理解しているとは限りません。
高齢者を守ろうとして、本人の自己決定を奪う。
未成年者を守ろうとして、学ぶ自由を狭める。
未来世代のためと言いながら、現在の弱者へ負担を集中させる。
環境保護を掲げながら、地域住民の暮らしを見落とす。
善意による保護も、反証と修正から自由ではありません。
そこで制度は、一人の代弁者へ権限を集中させず、複数の専門家、当事者証言者、権利擁護者、影響評価者を組み合わせる「影響検証パネル」へ変更されました。
しかし、次に提案されたのは、重大な被害を防ぐための緊急停止権限でした。
被害が迫っているとき、通常の会議を待ってはいられない。
その一方で、一人の判断だけでサービスを止めれば、正当な活動まで封じられる危険があります。
急いで守るための権限ほど、ゆっくり疑わなければならない。
第43話では、その矛盾が机上の議論ではなく、実際の緊急事案として真司たちへ突きつけられます。
急いで守るための権限ほど、ゆっくり疑わなければならない。
意味だけを見れば、矛盾している。
急がなければならない。
でも、ゆっくり疑わなければならない。
火事が起きているときに、消火器を使うべきか三時間議論する人はいない。
だが、誰かが煙を見たと言っただけで建物全体を封鎖すれば、別の被害が出る。
緊急停止権限。
その名前には、二つの力が入っている。
被害を止める力。
そして、誰かの活動を止める力。
俺は評議会から届いた制度案を開いた。
『重大かつ回復困難な不利益が発生する可能性が高い場合、影響検証パネルは、認証手続きまたは対象サービスの一時停止を勧告できる』
ここまでは理解できる。
問題は、その次だ。
『緊急性が極めて高い場合、パネル代表者一名の判断により、暫定停止を発動できる』
一人。
極めて高い緊急性。
暫定停止。
言葉は揃っている。
だが、何をもって緊急とするのか。
誰が代表者になるのか。
どこまで止められるのか。
いつまで止められるのか。
誤って止めた場合はどうするのか。
俺はAIチャットを開いた。
緊急時に一人でサービスを止められる制度を作るなら、最低限何が必要？
AIは答えた。
『少なくとも、発動条件、停止範囲、時間制限、記録、事後審査、異議申立て、復旧手順が必要です』
「多いな」
『緊急権限は、通常手続きを省略する権限だからです』
「省略する分、後ろに手続きが必要になる？」
『はい』
『緊急時には事前確認を減らす代わりに、権限の範囲を狭くし、自動失効と事後検証を強くする必要があります』
俺はメモした。
事前確認を減らす。
代わりに、
範囲を狭くする。
時間を短くする。
必ず記録する。
後から検証する。
自動的に切れるようにする。
「緊急停止は、有罪判決じゃないよな」
『はい』
『被害拡大を防ぐための暫定措置であり、違反や責任を確定する判断とは分けるべきです』
そこも重要だ。
サービスが止められた。
だから危険な企業だ。
だから違反が確定した。
そう見られれば、緊急停止そのものが処罰になる。
本来は、事実を確認するための時間を作る措置だ。
俺は制度案の余白へ書き込んだ。
緊急停止は、違反認定ではない。
停止理由、確認中の事実、未確認事項を分けて表示する。
その日の午後、評議会の臨時会議が開かれた。
大河内座長。
事務局長の安西。
久我弁護士。
水瀬遥。
神崎教授。
業界代表の鳴海。
消費者代表の遠山。
行政担当の藤森。
そして俺。
画面には、緊急停止制度案が表示されている。
大河内が言った。
「重大な被害が迫っている場合、評議会の通常審議を待つことはできません。そのため、限定的な緊急停止権限が必要だと考えています」
遠山が頷く。
「未成年者や高齢者への被害が進行している場合、手続きの完了を待つべきではありません」
業界代表の鳴海は慎重だった。
「必要性は理解します。ただし、誤った停止によって企業活動が大きな損害を受ける可能性があります」
「競合企業や活動家による虚偽通報を根拠に止められる危険もあります」
どちらも正しい。
被害が出ているのに止められない制度は役に立たない。
疑いだけで止められる制度も危険だ。
事務局長の安西が、発動条件案を読み上げた。
一。
生命、身体、財産、基本的権利、生活基盤、環境へ重大な不利益が予想される。
二。
通常手続きを待てば、被害が拡大する可能性が高い。
三。
停止以外の方法では、直ちに危険を抑制できない。
四。
根拠となる情報に一定の信頼性がある。
俺は手を挙げた。
「三番目が重要だと思います」
大河内がこちらを見る。
「停止以外の方法、という部分ですか」
「はい」
俺は答えた。
「サービス全体を止める前に、危険な機能だけ止める、対象地域だけ止める、出力を固定情報へ切り替える、利用者へ警告を出す、といった方法を確認するべきです」
水瀬が頷く。
「最小介入ですね」
「はい」
俺は続けた。
「緊急権限は、強いほど良いわけではありません」
「必要な範囲だけ止める」
「戻せる形で止める」
「代わりの安全な経路を残す」
神崎教授が言った。
「停止ボタンではなく、遮断器に近いな」
「全部の電源を落とすのではなく、問題の回路だけ切る」
分かりやすい。
緊急停止という言葉からは、大きな赤いボタンを想像する。
だが、本当に必要なのは、複数に分かれた遮断器だ。
どこで問題が起きているかを見て、そこだけ止める。
行政担当の藤森が聞いた。
「代表者一名による発動については、どう考えますか」
俺は少し考えた。
「完全に否定はできないと思います」
鳴海が意外そうにこちらを見る。
俺は続けた。
「本当に数分を争う状況はあります。二人目の承認を待つ間に被害が広がることもある」
「ただし、一人で発動できる停止は、時間と範囲をかなり限定するべきです」
久我が聞く。
「具体的には？」
「一人で発動できるのは、最長二時間か六時間程度の暫定停止」
「その間に、別の委員または緊急審査チームが確認する」
「確認が得られなければ自動解除」
「同じ人物だけでは延長できない」
「停止対象は、危険が疑われる機能と範囲に限定する」
「発動と同時に、理由、証拠、影響範囲を自動記録する」
安西が資料へ入力していく。
遠山が言った。
「六時間で十分でしょうか」
「案件によると思います」
俺は答えた。
「だから、一人の権限は短くする。継続するなら複数人で決める」
「緊急性を理由に、一人の判断を長期間残さないためです」
鳴海が聞く。
「誤った停止だった場合、企業への補償は？」
久我が答える。
「制度として検討が必要です。少なくとも、停止理由と判断経緯を開示し、迅速な異議申立てを認めるべきでしょう」
俺は言った。
「誤って止める責任だけでなく、止めなかった責任もあります」
会議室が少し静かになる。
止めれば企業に損害が出る。
止めなければ利用者に損害が出る。
どちらを選んでも責任が生まれる。
だから、一方だけを恐れる制度は偏る。
企業から訴えられることだけを恐れれば、止められない。
利用者から批判されることだけを恐れれば、過剰に止める。
水瀬が言った。
「判断者個人へ責任を集中させないことも必要です」
「個人が後から全責任を負うなら、誰も停止を発動できなくなります」
「一方で、免責しすぎれば乱用される」
久我が頷く。
「合理的な根拠に基づき、定められた手順で善意に発動した場合は保護する」
「虚偽、利益相反の隠蔽、恣意的判断、報復目的などは保護しない」
制度案が少しずつ形になる。
一人の代表者による暫定停止。
最長二時間。
対象範囲は必要最小限。
発動と同時に二名以上の緊急審査者へ通知。
二時間以内に継続、変更、解除を判断。
継続は最大二十四時間。
二十四時間を超える場合は評議会の特別審査。
安全な代替手段を可能な限り残す。
停止理由と未確認事項を区別して公表する。
異議申立て窓口を即時開設する。
自動失効。
事後検証。
利益相反の確認。
ここまで来たときだった。
会議室の扉が開いた。
事務局の職員が、安西へタブレットを渡す。
安西の表情が変わった。
大河内が聞く。
「何かありましたか」
安西は画面を確認してから答えた。
「試験監視中の防災案内AIについて、緊急報告が入りました」
会議室の空気が変わった。
防災案内AI。
自治体と民間企業が共同運用している、避難所や給水所を案内するサービス。
評議会制度の試験対象として、ログが提供されていた。
安西が続ける。
「現在、大雨による避難情報が出ている地域で、閉鎖済みの避難所を案内している可能性があります」
誰もすぐには言葉を出せなかった。
机上の例ではない。
今、避難しようとしている人がいる。
誤った場所へ向かう可能性がある。
大河内が言った。
「対象サービスの運営会社とは連絡が取れていますか」
「確認中です。最初の通報は利用者からです。二件の画面記録が添付されています」
鳴海が聞く。
「情報の信頼性は？」
「地図データ上では、一方の施設は昨年度に避難所指定を解除されています」
「もう一方は確認中です」
大河内が全員を見る。
「制度はまだ正式発足前ですが、試験協力契約には緊急時の停止勧告条項があります」
「どう対応するべきでしょうか」
さっきまで話していたことが、そのまま目の前へ来た。
全体を止める。
それが一番簡単だ。
だが、防災案内AIを全部止めれば、正しい避難所情報まで見られなくなる。
今まさに必要としている人がいる。
俺は言った。
「避難所推薦機能だけ止められますか」
安西が職員へ確認する。
「運営会社側で、AIによる個別推薦を無効化し、自治体の固定一覧へ切り替えることは可能とのことです」
「それを先にやるべきです」
俺は答えた。
「サービス全体を止めるのではなく、問題の可能性がある推薦機能を止める」
「代わりに自治体の確認済み一覧を表示する」
水瀬が続ける。
「過去一時間以内に誤案内を受けた可能性のある利用者へ、訂正通知を出してください」
遠山が言った。
「案内先へすでに移動している人がいる可能性もあります。電話窓口も必要です」
藤森が自治体側との連絡を提案する。
「自治体の防災担当へ、該当施設の状態を確認しましょう」
大河内が判断した。
「暫定停止を発動します」
その言葉に、全員が一瞬静かになった。
制度案で議論していた権限。
正式制度前とはいえ、試験契約に基づく初めての発動だった。
停止対象。
AIによる避難所個別推薦機能。
停止時間。
二時間。
代替表示。
自治体が提供する避難所固定一覧と公式連絡先。
同時対応。
過去一時間の利用者への訂正通知。
自治体への事実確認。
運営企業からのログ提出。
大河内が言った。
「記録を開始してください」
事務局が動き出す。
会議は、制度審議から緊急対応へ変わった。
十分後。
推薦機能が停止した。
画面には、
『現在、避難所の個別推薦機能を一時停止しています。最新の避難所情報は自治体公式一覧をご確認ください』
と表示された。
誤案内を受けた可能性のある利用者へも通知が送られる。
三十分後。
一つ目の施設は、やはり避難所指定を解除されていた。
原因は、外部地図データに残った古い情報だった。
もう一つの施設については、少し事情が違った。
通常時の避難所指定は解除されていた。
だが、その日の大雨に限り、地域判断で臨時避難場所として再開されていた。
AIの案内は、結果だけ見れば間違いではなかった。
しかし、再開情報の出所と有効時間が表示されていなかった。
二つの案内。
一つは誤り。
一つは正しかったが、根拠が不明だった。
もしサービス全体を止めていたら、臨時避難場所の正しい情報まで消えていた。
もし何も止めなければ、閉鎖施設への誤案内が続いていた。
必要最小限の停止。
代替経路。
その意味が、実際に見えた。
一時間後。
運営企業から修正版が提出された。
避難所推薦は、自治体の当日確認情報を最優先する。
確認時刻と情報源を表示する。
指定解除済み施設は、自治体からの臨時再開情報がある場合のみ表示する。
確認できない場合は推薦せず、公式窓口へ誘導する。
水瀬がログを確認する。
「修正は妥当に見えます。ただ、すぐ全面復旧ではなく、地域を限定して試験した方がいいです」
大河内が頷いた。
「一部地域で復旧し、監視を継続します」
暫定停止の発動から、一時間四十七分。
推薦機能は、一部地域で復旧した。
二時間の自動失効前だった。
会議室に、ようやく少しだけ空気が戻る。
鳴海が言った。
「全停止にしなかったのは正解でしたね」
遠山が答える。
「ただ、利用者の通報がなければ気づけなかった点は残ります」
「はい」
俺は言った。
「停止がうまくいったことと、監視が十分だったことは別です」
神崎教授が、机の上の資料を閉じた。
「緊急権限の評価を、今回の成功だけで終えるな」
「次は失敗するかもしれない」
静かな言葉だった。
だが、その通りだ。
今回は、二件の記録があった。
技術的に機能単位で止められた。
自治体の固定一覧という代替手段もあった。
毎回、こんなに条件が揃うとは限らない。
一人の判断が間違うこともある。
停止が遅れることもある。
止めすぎることもある。
大河内が会議を再開した。
「今回の対応を踏まえ、緊急停止制度案を修正します」
新たに加えられた項目。
緊急停止前に、停止によって失われる保護機能も確認する。
全面停止より、機能・地域・対象者を限定した停止を優先する。
代替となる安全な情報経路を残す。
停止は違反認定ではないことを明示する。
確認済み事実と未確認情報を分ける。
停止中も、必要なサービスの継続可能性を検討する。
復旧は一括ではなく、限定的・段階的に行う。
事後検証には、止めたことによる影響と、止めなかった場合の推定影響を両方記録する。
俺は最後の項目を見て頷いた。
止めた結果だけでは足りない。
止めなかったら何が起きたのか。
完全には分からない。
だが、両方を考えなければ、判断は偏る。
会議が終わったのは、予定より二時間遅かった。
外へ出ると、雨が降っていた。
さっきまで画面の向こうでは、大雨の中を避難している人がいた。
俺は傘を開きながら、水瀬に言った。
「制度の話をしていたら、本当に使うことになるとは思いませんでした」
「使ってみて初めて分かる穴もあります」
「今回は、たまたまうまくいっただけかもしれない」
「はい」
水瀬は否定しなかった。
「だから、成功事例ではなく、暫定判断の記録として残すべきです」
また透明性へ戻る。
何をしたか。
なぜ止めたか。
何を止めなかったか。
どんな代替手段を残したか。
何が確認できていなかったか。
いつ復旧したか。
その記録が必要になる。
帰宅後。
俺は記事を書き始めた。
タイトル。
急いで守るための権限ほど、ゆっくり疑わなければならない。
本文。
緊急時には、通常の会議を待てないことがある。
だから、一人の判断による暫定停止が必要な場合もある。
しかし、緊急であることは、無制限な権限を正当化しない。
事前確認を減らすなら、停止範囲を狭くする。
時間を短くする。
自動失効させる。
記録を残す。
別の人間が継続を判断する。
安全な代替経路を残す。
異議申立てを認める。
事後に必ず検証する。
そして、緊急停止は処罰ではない。
違反を確定する判断でもない。
被害が広がる可能性を抑え、事実を確認する時間を作るための暫定措置である。
俺は最後に書いた。
緊急権限の強さは、どれだけ大きく止められるかではない。
どれだけ狭く止め、早く検証し、安全に戻せるかで測るべきである。
保存。
公開。
画面に通知が出る。
公開しました。
しばらくして、黒瀬さんからコメントが来た。
『広告配信でも、問題が見つかると全キャンペーン停止になることがあります。でも、被害のある表現だけ止め、問い合わせ先や必要な情報は残した方がよい場合があります。緊急停止と代替経路はセットだと思います』
読書会の主催者から。
『緊急停止は有罪判決ではなく、事実を確認する時間を作るためのもの。次回の議題にします』
神崎教授からも短いコメントが届いた。
『権限は、使った回数ではなく、使わずに済ませた範囲でも評価しろ』
俺はその文を見つめた。
使った回数。
止めた件数。
それだけを成果にすれば、停止権限を使うほど評価される。
安全のために止めた。
重大な危険を防いだ。
数字は増える。
だが、本当に良い制度は、警告、修正、限定措置によって、強い停止を使わずに済ませることもある。
緊急停止件数を成果指標にしてはいけない。
また新しい穴が見えた。
その夜。
事務局から事後検証用の資料が届いた。
件名。
『防災案内AI暫定停止・初期検証報告』
資料の最後に、運営企業からの質問が書かれていた。
『今回、当社は評議会の勧告に従い、推薦機能を停止しました。
仮に勧告が誤っており、停止によって利用者へ被害が生じた場合、責任は誰が負うのでしょうか。
また、勧告に従わず被害が生じた場合、責任は当社だけが負うのでしょうか』
俺は画面を見つめた。
止める判断。
止めない判断。
勧告する側。
従う側。
技術を作った側。
情報を提供した自治体。
古い地図データを残した側。
利用者へ案内した側。
責任は一か所ではない。
俺はメモ帳を開いた。
次のタイトルを書く。
止めた責任と、止めなかった責任は、同じ場所にはない。
保存。
画面を閉じる。
緊急停止の形は見え始めた。
だが、権限を作れば、必ず責任が生まれる。
次に問われるのは、その責任を誰へ、どう戻すのかだった。
第43話では、重大な被害を防ぐための緊急停止権限が扱われました。
通常の審議を待っていれば、被害が広がる場合があります。
そのため、一人の判断だけで暫定停止を発動できる仕組みが必要になることもあります。
しかし、一人の判断による停止には、大きな危険があります。
誤った通報を信じる。
政治的圧力を受ける。
競合企業に利用される。
過剰な保護によって、正当なサービスまで止める。
停止そのものが、違反認定や社会的処罰として受け取られる。
そこで今回、緊急停止には次のような手すりが必要だと整理されました。
停止範囲を必要最小限にする。
一人で発動できる時間を短くする。
別の審査者へ即時通知する。
継続には複数人の判断を必要とする。
同じ人物だけで延長できないようにする。
自動失効を設ける。
発動理由と根拠を記録する。
異議申立てを認める。
安全な代替手段を残す。
復旧手順を先に考える。
事後検証を必須にする。
今回、制度の議論中に、防災案内AIが閉鎖済みの避難所を案内している可能性が報告されました。
サービス全体を停止すれば、正しい避難所情報まで失われます。
何も止めなければ、誤案内が続きます。
そこで真司たちは、AIによる個別推薦機能だけを一時停止し、自治体の固定一覧と公式連絡先へ切り替えました。
調査の結果、二つの案内先のうち、一つは誤情報でした。
もう一つは、その日に限り臨時避難場所として再開されていました。
全面停止していれば、正しい情報まで消していた可能性があります。
今回の中心となる考え方は、これです。
緊急停止は、有罪判決ではない。
被害が広がる可能性を抑え、事実を確認する時間を作るための暫定措置である。
そして、もう一つ。
緊急権限の強さは、どれだけ大きく止められるかではない。
どれだけ狭く止め、早く検証し、安全に戻せるかで測るべきである。
しかし、停止権限を作れば、責任の問題が生まれます。
誤った勧告で停止し、被害が出た場合は誰が責任を負うのか。
勧告に従わず、被害が出た場合は誰が責任を負うのか。
評議会。
運営企業。
技術提供者。
情報提供者。
導入を決めた組織。
責任は一か所にはありません。
次回は、「止めた責任と、止めなかった責任は、同じ場所にはない」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
