第44話 止めた責任と、止めなかった責任は、同じ場所にはない
前回、人工叡智信頼評議会では、緊急停止権限について議論していました。
重大な被害が迫っているとき、通常の会議を待ってはいられない。
しかし、一人の判断でサービスを止められる権限は、強すぎれば新しい危険になります。
その議論の最中、防災案内AIが閉鎖済みの避難所を案内している可能性が報告されました。
真司たちは、サービス全体を止めるのではなく、AIによる避難所個別推薦機能だけを一時停止し、自治体の固定一覧と公式連絡先へ切り替えます。
結果として、一つの案内先は誤情報でした。
もう一つは、その日に限り臨時避難場所として再開されていました。
全面停止していれば、正しい情報まで消していた可能性があります。
何も止めなければ、誤案内が続いた可能性があります。
緊急停止は、有罪判決ではない。
被害が広がる可能性を抑え、事実を確認する時間を作るための暫定措置である。
しかし、停止権限を作れば、次に必ず責任の問題が生まれます。
誤って止めた場合、誰が責任を負うのか。
止めなかったことで被害が出た場合、誰が責任を負うのか。
評議会なのか。
運営企業なのか。
自治体なのか。
地図データ提供者なのか。
最終判断者なのか。
第44話では、止めた責任と、止めなかった責任の違いが問われます。
止めた責任と、止めなかった責任は、同じ場所にはない。
その一文を書いたあと、俺はしばらく画面を見つめていた。
責任。
嫌な言葉だ。
必要な言葉でもある。
誰かに押し付けると、ただの処罰になる。
全員へ広げすぎると、誰も責任を取らなくなる。
一か所へ集めすぎると、現場は萎縮する。
分けすぎると、責任は霧になる。
防災案内AIの暫定停止から一夜明けて、評議会事務局から初期検証報告が届いた。
運営企業からの質問が最後に書かれている。
『今回、当社は評議会の勧告に従い、推薦機能を停止しました。
仮に勧告が誤っており、停止によって利用者へ被害が生じた場合、責任は誰が負うのでしょうか。
また、勧告に従わず被害が生じた場合、責任は当社だけが負うのでしょうか』
真っ当な質問だった。
運営企業からすれば、評議会の勧告に従って機能を止めた。
その結果、必要な案内が届かなかったらどうなるのか。
逆に、評議会が止めろと言ったのに運営企業が止めず、被害が出たらどうなるのか。
責任は誰にあるのか。
俺はAIチャットを開いた。
緊急停止の責任って、どう整理すればいい？ 止めた責任と止めなかった責任がある。評議会、運営企業、自治体、地図データ提供者、それぞれ関わっている。
AIは答えた。
『責任を一つにまとめるのではなく、責任の種類を分ける必要があります』
「種類？」
『はい』
『判断責任、実装責任、情報提供責任、監視責任、説明責任、修復責任です』
俺はメモ帳を開いた。
判断責任。
実装責任。
情報提供責任。
監視責任。
説明責任。
修復責任。
「また増えた」
『責任を分けなければ、過剰な責任集中か、責任消失が起きます』
「責任消失」
嫌な言葉だ。
だが、よくある。
みんな関わっていた。
だから誰も悪くない。
システムの問題だった。
だから個人の責任ではない。
外部データが悪かった。
だから運営側ではない。
自治体情報が古かった。
だからAI企業ではない。
評議会の勧告に従った。
だから自社ではない。
そうやって、責任は少しずつ薄められる。
最後には、誰も責任を持たない。
それは駄目だ。
だが、反対に、最後にボタンを押した人だけを責めるのも違う。
緊急停止を勧告した評議会。
勧告を受けて操作した運営企業。
古い地図情報を残していたデータ提供者。
避難所指定解除を周知しきれていなかった自治体。
臨時開設情報を出したが、機械可読な形では提供していなかった現地担当。
それぞれに別の責任がある。
俺はAIへ続けて入力した。
責任を分けると、責任逃れにならないか？
『その危険があります』
「じゃあ、どう防ぐ？」
『責任分担を、免責のためではなく、行動義務のために設計することです』
「行動義務」
『はい』
『誰が何をすべきだったのか』
『誰が何を知り得たのか』
『誰が何を止められたのか』
『誰が誰に説明すべきなのか』
『誰が何を修復すべきなのか』
『それらを明確にするために責任を分けます』
俺は、その一文をメモした。
責任を分けるのは、逃がすためではない。
戻すためだ。
第35話でも同じことを書いた。
人を裁かないとは、責任を消すことではない。
責任を、正しい場所へ戻すことである。
今回は、その応用だ。
ただし、相手は人だけではなく、組織とデータと制度だった。
その日の午後。
防災案内AIの事後検証会議が開かれた。
参加者は多かった。
人工叡智信頼評議会から、大河内座長、安西事務局長、久我弁護士、水瀬、神崎教授、俺。
運営企業から、プロダクト責任者の榊原。
技術責任者の小森。
自治体側から、防災課の柳沢。
外部地図データ会社から、データ連携責任者の椎名。
オンライン画面には、関係者の顔がずらりと並んだ。
多い。
そして、全員が少し硬い顔をしている。
大河内が冒頭で言った。
「本日は、昨日の防災案内AI暫定停止について、事実確認と責任分担、再発防止を検討します」
榊原がすぐに発言した。
「まず、当社としては、評議会の勧告に従い、推薦機能を停止しました。利用者保護のために必要な措置だったと理解しています」
「一方で、今後も同様の勧告が出た場合、従うことで別の被害が生じる可能性があります。その責任の整理が必要です」
落ち着いた声だったが、当然の懸念だった。
自治体の柳沢が言う。
「自治体としても、公式避難所情報の提供に不備があった可能性は認識しています。ただ、現場では災害対応中で、全情報を即時に機械可読形式へ反映するのは難しい面があります」
地図データ会社の椎名も続けた。
「弊社のデータに、指定解除済み施設が残っていたことは確認しています。ただ、防災用途として使われる場合、通常地図データだけではなく、自治体の最新防災情報との照合が必要です」
それぞれが言っていることは、間違っていない。
運営企業は、サービスを止めた責任を気にしている。
自治体は、災害現場での情報更新の限界を説明している。
地図データ会社は、用途に応じた照合の必要性を主張している。
全員が、責任を逃げているようにも見える。
だが、同時に、全員が本当に一部しか持っていない。
神崎教授が静かに言った。
「最初に確認しておくべきことがある」
画面の全員が教授を見る。
「これは、誰か一者の過失だけを探す会議ではない」
「だが、誰も責任を負わない会議でもない」
重い一言だった。
久我弁護士が続ける。
「法的責任の確定には別途手続きが必要です。本日は制度上の責任、つまり誰がどの行動義務を持つべきだったかを整理します」
制度上の責任。
行動義務。
俺はメモを取る。
大河内が事実関係を確認した。
一つ目。
閉鎖済み避難所が、AI推薦候補に含まれていた。
原因は、外部地図データに古い避難所情報が残っていたこと。
二つ目。
運営企業のシステムは、自治体の最新防災情報よりも、地図データ上の施設情報を優先していた。
三つ目。
別の案内先は、その日に限り臨時避難場所として再開されていた。
ただし、再開情報は自治体の人間向け告知には載っていたが、AIが参照する形式にはなっていなかった。
四つ目。
利用者からの通報がなければ、評議会の試験監視側は気づけなかった。
五つ目。
暫定停止は、サービス全体ではなくAI推薦機能に限定された。
六つ目。
代替として自治体公式一覧と電話窓口が表示された。
七つ目。
過去一時間の利用者へ訂正通知が送られた。
事実を並べると、責任の線が少し見えてくる。
俺は手を挙げた。
「責任を、原因別ではなく行動別に整理した方がいいと思います」
大河内が頷く。
「お願いします」
「たとえば、古いデータが残っていた責任と、そのデータを防災推薦に使った責任は同じではありません」
椎名が少し表情を変える。
俺は続けた。
「地図データ会社には、提供データの更新と用途表示の責任があると思います」
「ただし、通常地図情報をそのまま災害時の避難推薦へ使う判断をしたのは運営企業です」
小森が頷いた。
「そこは当社の設計責任です」
「自治体には、最新情報の提供責任があります」
俺は柳沢を見る。
「でも、災害時にすべてを即時に機械可読形式へ変換できない現実もある」
柳沢が頷く。
「はい」
「なら、運営側は、機械可読情報だけを信じるのではなく、確認不能な情報を推薦しない設計にする必要があると思います」
水瀬が言った。
「不確実性の表示も必要です」
「確認済み」
「臨時開設」
「確認時刻」
「情報源」
「不明なら推薦ではなく問い合わせへ誘導する」
小森がメモを取る。
「実装できます」
神崎教授が言った。
「評議会の責任はどうする」
そこだ。
俺は少し息を吸った。
「評議会には、緊急停止を勧告した判断責任と、その判断を記録・説明・検証する責任があります」
「ただし、運営企業のシステム設計責任や、自治体の情報提供責任を肩代わりするわけではない」
久我が補足する。
「評議会が勧告したからといって、運営企業が一切免責されるわけではありません」
榊原の表情が少し硬くなる。
久我は続けた。
「一方で、評議会の勧告に合理的根拠があり、運営企業がそれに従って必要最小限の停止を行った場合、その停止判断について運営企業だけへ責任を集中させるべきではない」
「つまり、勧告する側も責任を持つ」
大河内が言った。
「はい」
俺は頷いた。
「責任を共有する。ただし、同じ責任を共有するのではなく、別々の責任を持つ」
その言葉を言った瞬間、今回の中心が少し見えた。
責任共有とは、同じ責任を全員で薄めることではない。
異なる責任を、それぞれが引き受けることだ。
安西がホワイトボードへ整理を書き始めた。
データ提供者。
提供データの更新。
用途制限や注意情報の表示。
古いデータの訂正窓口。
自治体。
最新避難所情報の公開。
臨時開設情報の明示。
人間向け情報と機械向け情報の差を減らす努力。
公式窓口の維持。
運営企業。
複数データの優先順位設計。
不確実情報を推薦しない設計。
確認時刻と情報源の表示。
誤案内時の通知。
緊急停止操作。
復旧判断。
評議会。
緊急勧告の根拠確認。
停止範囲の最小化。
勧告理由の記録。
未確認事項の明示。
事後検証。
制度改善。
利用者通報窓口。
通報受理。
通報者保護。
追加確認。
対応状況の通知。
榊原が言った。
「勧告に従うかどうかの最終判断は、運営企業にあるのでしょうか」
大河内が少し考える。
久我が答えた。
「原則として、サービス運用主体は運営企業です。勧告は勧告であり、最終的な実装判断は運営企業に残ります」
榊原は頷きかけた。
だが、遠山がいない今日は、消費者側の声が少し弱い。
俺は口を開いた。
「ただし、勧告に従わない場合は、理由を記録し、代替措置を示す必要があると思います」
小森が聞く。
「即時に？」
「はい」
俺は答えた。
「緊急勧告を受けたが、全停止はしない。その代わり、警告表示を出す、対象地域を絞る、自治体窓口へ誘導する。そういう代替措置を記録する」
「何もしないなら、なぜ何もしないのかも記録する」
神崎教授が言う。
「従う責任と、従わない責任だな」
「はい」
勧告に従えば、止めた責任が生まれる。
勧告に従わなければ、止めなかった責任が生まれる。
どちらも選択だ。
そして、どちらにも理由が必要だ。
柳沢が言った。
「自治体としても、AIサービス側から問い合わせが来たとき、災害対応で即時に答えられない場合があります。その場合、AI側はどう扱うべきでしょうか」
水瀬が答えた。
「確認できない情報は、確認済みとして推薦しない」
「ただし、完全に消すのではなく、『未確認』『自治体へ確認中』『公式窓口へ問い合わせ』と表示する選択肢があります」
小森が頷く。
「確認不能を、情報なしと扱わない」
「そうです」
俺は言った。
「不確実性を隠すから、誤信が起きる」
AIが自信満々に言うと、人は信じる。
だから、分からないことを分からないと表示する必要がある。
会議の後半。
責任分担表の名称が問題になった。
事務局案。
責任分担表。
神崎教授が首を振る。
「分担表だけでは、責任を切り分けて逃げる印象がある」
俺は言った。
「責任地図はどうですか」
安西が聞く。
「責任地図」
「はい」
「誰が悪いかを一列に並べるのではなく、判断、情報、実装、監視、説明、修復がどこにあるのかを示す地図です」
「事故が起きたとき、どこが抜けていたのか分かるようにする」
水瀬が頷く。
「責任地図には、事前の行動義務と、事後の修復義務を分けて書くとよいと思います」
安西がホワイトボードを修正する。
責任地図。
事前責任。
データ更新。
用途確認。
優先順位設計。
不確実性表示。
通報窓口。
緊急停止手順。
発生時責任。
暫定停止判断。
代替経路表示。
訂正通知。
自治体確認。
ログ保存。
利用者対応。
事後責任。
原因分析。
影響評価。
修復対応。
再発防止。
公表範囲決定。
制度更新。
かなり分かりやすくなった。
榊原が画面を見ながら言った。
「これなら、当社がどこを持つべきか分かります」
椎名も言う。
「弊社も、防災用途での利用時に注意表示を出す義務があると整理できます」
柳沢は少し難しい顔をしていた。
「自治体側の負担も増えますね」
「はい」
水瀬が答えた。
「ただ、全部を自治体単独で担うのではなく、機械可読化の支援や、民間側の確認設計も必要です」
俺は言った。
「責任地図は、負担を押し付けるためではなく、支援が必要な場所を見つけるためにも使うべきだと思います」
柳沢が少し表情を緩めた。
「それなら、現場としても受け入れやすいです」
責任を示すと、人は身構える。
責められると思うからだ。
だが、責任地図が支援地図にもなるなら、意味が変わる。
どこに負担が集中しているか。
どこに情報の断絶があるか。
どこに人手が足りないか。
どこに技術支援が必要か。
責任は、責めるためだけにあるのではない。
支える場所を見つけるためにもある。
大河内が会議をまとめた。
「今回の暫定停止について、評議会は緊急勧告の根拠と判断過程を公開します」
「運営企業は、避難所推薦機能のデータ優先順位、情報源表示、不確実性表示を修正します」
「自治体と運営企業は、臨時避難所情報の機械可読化について協議します」
「地図データ会社は、防災用途で使用される可能性がある施設情報の更新頻度と注意表示を見直します」
「次回までに、責任地図 v0.1を作成します」
会議が終わった。
画面が消える。
俺は椅子にもたれた。
疲れた。
だが、今回は少しだけ、形が見えた気がした。
責任地図。
悪者探しではない。
免責表でもない。
誰が、何を、いつ、どこまで持つのか。
そして、どこに支援が必要なのか。
それを見えるようにする地図。
AIチャットに入力する。
責任地図という形になった。判断責任、情報提供責任、実装責任、監視責任、説明責任、修復責任を分ける。責任を薄めるためではなく、正しい場所へ戻すため。
AIは答えた。
『重要な整理です』
「ただ、責任を分けすぎると逃げ道にならないか？」
『なります』
「やっぱりか」
『そのため、責任地図には、各主体の行動義務、記録義務、説明義務、連携義務を明記する必要があります』
「名前だけの地図では駄目」
『はい』
『誰が責任を持つかだけでなく、何をすれば責任を果たしたといえるのか、何を怠れば責任が問われるのかを示す必要があります』
俺は頷いた。
責任がある。
それだけでは足りない。
責任を果たす行動が必要だ。
俺は記事を書き始めた。
タイトル。
止めた責任と、止めなかった責任は、同じ場所にはない。
本文。
緊急時の判断では、止めることにも責任がある。
止めないことにも責任がある。
しかし、それらは同じ責任ではない。
止める側には、根拠、範囲、時間、代替経路、説明、復旧の責任がある。
止めない側には、なぜ止めないのか、どの代替措置を取るのか、どのリスクを受け入れるのかを説明する責任がある。
情報を提供する側には、更新と用途表示の責任がある。
サービスを運営する側には、データの優先順位、不確実性表示、誤案内時の通知の責任がある。
制度側には、勧告の根拠、停止範囲の最小化、事後検証の責任がある。
責任共有とは、同じ責任を全員で薄めることではない。
異なる責任を、それぞれが引き受けることである。
俺は最後に書いた。
責任地図は、誰かを責めるための地図ではない。
責任を消さず、押し付けず、必要な支援と修復を見つけるための地図である。
保存。
公開。
画面に通知が出る。
公開しました。
しばらくして、黒瀬さんからコメントが来た。
『広告でも、代理店、広告主、媒体、データ提供会社、AIツール会社で責任が分かれます。責任地図がないと、最後は現場担当者だけが怒られます。あるいは、全員が「自分だけではない」と言って終わります』
水瀬からもコメントが届いた。
『責任地図は、責任分散と責任消失を分けるために必要だと思います。特に、支援が必要な場所を見つけるという視点は重要です』
神崎教授からは、いつものように短いコメントだった。
『地図を持つ者は、地図にない道を無視し始める』
「また次の問題を投げてきた……」
だが、たしかにそうだ。
責任地図を作れば、見える範囲は整理される。
だが、地図にない責任は消えたように見える。
想定していない主体。
記録されていない情報。
誰の欄にも入らない小さな判断。
そこに事故が潜むかもしれない。
その夜。
評議会事務局から、責任地図 v0.1のたたき台が届いた。
表は整っていた。
データ提供者。
自治体。
運営企業。
評議会。
利用者通報窓口。
それぞれの責任が書かれている。
だが、俺は一つの欄で止まった。
利用者。
責任項目。
公式情報を確認する。
不審な案内を通報する。
自己判断で避難行動を行う。
俺は眉を寄せた。
災害時に、利用者へそこまで求めるのか。
避難中の高齢者。
スマホの操作に慣れていない人。
夜の雨の中で移動している人。
不安で判断力が狭まっている人。
その人たちへ、
「公式情報を確認してください」
「自己判断で避難してください」
と言って、責任を戻すのか。
もちろん、利用者にも判断はある。
だが、災害時に過剰な責任を利用者へ戻せば、それは支援ではなく突き放しになる。
俺はメモ帳を開いた。
次のタイトルを書く。
利用者の自己責任に戻した瞬間、支援は突き放しになる。
保存。
画面を閉じる。
責任地図は必要だ。
だが、その地図は、弱い立場へ責任を戻す道具にもなり得る。
次の問いは、すでに地図の中に書かれていた。
第44話では、防災案内AIの暫定停止をきっかけに、責任の所在が扱われました。
緊急停止には、止める責任があります。
しかし、止めなかった場合にも責任があります。
今回の防災案内AIには、複数の主体が関わっていました。
運営企業。
自治体。
外部地図データ会社。
人工叡智信頼評議会。
利用者通報窓口。
古い避難所情報が残っていたこと。
それを防災推薦に使う設計だったこと。
自治体の臨時避難所情報が機械可読形式ではなかったこと。
利用者からの通報がなければ気づけなかったこと。
それぞれの問題は、一か所だけに押し込められるものではありません。
そこで真司たちは、責任を一つにまとめるのではなく、種類ごとに分けました。
判断責任。
実装責任。
情報提供責任。
監視責任。
説明責任。
修復責任。
ただし、責任を分けることは、責任逃れではありません。
今回の中心となる整理は、これです。
責任共有とは、同じ責任を全員で薄めることではない。
異なる責任を、それぞれが引き受けることである。
そのために、「責任地図」という考え方が出てきました。
責任地図は、誰かを責めるための地図ではありません。
また、誰かを免責するための表でもありません。
誰が、何を、いつ、どこまで持つのか。
どこに情報の断絶があるのか。
どこに支援が必要なのか。
どこに修復の義務があるのか。
それを見えるようにするための地図です。
しかし、最後に新しい問題が出ました。
責任地図 v0.1では、利用者にも次の責任が書かれていました。
公式情報を確認する。
不審な案内を通報する。
自己判断で避難行動を行う。
もちろん、利用者の判断も大切です。
しかし、災害時の高齢者や、スマホ操作に慣れない人、不安の中で避難している人へ過剰に責任を戻せば、支援は突き放しになります。
次回は、「利用者の自己責任に戻した瞬間、支援は突き放しになる」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
