第46話 支援しすぎたAIは、人から判断を奪う
前回、防災案内AIの責任地図では、「利用者の自己責任」という言葉が問い直されました。
災害時の利用者は、落ち着いて公式情報を確認できるとは限りません。
高齢者。
スマホ操作に慣れていない人。
夜間や大雨の中で避難している人。
不安や焦りで判断力が狭まっている人。
そのような人たちへ、
公式情報を確認してください。
不審な案内は通報してください。
最終判断は利用者です。
と書くだけでは、支援ではなく突き放しになります。
そこで真司たちは、「利用者に期待できる行動」と「サービス側が提供すべき判断可能性」を分けました。
利用者へ判断を求めるなら、判断できる状態を支える必要がある。
公式情報を表示する。
確認時刻と情報源を示す。
不確実な情報を推薦として出さない。
訂正があれば通知する。
電話窓口や家族共有を用意する。
自己責任とは、支援する側が責任を降ろすための言葉ではない。
利用者が判断できる状態を支えたあとに、なお残る選択のことである。
しかし、運営企業から届いた新しい画面案には、次の機能が追加されていました。
『安全な避難先を自動選択する』
便利です。
迷わずに済みます。
高齢者や不慣れな人には助かるかもしれません。
けれど、支援しすぎたAIは、人から判断する機会を奪うことがあります。
第46話では、「判断を支えること」と「判断を奪うこと」の境界を扱います。
支援しすぎたAIは、人から判断を奪う。
その一文を書いたあと、俺は運営企業の小森さんから届いた画面案を見直した。
『安全な避難先を自動選択する』
利用者の現在地。
年齢。
歩行速度。
家族構成。
過去の避難履歴。
それらをもとに、最も安全と思われる避難先を自動で選ぶ。
画面には、大きな文字でこう表示されていた。
『あなたに最適な避難先はこちらです』
避難所名。
経路。
所要時間。
開設状況。
確認時刻。
情報源。
かなり分かりやすい。
前回までに議論した、確認時刻や情報源もちゃんと表示されている。
文字も大きい。
電話番号もある。
家族共有ボタンもある。
高齢者向けの簡易表示もある。
かなり良くなっている。
だが、だからこそ危ない。
画面が分かりやすくなったことで、利用者は余計に信じる。
『あなたに最適』
『自動選択』
『安全な避難先』
その言葉が並んだ瞬間、人間の判断は後ろへ下がる。
俺はAIチャットを開いた。
防災案内AIに「安全な避難先を自動選択する」機能が追加された。便利だけど、人から判断を奪う危険がある気がする。
AIは答えた。
『懸念は妥当です』
「どこが一番危ない？」
『「安全」の定義が見えないまま、AIが一つの選択肢を最適解として提示する点です』
「安全の定義」
『はい』
『最短距離を安全とするのか』
『浸水リスクの低さを安全とするのか』
『坂道や階段の少なさを安全とするのか』
『混雑の少なさを安全とするのか』
『家族と合流しやすいことを安全とするのか』
『医療支援やトイレ設備があることを安全とするのか』
『ペット同行や持病への対応を安全とするのか』
俺はメモした。
安全は一つではない。
たしかにそうだ。
近い避難所が安全とは限らない。
遠い避難所が危険とも限らない。
高台にある方がよい場合もある。
足腰が弱い人には坂道が危険な場合もある。
家族と合流できる場所が安全な場合もある。
一人で歩くより、近所の人と一緒に行ける場所の方が安全かもしれない。
AIが何を重視したのか分からないまま、
『最適』
と表示されたら、利用者はその選択を正解だと思う。
俺は続けて聞いた。
じゃあ、自動選択はやめるべき？
『完全に否定する必要はありません』
「そうなのか」
『災害時には、選択肢が多すぎること自体が負担になる場合があります』
『ただし、自動選択ではなく、理由付きの推奨、複数選択肢、確認可能性、変更可能性を組み合わせる方が安全です』
「一つに決めない」
『はい』
『AIが判断を代行するのではなく、判断材料を整理する支援に留めることが望ましい場面が多いです』
俺は椅子にもたれた。
判断材料を整理する。
判断を代行しない。
それが境界だ。
前回は、利用者へ責任を戻しすぎる危険を見た。
今回は、AIが判断を奪いすぎる危険を見る。
反対側の崖だ。
自己責任へ突き放す。
AIが全部決める。
どちらも違う。
必要なのは、その間にある手すりだ。
翌日。
防災案内AIの画面改修会議が開かれた。
参加者は、運営企業の榊原、小森。
自治体の柳沢。
防災士の片桐。
高齢者の家族として参加している三浦沙織。
評議会からは、大河内、水瀬、神崎教授、俺。
会議の冒頭、小森が新機能を説明した。
「前回の議論を受け、利用者が判断に迷わないよう、自動選択機能を試作しました」
画面が共有される。
大きなボタン。
『安全な避難先を自動選択』
押すと、一つの避難所が表示される。
『あなたに最適な避難先』
所要時間、道順、混雑状況、開設状況。
説明は分かりやすい。
かなり便利だ。
三浦が画面を見て言った。
「母には、この方が分かりやすいと思います」
その言葉に、俺は少し迷った。
実際に利用する高齢者の家族が、分かりやすいと言っている。
俺の懸念は、机上の理屈かもしれない。
しかし、片桐が別の視点を出した。
「分かりやすいのは確かです。ただ、地域の避難では、最短の避難所が最適とは限りません」
「近所の人と一緒に行く方が安全な場合もあります」
「道が暗い、坂がある、水が溜まりやすい、夜は見えにくい。そういう情報は、地図だけでは分かりません」
柳沢も頷いた。
「自治体としても、一つだけを最適と出されると困る場合があります」
「避難所ごとの受け入れ状況は変わりますし、同じ場所へ利用者が集中する可能性もあります」
榊原が反応する。
「集中については、混雑状況を反映する予定です」
水瀬が聞いた。
「その混雑状況は、どの頻度で更新されますか」
小森が答える。
「十分ごとを想定しています」
「災害時に、十分前の混雑情報で十分でしょうか」
小森は一瞬黙った。
「状況によります」
「はい。だから、最適という言葉は強すぎます」
水瀬は静かに言った。
「AIが最適と表示した瞬間、その不確実性が見えにくくなります」
俺は続けた。
「安全という言葉も強いです」
榊原がこちらを見る。
「では、どう表現すべきでしょうか」
「AIが判断した安全な避難先、ではなく、条件別の候補だと思います」
「条件別」
「はい」
俺はメモを見ながら言った。
「近さを優先する候補」
「浸水リスクの低さを優先する候補」
「坂や階段が少ない候補」
「医療支援やトイレ設備がある候補」
「家族と共有しやすい候補」
「自治体が現在推奨している候補」
「そういう形で、何を重視した候補なのかを見せる」
三浦が少し考える。
「でも、候補が多すぎると母は迷います」
「そこは確かに問題です」
俺は答えた。
「だから、全部を並べるのではなく、最大三つくらいに絞る」
片桐が言った。
「三つなら現実的です」
「一番近い場所」
「安全確認が強い場所」
「支援が受けやすい場所」
「その三つがあれば、家族や近所の人とも相談しやすいです」
小森が画面を修正しながら言った。
「自動選択ではなく、三候補表示ですね」
「ただ、高齢者向け簡易モードでは、一つだけ出す方が分かりやすいかもしれません」
そこで神崎教授が口を開いた。
「一つしか出さないなら、その一つが何を犠牲にしたかも出せ」
会議室が少し静かになる。
教授は続けた。
「近さを選んだなら、混雑や坂道はどうなのか」
「浸水リスクを避けたなら、距離はどうなのか」
「医療支援を優先したなら、到着までの時間はどうなのか」
「最適という言葉は、犠牲を隠す」
最適という言葉は、犠牲を隠す。
俺はすぐにメモした。
それだ。
AIが最適と出すと、他の選択肢で失ったものが見えない。
最短を選べば、設備を犠牲にしたかもしれない。
設備を選べば、距離を犠牲にしたかもしれない。
混雑を避ければ、家族との合流しやすさを犠牲にしたかもしれない。
判断とは、何かを選び、何かを選ばないことだ。
AIが選ばなかったものを隠すなら、それは判断支援ではない。
判断の透明性を奪っている。
小森が画面に新しい案を出した。
『おすすめ候補』
候補A。
近い。徒歩八分。
ただし、坂道あり。
候補B。
浸水リスクが低い。徒歩十五分。
ただし、混雑の可能性あり。
候補C。
医療支援あり。徒歩二十二分。
ただし、距離が長い。
三浦が画面を見て言った。
「これなら、私が母に電話で説明できます」
「一番近いけど坂があるよ、と言えます」
片桐も頷く。
「地域の避難支援でも使いやすいです」
水瀬が言った。
「AIが選ぶのではなく、比較しやすくする」
「はい」
俺は頷いた。
「判断を奪うのではなく、判断の形を整える」
榊原が聞く。
「ただ、利用者が本当に操作できない場合はどうでしょうか」
「たとえば、視覚障害がある方や、パニック状態の方、一人暮らしで支援者へ連絡できない方」
「その場合も、AIが一つに絞ってはいけませんか」
難しい。
本当に操作できないなら、選択肢が多いことが危険になる。
その場合、AIが強く推薦する意味はある。
でも、それは通常モードと同じではいけない。
俺は考えながら答えた。
「非常時支援モードとして分けるべきだと思います」
「通常は候補を比較できる形」
「利用者が操作困難、時間的猶予がない、危険が迫っている場合は、AIが一つを強く推薦する」
「ただし、その場合でも、理由と不確実性を読み上げる」
「可能なら家族や支援者へ同時通知する」
「あとから、なぜその候補を出したのか記録を残す」
久我はいないが、法務の話になりそうな内容だ。
水瀬が補足する。
「非常時支援モードの発動条件も必要です」
「利用者が自分で選んだのか」
「事前に設定していたのか」
「支援者が切り替えたのか」
「AIが状況から切り替えたのか」
「それを記録する必要があります」
小森がメモを取る。
「自動切り替えは慎重にした方がよさそうですね」
神崎教授が言った。
「便利さの名で、人間の権限を静かに奪うな」
厳しい。
でも、その通りだ。
AIが自動で非常時モードへ入る。
AIが自動で避難先を一つに決める。
AIが自動で家族へ通知する。
全部、利用者のために見える。
だが、本人が知らないところで判断権が移る。
それは支援ではなく、管理に近づく。
会議は、画面仕様から制度要件へ進んだ。
新たに追加されたのは、「判断支援設計原則」だった。
一。
AIは原則として、一つの最適解ではなく、理由付き候補を提示する。
二。
候補には、重視した条件と犠牲になった条件を表示する。
三。
「安全」「最適」などの強い表現は、根拠と限界を伴わない限り使わない。
四。
利用者が選べる状態では、AIは選択を代行しない。
五。
操作困難や時間的猶予がない場合に限り、非常時支援モードを使える。
六。
非常時支援モードでは、発動条件、理由、不確実性、通知先、記録を明示する。
七。
支援者や家族への共有は、本人の事前設定または明確な緊急条件に基づく。
八。
AIの推薦に従わない選択肢も残す。
九。
利用者が後から、なぜその推薦が出たか確認できるようにする。
十。
過度な自動化によって、利用者の判断能力を長期的に弱めないようにする。
最後の項目で、榊原が聞いた。
「判断能力を長期的に弱めない、というのは評価が難しいですね」
「難しいです」
俺は答えた。
「でも、入れておきたいです」
「AIが毎回決めると、人間は考えなくなる」
「最初は楽になる」
「でも、そのうち選び方を忘れる」
「災害時だけでなく、金融、医療、教育、進路、仕事でも同じです」
水瀬が頷く。
「判断支援AIは、短期的には負担を減らします」
「しかし、長期的には判断力の外部化を進める可能性があります」
判断力の外部化。
また重い言葉が出てきた。
俺は、その言葉をメモした。
AIが便利になるほど、人間は考えなくてよくなる。
考えなくてよくなるほど、考える筋力が落ちる。
そして、いざAIが間違ったとき、疑えなくなる。
支援のはずが、依存になる。
支援しすぎたAIは、人から判断を奪う。
会議の最後に、三浦が言った。
「母には、全部決めてくれるAIの方が楽かもしれません」
「でも、母はまだ自分で決めたい人です」
「一緒に見て、相談できる画面がある方がいいと思います」
その言葉で、今回の答えが少し見えた。
支援とは、本人の代わりにすべて決めることではない。
本人がまだ持っている判断を、できるだけ残すこと。
必要なときだけ支えること。
それでも危険なときには、理由を残して介入すること。
本人が持っている力を奪わないこと。
会議が終わったあと、俺は水瀬と少しだけ話した。
「自己責任に戻しすぎても駄目。AIが決めすぎても駄目」
「はい」
水瀬は頷いた。
「人工叡智らしい難しさですね」
「真ん中を探す話ばかりですね」
「真ん中というより、状況に応じて位置を変える手すりです」
「動く手すり」
「はい」
いい言葉だった。
固定された中間ではない。
状況に応じて、支援を強めたり弱めたりする。
ただし、その切り替えをAIだけへ任せない。
理由と記録を残す。
本人や支援者が確認できる。
支援は、動く手すりである。
帰宅後。
俺は記事を書き始めた。
タイトル。
支援しすぎたAIは、人から判断を奪う。
本文。
利用者を自己責任へ突き放すことは危険である。
しかし、その反対に、AIがすべてを選んでしまうことも危険である。
安全な避難先。
最適な進路。
あなたに合った治療。
今すべき投資。
最も良い働き方。
AIがそう言えば、人は考えなくなる。
疑わなくなる。
選ばなかった条件が見えなくなる。
近さを選んだ代わりに、設備を捨てたのか。
安全性を選んだ代わりに、距離を受け入れたのか。
混雑回避を選んだ代わりに、家族との合流を難しくしたのか。
最適という言葉は、犠牲を隠す。
AIがすべきことは、判断を奪うことではない。
選択肢を整理すること。
理由を示すこと。
不確実性を示すこと。
何を重視し、何を犠牲にしたかを見せること。
本人が選べる状態では、選ぶ力を残すこと。
本人が選べない状態では、介入の理由と範囲を記録すること。
俺は最後に書いた。
支援とは、本人の判断を消すことではない。
本人がまだ持っている判断を、最後まで残すための手すりである。
保存。
公開。
画面に通知が出る。
公開しました。
しばらくして、黒瀬さんからコメントが来た。
『広告の世界でも、AIが「最適な訴求」を出すと、人間はそれを疑わなくなります。なぜそれが最適なのか、何を犠牲にしたのかが見えないと危険ですね』
読書会の主催者からも届いた。
『最適という言葉は、犠牲を隠す。次回の議題にします』
神崎教授からは、短いコメントだった。
『人間から迷いを奪えば、同時に責任の感覚も奪う』
俺は、その文を何度か読み返した。
迷い。
今まで、迷いは邪魔なものだと思っていた。
不安で、面倒で、時間がかかるもの。
だが、迷うからこそ、人は自分が選んでいると分かる。
何かを選び、何かを選ばなかったと知る。
その感覚が、責任の入口なのかもしれない。
その夜。
運営企業の小森から、改訂版の画面案が届いた。
自動選択ボタンは消えていた。
代わりに、
『候補を比較する』
というボタンになっていた。
候補A。近い。坂道あり。
候補B。浸水リスク低い。混雑可能性あり。
候補C。支援設備あり。距離が長い。
かなり良い。
だが、画面下部に新しい項目が追加されていた。
『迷ったときは、AIに決めてもらう』
俺は、思わず笑ってしまった。
「戻ってきたな……」
便利さは、何度でも戻ってくる。
利用者も求める。
企業も出したい。
AIも作れる。
迷うのは苦しい。
決めてもらうのは楽だ。
だが、そこに新しい問いがある。
迷ったとき、人は本当にAIに決めてもらいたいのか。
それとも、決められるだけの支えがほしいのか。
俺はメモ帳を開いた。
次のタイトルを書く。
迷いを消すのではなく、迷えるだけの余白を残す。
保存。
画面を閉じる。
支援しすぎたAIは、人から判断を奪う。
だが、人はいつも判断したいわけではない。
迷うことが苦しいとき、AIに決めてほしくなる。
人工叡智は、次に「迷い」という、人間に残すべき不便さへ向かおうとしていた。
あとがき
第46話では、防災案内AIに追加された「安全な避難先を自動選択する」機能が扱われました。
前回、利用者を自己責任へ突き放してはいけないと整理されました。
しかし、その反対側には、AIが支援しすぎて人間の判断を奪う危険があります。
今回の問題は、「安全」や「最適」という言葉でした。
安全とは一つではありません。
近いこと。
浸水リスクが低いこと。
坂道や階段が少ないこと。
混雑していないこと。
家族と合流しやすいこと。
医療支援やトイレ設備があること。
ペットや持病に対応できること。
何を重視するかによって、安全な避難先は変わります。
AIが一つだけを「最適」と表示すると、利用者はその選択を正解だと受け取りやすくなります。
しかし、最適という言葉は、犠牲を隠します。
近さを選べば、設備を犠牲にしたかもしれません。
設備を選べば、距離を犠牲にしたかもしれません。
混雑回避を選べば、家族との合流しやすさを犠牲にしたかもしれません。
そのため、制度には「判断支援設計原則」が追加されました。
AIは原則として、一つの最適解ではなく、理由付き候補を提示する。
候補には、重視した条件と犠牲になった条件を表示する。
「安全」「最適」などの強い表現は、根拠と限界を伴わない限り使わない。
利用者が選べる状態では、AIは選択を代行しない。
操作困難や時間的猶予がない場合に限り、非常時支援モードを使える。
非常時支援モードでは、発動条件、理由、不確実性、通知先、記録を明示する。
AIの推薦に従わない選択肢も残す。
利用者が後から、なぜその推薦が出たか確認できるようにする。
今回の中心となる言葉は、これです。
支援とは、本人の判断を消すことではない。
本人がまだ持っている判断を、最後まで残すための手すりである。
しかし、最後に新しい問いが現れました。
自動選択ボタンは消えました。
代わりに候補比較画面が作られました。
けれど、その下には新しいボタンがありました。
『迷ったときは、AIに決めてもらう』
人は、いつも判断したいわけではありません。
迷うことは苦しい。
時間がないとき、不安なとき、責任を負いたくないとき、誰かに決めてほしくなることがあります。
次回は、「迷いを消すのではなく、迷えるだけの余白を残す」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
