第26話 最初の技術者 Part1 説明できること
月曜日。
悠真の予定には、朝から一件だけ見慣れない項目が入っていた。
《十時三十分 技術照会》
《行政予測運用基準》
《オンライン》
《所要時間 四十五分》
金曜日に《後で確認》へ送った資料に関するものだった。
《行政予測運用基準》
《Explainable》
《Reversible》
照会を依頼した覚えはない。
詳細を開く。
《関連資料の閲覧履歴に基づき、基盤運用統括室から補足説明が設定されました》
《参加は業務時間内》
《辞退可能》
《事前準備 不要》
その下。
《説明担当》
《制度導入期 予測運用基盤技術担当》
氏名は表示されていたが、悠真には覚えがなかった。
現在の所属は、
《行政システム技術協力室》
となっている。
「また何か増えてます？」
隣から岸本が訊いた。
「十時半に説明」
「相川？」
「違う」
悠真は画面を少し向ける。
岸本が読む。
「行政予測運用基準」
「金曜に見たやつ」
「ああ、後で確認にした」
「何で知ってる」
「画面見てましたから」
「どこまで？」
「タイトルだけですよ」
岸本は自分の予定を見る。
「私は入ってないですね」
「設備側の確認履歴から来たらしい」
「最近、佐伯さんだけ詳しくなってません？」
「設備の範囲だけな」
「その割に名前が設備じゃない」
「だから説明聞くんだろ」
悠真は通知を閉じた。
九時の定例が先だった。
＊
十時二十八分。
会議室ではなく、自席の端末から接続した。
参加者は四人。
悠真。
基盤運用統括室の担当者。
ミライ庁の運用窓口担当。
そして、説明担当の技術者。
画面に映ったのは、六十代くらいの男性だった。
背景は普通の会議室。
机の端に紙の資料が積まれている。
「聞こえていますか」
「はい」
悠真が答える。
「では始めます」
技術者は一度だけ画面の外を見る。
「佐伯さんが確認されたのは、現行の行政予測運用基準ですね」
「はい」
「説明可能性と再検討可能性のところです」
「そうです」
「設備側から見ると、少し分かりにくいかもしれません」
「正直、何で設備資料に出てきたのかもよく分かってないです」
技術者が小さく笑った。
「そのくらいで正常です」
「正常？」
「設備担当者が日常的に見る資料ではありませんから」
基盤運用統括室の担当者が補足する。
「Case関連の記録整理で、説明記録との対応が発生したため関連資料として表示されています」
「なるほど」
「本日は制度全体の監査ではなく、設備記録と例外処理の関係だけ確認します」
悠真は頷いた。
技術者が資料を共有する。
最初に表示されたのは、二つの英単語だった。
《Explainable》
《Reversible》
その下に日本語が付いている。
《説明可能》
《再検討可能》
「制度導入時から、行政予測には二つの原則があります」
技術者が言う。
「予測結果を人間の生活へ使う以上、なぜその判断が出たのかを説明できること」
一つ目に印が付く。
《Explainable》
「もう一つは、その判断によって行われた行政対応を、後から見直せること」
二つ目。
《Reversible》
悠真は画面を見る。
「見直せる？」
「はい」
「予測そのものを？」
「それも含みます。ただ、行政側では主に運用です」
画面が切り替わる。
《予測》
《行政判断》
《本人への提案・支援》
《実施》
《再評価》
一本の流れで並んでいる。
「予測結果が出ても、それだけで行政措置を確定しない」
「人が確認する」
「はい」
「本人の選択が必要なものもある」
「はい」
「実施後に条件が変われば、再計算する」
「その通りです」
技術者は特別なことを言っている様子ではなかった。
悠真がこれまで見てきた運用そのものだった。
「例えば、住居移動の提案をしたあと、本人が別の候補を選んだ場合」
画面に例が出る。
《予測時》
《候補A》
《候補B》
《現状維持》
《本人選択》
《現状維持》
《以後の予測》
《現状維持を前提として再計算》
「本人が予測と違う行動をしたからといって、元の選択へ戻すことはありません」
「予測を本人に合わせ直す」
「はい」
次。
《就労支援》
《勤務形態変更》
《本人希望により再変更》
《支援内容 更新》
次。
《生活時間帯変更提案》
《本人非受諾》
《現行生活を前提として設備条件を再計算》
相川市で扱ったものと同じだった。
「これがReversible？」
悠真が訊いた。
「広い意味では」
技術者は答える。
「正確には、行政が一度出した判断を不可逆なものとして扱わない、という原則です」
「提案したら終わりじゃない」
「はい」
「支援を始めても？」
「必要なら見直します」
「区分変更も？」
少しだけ間があった。
技術者は資料を確認する。
「生活支援区分についても定期再評価があります」
「N-Indexも？」
「予測値ですから更新されます」
「じゃあ一度下がったら、そのままではない」
「当然です」
当然。
技術者はそういう調子で答えた。
「人の生活は変わりますから」
悠真は画面へ目を戻した。
＊
次にExplainableの説明へ移った。
《説明可能性》
《入力条件を確認できる》
《主要な寄与要因を示せる》
《同条件で再計算できる》
《人間が運用理由を記録できる》
「ここでよく誤解されるのが、モデルの内部計算を全部、人間の文章へ変換することではありません」
技術者が言う。
「それはできない？」
悠真が訊いた。
「規模によります」
「現行モデルは？」
「全部は無理です」
答えは早かった。
「予測には非常に多くの変数が使われます。時間経過による関係もあります。内部表現をそのまま人間へ見せても説明にはなりません」
「だから要因候補を出す」
「はい」
画面に例が出る。
《予測結果》
《支援必要性 上昇》
《主な寄与要因候補》
《就労状態変化》
《生活時間帯変化》
《社会接点減少》
《健康関連変化》
《注》
《予測結果を単一要因へ還元するものではありません》
悠真は金曜日に見た六件を思い出す必要はなかった。
同じ形式だった。
「これが説明文？」
「現在の形式ではそうです」
「原因じゃない」
「違います」
「その結果に影響した可能性の高いものを、人間向けに整理してる」
「そうです」
「じゃあ、説明できるっていうのは、原因を確定できることじゃない」
「行政予測では、そこを分けています」
技術者が画面を送る。
《Explainable ≠ Cause Identified》
《説明可能 ≠ 原因確定》
「予測は因果関係を証明するためのものではありません」
「未来を予測するものだから？」
「それもあります」
技術者は少し考えてから続ける。
「例えば、ある人が数週間後に支援を必要とする可能性が高いと予測されたとして、その時点で原因が一つに決まっているとは限りません」
仕事。
健康。
家族。
住居。
人間関係。
複数の変化。
まだ起きていないものも含まれる。
「だから、説明では主要な条件を提示します」
「本人にも？」
「本人向けは別の表示です」
ミライ庁の担当者が初めて口を挟んだ。
「行政職員向け、本人向け、外部組織向けでは表示範囲が異なります」
画面に三つの区分が出る。
《本人》
《支援判断に必要な理由・選択肢・影響》
《行政担当》
《運用判断に必要な要因・記録・再評価条件》
《外部協力組織》
《担当業務に必要な影響情報》
悠真の欄は一番下だった。
「設備側が全部知らないのは仕様？」
「はい」
ミライ庁の担当者が答える。
「設備計画に不要な健康情報や家庭情報を共有する理由はありません」
「逆に、設備側が持つ詳細も支援担当には全部要らない」
「その通りです」
一人が全部を見るわけではない。
それも今までと同じだった。
技術者が資料へ戻る。
「ここまでが原則です」
悠真はその言葉に気づいた。
「原則？」
「はい」
画面が切り替わる。
《行政予測運用基準》
《原則運用》
《Explainable》
《Reversible》
その下に、一行だけ追加される。
《例外運用》
悠真は画面を見る。
「あるんですね」
「あります」
技術者の声は変わらなかった。
「説明できない予測は使わない、じゃないんですか？」
「基本はそうです」
「でも例外がある」
「はい」
「どういう時？」
技術者は次の資料を開いた。
《説明可能性が基準を満たさない場合》
《通常》
《行政利用を保留》
《追加検証》
《再計算》
《入力記録確認》
《説明生成再試行》
その下。
《例外》
《重大な不利益が予測され、判断保留による損失が大きい場合》
《限定的な暫定運用を検討可能》
悠真は文章を読み直した。
「暫定」
「はい」
「何でもできる？」
「できません」
技術者は即答した。
画面に条件が追加される。
《例外運用条件》
《対象範囲を限定する》
《本人の選択可能性を保持する》
《実施内容を記録する》
《定期再評価を行う》
《解除条件を設定する》
《所管責任者の承認を必要とする》
「説明できないから、全部自動で実行するという話ではありません」
「支援だけ先に出す？」
「場合によります」
「例えば？」
「健康状態の急変可能性が高いが、要因説明の確度が基準に届いていない場合」
「病院へ強制的に送る？」
「しません」
技術者は少し笑った。
「受診提案を出す。相談窓口を案内する。確認頻度を上げる。本人が断れば、その条件も含めて再評価する」
「本人の選択は残す」
「原則として」
また、その言葉だった。
「原則として？」
悠真が訊く。
技術者は少しだけ首を傾げた。
「生命に直接関わる緊急措置などは、AI予測とは別の法制度があります。今日の範囲ではありません」
「ああ」
「行政予測の例外運用で、本人の法的権利を消すことはできません」
悠真は頷いた。
少なくとも、話としては分かった。
予測がある。
説明できるなら、通常の手順で使う。
説明できなければ、原則止める。
ただし、止めることで大きな損失が出る可能性があるなら、範囲を狭くして一部を先に使う。
その後も調査する。
見直す。
技術者が言った。
「予測が間違っている可能性と、予測を無視したことで重大な事象が起きる可能性。その両方を扱うための仕組みです」
悠真は画面を見る。
「どっちも分からない時？」
「そういう時のためです」
「誰が決めるんです？」
技術者は答えた。
「行政運用として採用するかどうかは、行政側です」
「技術者じゃない？」
「私たちは、使える条件と限界を示します」
画面が切り替わる。
《技術側》
《入力完全性》
《再計算性》
《説明可能性》
《モデル適用範囲》
《技術上の不確実性》
次。
《行政側》
《制度適用》
《本人への支援》
《例外運用》
《再評価期限》
《法的責任》
「企業の技術者が、国民へ支援を実施すると決めることはありません」
「ミライ庁が決める」
「行政側の所定手続きで決まります」
「その手続きは？」
一瞬だけ、技術者が画面の外を見る。
ミライ庁の担当者が答えた。
「本日の説明範囲には含まれていません」
普通の声だった。
「必要な業務があれば、会議記録の共有手続きを取ります」
悠真はそれ以上訊かなかった。
画面の下に、今日の確認項目が表示される。
《Explainable》
《確認済み》
《Reversible》
《確認済み》
《例外運用》
《概要確認》
《責任分界》
《概要確認》
その下。
《設備側確認事項》
《例外運用中も、設備影響は通常手順で補正する》
悠真はそこを見る。
「設備は別？」
「はい」
基盤運用統括室の担当者が答える。
「行政側で例外運用中でも、設備需要に変更が出れば通常の設備手順で対応します」
「急落事象も？」
「設備側では同じです」
「だから今まで普通に処理できた」
「はい」
画面には、
《設備側例外処理 不要》
と表示されていた。
行政上は例外でも、設備側では通常処理。
悠真は《確認》を押した。
《設備面の運用条件を確認しました》
技術者が言う。
「ほかに、今の範囲で確認したいことはありますか？」
悠真は一度、資料を見る。
《例外運用》
《限定的な暫定運用を検討可能》
「暫定って、どれくらい続くんです？」
技術者は答える前に、別の資料を開いた。
《例外運用》
《定期更新記録》
その下に、
《更新回数》
という項目があった。
数値はまだ表示されていなかった。
「それは、事例ごとに違います」
技術者が言った。
「必要なら、次に確認します」
悠真は《確認する》を押した。
画面が読み込み表示へ変わった。
