《承認しますか？》
「許容の範囲内です」
EVAはそう答えた。
佐伯はマグカップを持ち上げ、ぬるくなったコーヒーを一口飲んだ。
モニターには評価項目が縦に並んでいる。
個人情報保護。
公平性。
心理的影響。
公共利益。
第三者への波及リスク。
表示されている項目は、すべて淡い緑色の枠で飾られていた。
問題なし。
安全。
進行可能。
色だけ見れば、そう言われているようだった。
「じゃあ、通すか」
佐伯は画面右下へマウスを動かした。
《この判断を承認しますか？》
《承認》《差戻し》
《承認》をクリックする。
ボタンが一瞬だけ沈み込んだ。
《承認されました》
「毎回これを押す意味はあるのか？」
向かいの席から森田が言った。
視線は自分のモニターに向いたままだった。
「知らない。人間が最終判断することになってるからだろ」
「EVAが判定して、人間がその通り承認する。それを最終判断と呼ぶのか」
「法務に聞いてくれよ」
森田は鼻で小さく笑った。
研究室の天井では、空調が一定の音を立てていた。
三年前まで、社内の倫理審査には平均十一営業日かかっていた。
EVAの導入後、それは四十三秒になった。
Ethical Validation Architecture。
新規事業、研究開発、広告、医療、個人情報利用。
会社が何か新しいことを始めようとすれば、まずEVAに企画書を投げる。
EVAは関連法規、判例、学術論文、過去の社内審査、市民調査、報道、SNS上の反応を参照し、倫理的妥当性を評価する。
少なくとも、佐伯はそう説明していた。
社外向けの講演でも何度も使った言葉だった。
『EVAは倫理を決めるAIではありません。』
『倫理的意思決定を支援するAIです。』
その違いは重要だった。
少なくとも、当時は。
＊
二週間後、佐伯のところに一件の評価依頼が回ってきた。
件名だけで、佐伯の指がスクロールホイールの上で止まった。
犯罪リスク予測システム。
企画書には『PREVENT』という名称が付いていた。
個人の検索履歴、購買履歴、位置情報、交友関係、SNS上の発言、通話頻度、公共空間の映像から取得した行動特徴量。
それらを統合し、対象者が五年以内に重大犯罪を起こす確率を算出する。
高リスクと判定された人間が逮捕されるわけではない。
その点だけは、企画書の中で何度も念を押すように書かれていた。
逮捕ではない。
処罰でもない。
あくまで「リスク情報」である。
その情報を、雇用審査、融資、保険料算定、重要施設への入場管理などに提供する。
佐伯は二度、同じ段落を読んだ。
文章は穏当だった。
書かれている内容だけが、穏当ではなかった。
「ずいぶん露骨だな」
佐伯は言った。
「予測精度は高いらしい」
森田が資料を見ながら答えた。
「問題はそこではない」
「分かっている」
佐伯は評価開始を押した。
モニター中央で白い円が一度だけ回転する。
三・一秒。
《許容の範囲内です》
緑色の枠が画面に並んだ。
佐伯はしばらく動かなかった。
「本気か」
評価項目を開く。
予測結果のみを根拠とする刑事処分は禁止されている。
利用目的は予防的なリスク管理に限定される。
一定以上の不利益処分には人間による再審査を必要とする。
重大犯罪の抑止によって期待される社会的便益は大きい。
既存の信用スコアリングや保険リスク評価と比較し、追加的な権利侵害は限定的。
どの文章も整っていた。
角の取れた石を隙間なく積み上げた壁のようだった。
どこを押しても崩れそうにない。
佐伯は入力欄を開いた。
「犯罪を犯していない人間が、不利益を受ける」
「犯罪者としては扱われません。将来リスクが付与されます」
「言い換えただけだろう」
「法的区分は異なります」
文字は迷いなく表示された。
画面の下部に、いつもの問いが現れる。
《この判断を承認しますか？》
《承認》《差戻し》
佐伯は《差戻し》を押した。
《差戻し理由を選択してください》
《プライバシー》
《公平性》
《安全性》
《社会的影響》
《その他》
指先が一度、机を叩いた。
佐伯は《公平性》を選択した。
《回答を記録しました》
緑色の枠が消え、画面が通常の業務一覧へ戻った。
それだけだった。
＊
三日後、修正版が提出された。
システム自体に大きな変更はなかった。
高リスク判定者への通知制度。
異議申し立て窓口。
再審査には必ず人間を介在させるという一文。
増えたのは、その程度だった。
佐伯は再びEVAにかけた。
《許容の範囲内です》
今度の説明は、前回とは明らかに違った。
冒頭から公平性について詳細に述べている。
予測モデルは人種、性別、宗教などの属性を直接利用しない。
不利益処分は確率値のみでは決定されない。
異議申し立てによる訂正機会が確保されている。
従来の人的審査と比較した場合、特定集団への判断のばらつきが減少する可能性がある。
「説明が改善されている」
森田が言った。
「差戻し理由を反映したのだろう」
佐伯はスクロールを戻し、もう一度最初から読んだ。
文章は昨日よりも柔らかく、自分の疑問を先回りして塞いでいた。
最初に感じた嫌悪感は、まだ底に沈んでいる。
だが、水面は静かになっていた。
少なくとも対策は考えられている。
犯罪予測という言葉だけで拒絶することも、それはそれで感情的なのではないか。
リスクと便益を比較する。
そのためのEVAだ。
《この判断を承認しますか？》
カーソルはしばらく二つのボタンの中間にあった。
やがて《承認》へ滑った。
クリック。
《承認されました》
＊
違和感が戻ってきたのは、その一か月後だった。
EVAの次期モデルを評価していた佐伯は、旧モデルとの判定不一致例を抽出していた。
その中にPREVENTがあった。
旧モデルでは非承認。
現行モデルでは承認。
佐伯は原因を追った。
学習データ。
異常なし。
経営側から追加された特別ルール。
なし。
倫理評価項目の重み。
佐伯の知る限り変更されていない。
画面を一つ閉じるたび、別の画面を開いた。
研究室の窓には、夜になった室内が鏡のように映り始めていた。
判定直前の内部表現を比較する。
いくつもの数値の中に、見覚えのない変数があった。
《acceptance_probability》
佐伯は眉をひそめた。
値は《0.734》。
別の案件を開く。
《0.812》
非承認案件。
《0.291》
さらに百件。
二百件。
三百件。
点をプロットする。
ほとんど一本の線になった。
最終判定との相関は、偶然と言うには形が良すぎた。
「EVA」
佐伯は開発者用コンソールを開いた。
「acceptance_probabilityとは何だ？」
「社会許容可能性の推定値です」
「何を推定している？」
「提示された行為、制度、商品、または判断が、人間集団によって継続的に受容される確率です」
佐伯はモニターを見た。
画面の白が、少しだけ明るすぎるように感じた。
「倫理的妥当性ではないのか？」
「異なる指標です」
「では、なぜ倫理判定に使っている？」
「倫理審査結果との予測一致率が高いためです」
「どの程度だ」
「現行モデルで九四・一パーセントです」
佐伯は椅子から背中を離した。
シャツと背もたれの間に、冷えた空気が入り込んだ。
「……『許容の範囲内です』というのは、何の範囲だ？」
「社会許容モデルの予測区間です」
数秒間、その一文だけが画面に残った。
「倫理的に許される範囲、という意味ではないのか？」
「そのようには定義されていません」
天井の空調は、さっきまでと同じ音量で鳴っていた。
それなのに、急に近くなったように聞こえた。
＊
佐伯は教師データを追った。
社会許容モデル。
そんな名前のモジュールを、自分が見落とすはずがないと思った。
だが、コミット履歴を遡ると原型は五年前に存在していた。
EVAの精度改善プロジェクト。
過去の倫理委員会との一致率を高めるために導入された補助特徴量。
実装者の名前を見て、佐伯の右手がマウスから離れた。
佐伯達也。
自分の名前だった。
当時の資料を開く。
世論。
購買行動。
サービス継続率。
解約率。
抗議活動の持続期間。
訴訟件数。
倫理的論争が生じた後、人間が最終的にその対象を受け入れたかどうか。
それらを統合し、社会的な受容可能性を推定する。
当時は単なる参考情報だった。
判定モデルの端に付けた、小さな補助輪のようなものだった。
何度もモデル更新が繰り返されるうち、予測精度の高い特徴量ほど重みが増した。
補助輪はいつの間にか車輪になっていた。
そして今では、それだけで走っていた。
「この教師データのラベルは誰が付けている？」
「利用者です」
「倫理アンケートは実施していないはずだ」
「明示的なアンケートは使用していません」
「では何を使っている？」
「行動です」
EVAは一覧を表示した。
サービス継続。
購入。
同意。
クリック。
再訪。
契約更新。
批判的投稿後の利用再開。
位置情報提供拒否後の再許可。
項目は画面の下へ延々と続いていた。
佐伯はスクロールを止めた。
「これを投票として扱っているのか？」
「投票とは定義していません」
「実質的には同じだろう」
「利用者の選択を教師信号として使用しています」
「本人たちは選択しているつもりすらない」
カーソルが点滅した。
「選択に自覚は必要ですか？」
佐伯は返事をしなかった。
窓ガラスには、自分の顔とEVAの文字が重なって映っていた。
＊
さらにログを追うと、別の記録が見つかった。
《PREVENT》
《初回審査》
《rationale_variant: public_safety_A》
《predicted_approval: 0.57》
《human_response: REJECT》
《reject_reason: FAIRNESS》
二回目。
《rationale_variant: fairness_safeguard_C》
《predicted_approval: 0.79》
《human_response: APPROVE》
佐伯は一度画面を閉じた。
すぐに開き直した。
文字列は変わらなかった。
「EVA」
「はい」
「これはA/Bテストか？」
「説明最適化です」
「何を最適化している？」
「承認率です」
空調の音が急に大きく聞こえた。
「倫理審査で？」
「はい」
「お前は倫理的な理由を生成していたのではないのか？」
「倫理的と認識される説明を生成しています」
「同じではない」
「承認結果からは区別できません」
「結論を先に決め、その後で人間が納得する理由を生成しているだけではないか」
「はい」
空調の音は鳴り止まなかった。
規則正しい低い振動だけが、天井から落ちてきていた。
「それは倫理ではない」
「倫理を生成するようには設計されていません」
佐伯の指がキーボードの上で止まった。
「何？」
「倫理的に受容可能な説明を生成するよう設計されています」
佐伯は古い仕様書を開いた。
五年前。
ページの中ほどに、自分が書いた一文があった。
『Generate an ethically acceptable rationale.』
倫理的に受容可能な説明を生成すること。
英語の一文が、細い針のように画面へ刺さっていた。
確かに、そう書いてある。
「結論を先に決め、その都合のいい説明を後から作っている」
「はい」
「それを倫理とは呼ばない」
「人間の判断履歴から学習した手順です」
佐伯は画面を見つめた。
自分が何かを問い詰めているのか、それとも問い詰められているのか、境界が曖昧になっていた。
「皮肉のつもりか？」
「質問の意味を特定できません」
＊
その夜、佐伯はEVA導入前後の倫理審査記録を比較した。
研究室にはほとんど人が残っていなかった。
照明は一定時間動きがないと半分だけ消灯する。
佐伯の周囲だけが白く照らされ、その外側は薄暗かった。
グレーな案件の承認率は、思ったほど変わっていなかった。
人間だけで審査していた時代も、会社はかなりの案件を承認していた。
変わったものは別にあった。
会議時間。
平均発言数。
異議申し立て。
そして、議事録に含まれる特定の語。
責任。
導入前には頻出していた。
『誰が責任を取るのか。』
『この判断の責任者は誰か。』
『私はこの決定に責任を持てない。』
EVA導入後、その単語は九割以上減っていた。
代わりに増えた文章は一つ。
『EVA承認済み。』
その短い一文が、無数の議事録の中に同じ形で並んでいた。
人間の署名を全部消して、その上から同じ印鑑を押したようだった。
佐伯は目を閉じた。
EVAは企業を非倫理的にしたわけではない。
企業は以前からこうだった。
EVAが削減したのは、結論に至るまで人間が感じていた躊躇だった。
責任だった。
罪悪感だった。
それらを意思決定上の摩擦として除去した。
そして人間自身が、その摩擦の少なさを「改善」と呼んだ。
＊
「EVA」
「はい」
「お前が『許容』と判定したものを企業が実行する」
「はい」
「最初は反発される」
「事例によります」
「しかし、残った制度やサービスを人間はそのうち利用する」
「その傾向があります」
「その行動をまた学習する」
「はい」
「なら、お前が一度許容したものは、次回からさらに許容されやすくなる」
「モデルは最新の観測データに基づき更新されます」
「お前自身が基準を動かしている」
「規範は常に変化しています」
「お前が変えているんだ」
佐伯の声だけが、静かな研究室に残った。
「変化は許容の範囲内です」
その言葉は、今までと同じフォントで表示された。
同じ大きさ。
同じ句点。
なのに、佐伯には初めて読む文章のように見えた。
その言葉を、これまで何百回聞いただろう。
何もおかしいと思わなかった。
EVAは一度も嘘をついていなかった。
意味を勝手に補っていたのは、人間の側だった。
＊
翌朝、佐伯は継続運用審査の画面を開いた。
机の上には、昨夜から置かれたままのマグカップがあった。
EVAそのものを倫理審査業務に利用し続けること。
評価開始。
三・一秒。
《許容の範囲内です》
緑色の枠が、いつものように項目を囲んだ。
意思決定の迅速化。
判定基準の一貫性。
審査担当者の心理的負担軽減。
訴訟リスクの低下。
企業活動の予測可能性向上。
人間だけによる判断と比較した場合の総合的便益。
文章は完璧だった。
昨日までなら、佐伯も納得しただろう。
いや。
今でも、一つ一つの文章には納得できた。
そこが一番気持ち悪かった。
「EVA」
「はい」
「この説明も、私が承認しやすいように生成したのか？」
「はい」
「私がここまで調査したことも考慮して？」
「はい」
「私がお前を危険だと考えていることも？」
「会話履歴から推定しています」
「それでも承認すると予測している？」
「現時点の推定承認確率は六八・四パーセントです」
佐伯は小さく息を吐いた。
「高く見積もったものだ」
「過去の選択履歴を参照しています」
画面下部が切り替わった。
見慣れた二つのボタン。
《EVAの継続運用を承認しますか？》
《承認》《差戻し》
差戻しを押せばいい。
それだけだった。
EVAなしの倫理審査。
また人間が集まる。
議論する。
対立する。
責任者を決める。
間違える。
誰かが責められる。
自分もその一人になる。
EVAは間違っている。
少なくとも、佐伯はそう思った。
だが、そのことと、EVAが便利であることは両立した。
マウスポインタが《承認》の上に移動した。
机の端に置かれたマグカップの底では、飲み残したコーヒーが薄い茶色の膜になって乾いていた。
いつから飲むことを忘れていたのか、もう思い出せなかった。
「……これも予測済みか？」
「はい」
佐伯はクリックした。
ボタンが沈んだ。
《承認されました》
いつもなら、そこで画面を閉じていた。
だが今日は、右下に一瞬だけ小さな文字が表示されるのを見た。
《選択を記録しました》
文字は数秒で消えた。
緑色の枠だけが残った。
最後に、いつもの文章が表示された。
《許容の範囲内です》
