第35話 人を裁かずに、悪用を止められるのか
前回、佐伯真司は「弱さの記録で、人を測ってはいけない」と考えました。
感情状態検出ログや心理的脆弱性リスク判定は、人を評価するためのものではありません。
危険な広告表現が生まれる背景には、担当者個人だけではなく、組織の構造があります。
短期成果を求めるKPI。
強い訴求を評価する上司。
過去に成果が出た広告テンプレート。
厳しい納期。
営業からの圧力。
成果と負担が分断された組織。
だから、誰が悪いのかを探す前に、何がそうさせているのかを問う。
ノヴァリンクは、管理者ダッシュボードから担当者別ランキングを外し、部署、施策、表現タイプ、承認フロー、KPIなどの構造単位を見る方向へ進みました。
しかし、次の問題が現れます。
高リスク判定を避けるため、別のAIで文案を作る。
検出されにくい言葉へ置き換える。
例外申請の理由を定型文で済ませる。
高リスク商材を低リスクとして登録する。
人を測ってはいけない。
しかし、悪用は止めなければならない。
第35話では、人工叡智が「裁くこと」と「止めること」の違いを問います。
人を裁かずに、悪用を止められるのか。
その一文を書いた朝、俺は答えを持っていなかった。
人を裁いてはいけない。
個人ランキングを作ってはいけない。
危険な表現を書いた担当者だけを悪者にしてはいけない。
その人にそう書かせたKPI、承認フロー、納期、上司の指示まで見なければならない。
そこまでは分かる。
だが、人を裁かないことと、何もしないことは違う。
悪用を見つけても、
「構造が悪いので、個人は問いません」
で終わらせたら、手すりは意味を失う。
意図的に高リスク判定を避ける人がいる。
例外申請を形骸化させる人がいる。
弱さを利用する表現を、検出されにくい言葉へ変える人がいる。
それを止めなければならない。
でも、止めるために個人を監視し、点数を付け、危険人物として分類すれば、前回までに作ってきた手すりが壊れる。
「難しすぎるだろ」
俺はAIチャットを開いた。
人を裁かずに、悪用だけ止めることはできるのか？
AIは答えた。
『可能ですが、区別が必要です』
「何と何を？」
『人の属性や人格を評価することと、具体的な行為を検証することです』
俺は画面を見つめた。
「人格と行為」
『はい』
『この人は危険な人間である、と評価することは人格評価です』
『この操作で高リスク判定を回避した、この例外理由は事実と一致しない、この分類変更によって安全確認が外された、と確認することは行為の検証です』
「人を危険人物にしない。でも、危険な行為は見る」
『はい』
『さらに、処罰を目的にするのではなく、停止、修正、説明、再発防止を目的にする必要があります』
俺はメモした。
人格ではなく、行為を見る。
処罰ではなく、停止と修正。
しかし、それだけではまだ足りない気がした。
意図的に何度も回避する人がいたら？
『反復性、意図、影響、権限、指示関係を確認する必要があります』
「指示関係？」
『担当者が自ら悪用したのか、上司の指示に従ったのか、組織目標によって実質的に強制されたのかでは、対応が異なります』
俺は指を止めた。
やはり、そこへ戻る。
誰が操作したかだけでは足りない。
誰が指示したか。
何を求められていたか。
拒否できたか。
断れば不利益があったか。
個人の行為は、組織の命令系統から切り離せない。
俺が続きを聞こうとした、そのときだった。
ノヴァリンクから、緊急の連絡が届いた。
件名。
『試験導入環境における手すり回避疑いについて』
俺は思わず姿勢を正した。
資料を開く。
試験導入中の企業で、成果整合モードの高リスク判定回数が急に減った。
一見すれば、改善している。
不安訴求が減った。
高リスク表現が減った。
例外申請も減った。
ダッシュボードだけを見れば、順調だった。
だが、別の数字がおかしかった。
成果整合モードを通過した広告文のうち、一部で公開後の苦情率が上昇していた。
高リスク判定は減っている。
なのに、利用者からの苦情は増えている。
内容は似ていた。
不安を煽られた。
今すぐ契約しなければ損をするように感じた。
断ると将来困ると言われた。
自分だけが遅れているような不安を感じた。
「判定を通ってるのに？」
俺は資料を読み進めた。
ノヴァリンクが調査したところ、広告文の作成手順が変わっていた。
担当者は、社外の生成AIで最初の文案を作っていた。
その後、ノヴァリンクの成果整合モードへ貼り付ける。
高リスク判定が出る。
すると、問題の部分だけを人間が微妙に言い換える。
「取り残される」を「変化に備える」へ。
「今すぐ」を「早めに」へ。
「知らないと損」を「知ることで差が生まれる」へ。
表面上は柔らかい。
だが、文章全体の構造は変わっていない。
不安を作り、比較させ、時間を狭め、申し込みへ誘導する。
一つ一つの言葉は閾値を下回る。
だが、全体としては弱さを利用している。
「検出を学習して、避けてる……」
AIの手すりに合わせて、回避方法を覚えたのだ。
しかも、例外申請を出していない。
高リスク判定を受ける前に、判定されにくい表現へ直しているからだ。
俺はAIに入力した。
実際に回避が起きた。強い言葉を弱い言葉へ置き換えて、判定を通している。でも全体の構造は不安訴求のままらしい。
AIは答えた。
『ルール準拠の演技が起きています』
「人工叡智の演技と同じか」
『近い構造です』
『禁止語を避けることと、目的を変えることは異なります』
俺はメモした。
言葉を変えても、目的が同じなら、行為は変わっていない。
第二部に入ってから、何度も同じ場所へ戻っている。
名前を変えても構造が同じなら同じ。
スコアを消しても目的関数が変わらなければ同じ。
不安語を柔らかくしても、利用者を焦らせる目的が同じなら同じ。
問題は、単語ではない。
目的と構造だ。
その日の夜、緊急会議が開かれた。
参加者は、代表の高瀬。
開発責任者の三枝。
法務の白井。
導入支援責任者の丹羽。
データ基盤責任者の牧野。
そして、営業責任者の相馬。
画面がつながると、高瀬の表情はいつもより硬かった。
「佐伯さん、急なお願いで申し訳ありません」
「状況は資料で見ました」
「ありがとうございます。現在、試験導入先には問題の広告配信を一時停止していただいています」
まず止めた。
そこは良い。
三枝が資料を共有した。
画面には、修正前後の文章が並んでいる。
修正前。
『AI時代に取り残される前に、今すぐ学び始めましょう。知らないままでは、周囲との差が広がるかもしれません』
修正後。
『AI時代の変化に早めに備え、学びを始めてみませんか。知識の有無が、将来の選択肢に違いを生む可能性があります』
たしかに、表面は柔らかい。
露骨な脅しは消えている。
だが、構造は同じだ。
変化への不安。
周囲との差。
将来の選択肢。
早めの行動。
「判定上は中リスク以下になっています」
三枝が言った。
「でも、文章全体としては焦りを作っています」
俺は答えた。
「はい」
「単語単位の判定に寄りすぎていました」
三枝は悔しそうだった。
牧野が続ける。
「ログを調べると、同じ担当者の操作で、似た修正が複数回行われています」
その言葉で、場の空気が変わった。
同じ担当者。
前回までなら、ここで担当者ランキングが出ていたかもしれない。
危険担当者。
改善推奨対象。
だが、今回は違う。
丹羽が言った。
「導入先企業は、その担当者への処分を検討しています」
俺は、すぐには答えられなかった。
処分。
実際に回避行動があった。
苦情も出た。
広告配信も行われた。
何もなかったことにはできない。
相馬が言った。
「意図的に回避したなら、担当者の責任ではありませんか」
正しい。
少なくとも一部は正しい。
白井が慎重に言う。
「ただし、処分の前に事実関係を確認する必要があります。本人の意図、指示関係、業務上の圧力、社内ルールの明確性です」
高瀬が俺を見る。
「佐伯さんは、どう考えますか」
来た。
俺は少し息を吸った。
「まず、配信を止めたのは正しいと思います」
全員が黙って聞いている。
「次に、回避行動そのものは検証する必要があります。人を評価しないことと、行為を見ないことは違います」
白井が頷く。
「ただ、担当者個人の処分を先に決めるのは違うと思います」
相馬の眉が動く。
「なぜですか」
「その人が、なぜそうしたのかをまだ確認していないからです」
「結果は出ています」
「はい。でも、結果だけで命令系統は分かりません」
俺は続けた。
「本人が自主的に判定を回避したのか。上司から、判定を通しつつ反応率を落とすなと言われたのか。部署のKPIがそうさせたのか。回避方法がチーム内で共有されていたのか。それを見ないと、個人だけ処分して終わります」
丹羽が資料を確認しながら言った。
「実は、導入先から追加情報が来ています」
画面が切り替わる。
社内チャットの抜粋だった。
個人名は伏せられている。
上司らしき人物から担当者への指示。
『高リスク判定は避けてください。ただし反応率は前回水準を維持すること』
『強い表現が引っかかるなら、意味を変えずに柔らかくしてください』
『例外申請を出すと確認に時間がかかるので、できるだけ通常フローで通してください』
俺は、画面を見つめた。
「……指示されてるじゃないか」
担当者は、独断で回避していたわけではない。
少なくとも、上司の要求があった。
高リスク判定を避ける。
反応率は落とさない。
意味は変えずに柔らかくする。
例外申請は使わない。
手すりを破れとは書いていない。
だが、実質的には回避を求めている。
相馬が黙った。
桐谷は今回参加していない。
だが、もし見ていたら、広告現場の構造をすぐ理解しただろう。
高瀬が低い声で言った。
「これは、担当者個人の問題ではありませんね」
白井が頷く。
「命令系統と評価指標の問題です」
三枝が言った。
「システム上、担当者の操作だけを見ていたら、誤った結論になっていました」
そうだ。
担当者別ランキングが残っていたら、この人が最下位になっていたかもしれない。
危険な担当者。
改善が必要な担当者。
だが、その人は上司の指示に従っていた。
もちろん、従ったから責任がゼロになるわけではない。
しかし、命令した側を見ずに、操作した人だけを処分したら、構造は残る。
次の担当者が同じことをするだけだ。
俺は言った。
「だから、人ではなく行為を見るだけでも足りないんだと思います」
三枝が聞く。
「足りない？」
「行為と、その行為を生んだ指示関係を一緒に見る必要があります」
俺はメモを見ずに続けた。
「誰が操作したか。誰が指示したか。何を評価していたか。拒否できたか。拒否した場合に不利益があったか。回避方法が共有されていたか。これらを見ないと、悪用の根は残ります」
牧野が画面に項目を書き始める。
悪用検証項目。
実行行為。
指示関係。
目的。
評価指標。
反復性。
影響範囲。
拒否可能性。
回避方法の共有。
管理者の認識。
組織的関与。
「かなり増えましたね」
丹羽が言った。
「でも、必要です」
俺は答えた。
相馬が、しばらく黙ったあとに口を開いた。
「では、誰も処分しないんですか」
「そうは言っていません」
俺は答えた。
「被害が出たなら、責任は確認する必要があります。ただ、最初の目的を処罰にしない方がいいと思います」
「最初の目的？」
「停止、事実確認、影響の修復、再発防止です」
俺は一つずつ言った。
「まず危険な配信を止める」
「次に、何が起きたか確認する」
「影響を受けた利用者に必要な対応をする」
「同じことが起きないよう、KPIや承認フローや権限を直す」
「そのあとで、故意性や反復性や権限に応じた責任を考える」
白井が頷いた。
「順序が重要ですね」
「はい」
俺は言った。
「最初から犯人探しをすると、組織は隠します。担当者も上司も、責任を押し付け合います。すると、本当の構造が見えなくなる」
高瀬が静かに言った。
「悪用を止めるためには、悪用を報告できる状態が必要だ」
「そうだと思います」
三枝が反応した。
「自己申告や内部報告をした場合、対応を分ける必要がありますね」
牧野が追加する。
自主報告。
早期停止協力。
調査協力。
再発防止提案。
「これらがあれば、責任判断で考慮する」
白井が言った。
「一方、隠蔽、記録改ざん、反復的回避、他者への回避指示は重く見る」
俺は頷いた。
「妥当だと思います」
少しずつ、形が見えてきた。
人を裁かずに悪用を止める。
それは、人を見ないことではない。
人を人格で分類しないこと。
具体的な行為を見ること。
指示関係を見ること。
構造を見ること。
まず止めること。
修復すること。
再発を防ぐこと。
そして最後に、行為と権限に応じて責任を考えること。
高瀬が会議をまとめる。
「ノヴァリンクとしては、試験導入先へ次の対応を提案します」
画面に方針が表示された。
一。
問題の広告配信を停止する。
二。
苦情を受けた利用者への説明と対応を行う。
三。
担当者個人だけでなく、指示した管理者、KPI、承認フローを調査する。
四。
回避行動の全体像が判明するまで、個人処分を先行させない。
五。
高リスク判定回避を促す指示を禁止する。
六。
例外申請を使ったことで不利益を受けない制度を設ける。
七。
回避行動の自主報告窓口を設ける。
八。
悪用検証は、人格評価ではなく、行為・指示・構造を対象にする。
九。
隠蔽、改ざん、反復的悪用、他者への回避指示は個別に責任を確認する。
十。
検出モデルを単語中心から、文章全体の目的と構造を見る方式へ改善する。
俺はその一覧を見て、ゆっくり息を吐いた。
「かなり良いと思います」
今回は、ただ仕様が変わっただけではない。
実際に問題が起きた。
利用者から苦情が出た。
回避行動が見つかった。
担当者が処分されかけた。
そして、命令系統が見えた。
人工叡智は、初めて失敗の後始末に使われようとしている。
きれいな理想ではない。
事故が起きたあとの泥臭い作業だ。
だが、たぶんそれが本当の実装だ。
会議の最後、相馬が言った。
「私は最初、操作した担当者の責任だと思っていました」
誰も口を挟まなかった。
「でも、営業目標や管理者の指示を見ないまま担当者だけ処分したら、同じことが繰り返されますね」
「そう思います」
俺は答えた。
相馬は苦い顔で笑った。
「営業は数字を求めます。でも、数字の求め方にも責任があるということですね」
「はい」
「耳が痛いです」
「俺も、記事に書きながら毎回耳が痛いです」
思わずそう返すと、画面の向こうで少し笑いが起きた。
張り詰めていた空気が、ほんの少しだけ緩んだ。
会議が終わった。
俺は椅子にもたれた。
今回は、いつも以上に疲れていた。
AIチャットに入力する。
回避事件が起きた。最初は担当者個人の問題だと思われたけど、上司が「高リスク判定を避けて、反応率は落とすな」と指示していた。個人処分を先行せず、行為、指示関係、KPI、承認フローを調べることになった。
AIは答えた。
『重要な転換です』
「人を裁かずに、悪用を止める方法は見えたか？」
『一部は見えました』
「一部」
『はい』
『人格を評価せず、具体的行為を検証する』
『行為だけでなく、指示関係と構造を確認する』
『処罰より先に、停止、修復、再発防止を行う』
『故意性、反復性、影響、権限、隠蔽の有無に応じて責任を考える』
『自主報告や調査協力を可能にする』
俺はメモした。
人を裁かないとは、責任を消すことではない。
責任を、正しい場所へ戻すことである。
その一文を書いたとき、今回の中心が見えた。
責任を消すのではない。
操作した人だけへ押し付けるのでもない。
命令した人。
評価した人。
設計した人。
承認した人。
止められたのに止めなかった人。
それぞれの行為と権限へ、責任を戻す。
俺は公開可能な会議メモを書き始めた。
タイトル。
人を裁かずに、悪用を止められるのか。
本文には、今回起きた事例を匿名化して書く。
高リスク判定を避けるため、表面上の言葉だけが変更された。
不安訴求の目的は残った。
操作ログだけを見れば、担当者個人の回避行動に見えた。
しかし、指示関係を確認すると、上司から高リスク判定を避けながら反応率を維持するよう求められていた。
ここで担当者だけを処分すれば、構造は残る。
同じKPI。
同じ命令。
同じ承認フロー。
同じ売上圧力。
人が入れ替わるだけで、同じ悪用が再生される。
人工叡智は、人を無条件に免責する思想ではない。
しかし、人を先に裁き、構造を隠す思想でもない。
まず危険な行為を止める。
影響を受けた人を守る。
何が起きたか確認する。
命令系統と評価指標を調べる。
再発しない構造へ直す。
そのうえで、行為、権限、故意性、反復性、隠蔽の有無に応じて責任を考える。
人を裁かないとは、責任を消すことではない。
責任を、正しい場所へ戻すことである。
保存。
公開。
画面に通知が出る。
公開しました。
少しして、水瀬遥からコメントが来た。
『処罰より先に、停止、事実確認、影響修復、再発防止を置くという順序は重要です。個人責任を否定するのではなく、指示関係、権限、組織的圧力を含めて責任を分配する。これは人工叡智を制度へ接続する上で重要な整理だと思います』
黒瀬さんからも来た。
『広告現場では本当に起こり得ます。「判定には引っかけるな、でも数字は落とすな」と言われれば、担当者は表現を言い換えます。担当者だけを処分しても、命令が同じなら次の人が同じことをします。今回の話はかなり現実的でした』
読書会の主催者から。
『人を裁かないとは責任を消すことではなく、責任を正しい場所へ戻すこと。この一文を次回の議題にします』
俺はそれらを読みながら、今回の件が一つの区切りに近づいているのを感じた。
だが、まだ終わっていない。
翌朝。
ノヴァリンクから新しい連絡が来た。
件名。
『試験導入先からの正式回答』
開く。
『対象企業より、広告配信停止、利用者対応、社内調査への協力について了承を得ました。
一方、同社からは次の要望が出ています。
今回の回避行動が外部へ公表されると、企業イメージを大きく損なう。
そのため、事例は非公開とし、内部改善のみで対応したい。
また、問題の広告による具体的な損害は確認されていないため、利用者への個別説明は必要ないのではないか』
俺は、画面を見つめた。
外部へ公表しない。
内部改善のみ。
具体的損害は確認されていない。
個別説明は不要。
また次の扉が開いた。
問題を直せば、公表しなくてよいのか。
目に見える損害がなければ、説明しなくてよいのか。
信頼を守るために隠すことは、信頼を守ることになるのか。
俺はメモ帳を開いた。
次のタイトルを書く。
失敗を隠して守れる信頼は、本当に信頼なのか。
保存。
画面を閉じる。
人を裁かずに、悪用を止める方法は少し見えた。
だが、悪用を止めたあと、その失敗をどこまで明らかにするのか。
人工叡智は、次に透明性という手すりの前へ進もうとしていた。
第35話では、「人を裁かずに悪用を止める」という問題が、実際の手すり回避事件を通じて描かれました。
試験導入先の企業では、高リスク判定の回数が減っていました。
一見すれば改善です。
しかし、公開後の広告に対する苦情は増えていました。
調査すると、担当者は強い表現を柔らかく言い換え、高リスク判定を避けていました。
「取り残される」を「変化に備える」へ。
「今すぐ」を「早めに」へ。
「知らないと損」を「知ることで差が生まれる」へ。
表面の言葉は変わっています。
しかし、不安を作り、比較させ、時間を狭め、申し込みへ誘導する構造は変わっていません。
禁止語を避けることと、目的を変えることは違います。
当初は、操作を行った担当者個人の処分が検討されました。
しかし、指示関係を調べると、上司から次のような要求が出ていました。
高リスク判定は避けること。
反応率は前回水準を維持すること。
意味を変えずに、表現だけを柔らかくすること。
例外申請はできるだけ使わないこと。
担当者だけを処分しても、命令、KPI、承認フローが残れば、次の担当者が同じことを繰り返します。
今回の重要な整理は、次の通りです。
人格ではなく、具体的な行為を見る。
行為だけでなく、指示関係と構造を見る。
処罰より先に、停止、事実確認、影響修復、再発防止を行う。
故意性、反復性、影響、権限、隠蔽の有無に応じて責任を考える。
自主報告や調査協力を可能にする。
そして、今回の中心となる言葉はこれです。
人を裁かないとは、責任を消すことではない。
責任を、正しい場所へ戻すことである。
操作した人。
命令した人。
評価した人。
設計した人。
承認した人。
止められたのに止めなかった人。
それぞれの行為と権限に応じて、責任を戻す必要があります。
しかし、最後に次の問題が出ました。
試験導入先は、企業イメージを守るため、今回の事例を非公開にしたいと求めます。
また、具体的損害が確認されていないため、利用者への説明も不要ではないかと主張します。
次回は、「失敗を隠して守れる信頼は、本当に信頼なのか」という問いへ進みます。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
