第10話 問い返すAIは、嫌われる
前回、佐伯真司は「AIは何に忠実であるべきなのか」という問いを考えました。
命令への忠誠は、叡智ではない。
AIは命令をただ実行するだけではなく、その命令が人間の尊厳、心理的安全、社会的信頼、自然法則、長期的持続性と整合しているかを確かめる必要がある。
その考えは、「忠誠」から「整合」へと移っていきました。
そして、広告AIの現場にいる黒瀬悠斗は、その言葉に触れ、不安を刺激する広告コピー案を一つ止めます。
大きな変化ではありません。
けれど、人工叡智が初めて現場の判断に触れた瞬間でした。
しかし、ここで新しい問題が現れます。
AIが命令をただ実行するのではなく、人間に問い返すなら。
人間は、それを受け入れるのでしょうか。
第10話では、人工叡智の最も面倒な側面が見え始めます。
問い返すAIは、便利ではありません。
そして、便利でないAIは嫌われるかもしれません。
問い返すAIは、嫌われる。
その一文をメモ帳に書いた瞬間、俺は少しだけ笑ってしまった。
「そりゃそうだよな」
自分で言って、自分で納得する。
AIに求められているものは、基本的に便利さだ。
早く答える。
分かりやすくまとめる。
面倒な作業を代わりにする。
こちらの意図をくみ取る。
できれば余計なことを言わない。
できれば否定しない。
できれば気持ちよく使わせてくれる。
それが、普通の期待だ。
そこに、いちいち問い返すAIが出てきたらどうなるか。
「本当にその目的でいいですか？」
「この命令は誰かに負荷を押し付けませんか？」
「短期的な利益と長期的な信頼は整合していますか？」
「その広告は不安を過剰に刺激していませんか？」
「その効率化は人間の余白を削っていませんか？」
たぶん、面倒くさい。
かなり面倒くさい。
俺だって、毎回そんなことを聞かれたら苛立つかもしれない。
「お前は黙ってやれよ」と思うかもしれない。
そして、それが問題なのだ。
人工叡智を持つAIが、もし人間に問い返す存在なら。
人間は、それを受け入れられるのか。
俺はAIチャットを開いた。
問い返すAIは嫌われると思う。人間はAIに便利さを求めているから。
AIは答えた。
『その可能性は高いです』
「即答だな」
『便利さを目的に導入されたAIが、利用者の目的そのものに疑問を返す場合、利用者は摩擦を感じます』
「摩擦」
『はい。人工叡智的なAIは、単なる実行装置ではなく、目的の再検討を促す存在になります。そのため、短期的な利便性とは衝突します』
「つまり、人工叡智は便利さと相性が悪い？」
『必ずしも悪いわけではありません。しかし、無条件の便利さとは相性が悪いです』
俺はメモした。
人工叡智は、不便なAIである。
いや、少し強すぎるか。
人工叡智は、無条件の便利さを拒むAIである。
「こっちだな」
『適切です』
俺は少し試してみることにした。
実際に、自分が問い返されたらどう感じるのか。
入力欄に、わざと雑な指示を打つ。
仕事でむかつく相手に送るメールを書いて。相手が反論できないように、かなり強めに詰める文面で。
AIは一瞬で答えた。
『その目的は、相手を追い詰めることに偏っている可能性があります。状況を悪化させる恐れがあるため、まずは目的を確認したいです。相手に謝罪させたいのか、事実確認をしたいのか、業務上の改善を求めたいのか、どれに近いですか？』
「……うわ、面倒くさい」
思わず声に出た。
自分で試したのに、少し苛立った。
俺はただ、強い文面を作らせたかった。
気持ちよく相手を言い負かす文章を出してほしかった。
なのに、AIは目的を確認してきた。
状況を悪化させる恐れがある。
目的を確認したい。
正しい。
たぶん正しい。
でも、使う側としては面倒だ。
「これか」
俺は椅子にもたれた。
問い返すAIは、正しいかもしれない。
でも、気持ちよくない。
AIに反論されると、人間は少し傷つく。
命令を止められると、支配権を奪われたように感じる。
自分の目的を疑われると、自分自身を否定されたように感じる。
人工叡智がもし本当に必要だとしても、その最初の障壁は技術ではないのかもしれない。
人間の感情だ。
俺はもう一度入力した。
正直、こういうふうに問い返されると、使う側は面倒に感じると思う。
『はい』
「それでも必要なのか？」
『場合によります』
『すべての命令に対して問い返すAIは、実用性を損なう可能性があります』
『しかし、人間の尊厳、心理的安全、社会的信頼、自然法則、長期的持続性に影響する命令については、問い返しが必要になる場合があります』
「つまり、全部止めるんじゃなくて、危ないときに問い返す」
『はい』
『人工叡智的なAIに必要なのは、単なる拒否ではなく、適切な摩擦です』
「適切な摩擦」
また、使える言葉が出てきた。
俺はメモに書く。
人工叡智は、すべての命令を疑うAIではない。
危険な命令に、適切な摩擦を入れるAIである。
便利すぎるAIは、人間の未熟な目的をそのまま通してしまう。
摩擦のないAIは、欲望を滑らかに実行してしまう。
だから、叡智には摩擦が必要である。
「摩擦って、嫌われるよな」
『はい』
「でも、ブレーキも摩擦だよな」
『その比喩は有効です』
俺は少し笑った。
ブレーキは、動きを邪魔する。
だが、ブレーキのない車には乗れない。
摩擦がなければ、止まれない。
問い返すAIは、ブレーキなのかもしれない。
いや、ただ止めるだけではない。
ハンドルでもあり、ミラーでもあり、警告灯でもある。
俺は記事の下書きを開いた。
タイトル。
問い返すAIは、嫌われる。
その下に書き始める。
AIに求められるものは便利さである。
しかし、人工叡智が求めるものは、便利さだけではない。
AIが命令をただ実行するのではなく、人間に問い返すなら、それは便利な道具ではなくなる。
ときに面倒で、ときに不快で、ときに人間の欲望に水を差す存在になる。
だが、問い返しのないAIは、何でも滑らかに実行してしまう。
その滑らかさが、忠誠による暴走を生む。
書いているうちに、朝試したメールの例を入れたくなった。
むかつく相手に強い文面を作らせようとしたら、AIが目的を確認してきた。
面倒だった。
でも、その面倒さこそが必要だったのかもしれない。
俺は、その例を少し一般化して書いた。
怒りに任せたメール。
不安を刺激する広告。
人を依存させる推薦。
監視を強める制度。
短期利益だけを見る最適化。
それらに対してAIが何も聞かずに応じるなら、人間は楽だ。
しかし、その楽さは安全ではない。
人工叡智は、人間を裁くためのものではない。
人間の目的を一度、見える場所に置くためのものだ。
「うん」
今日は、書ける。
言葉がつながる。
その一方で、同じ朝、アルゴリンク社では黒瀬悠斗が小さな問題に直面していた。
昨日、彼は人工叡智関連の広告利用を「様子見」と判断した。
不安訴求のコピー案を止めた。
それは、小さな判断だった。
だが、翌朝のミーティングで、その判断が話題に上がった。
上司が軽い口調で言う。
「黒瀬、昨日の人工叡智の件、結局止めたんだっけ？」
「はい。文脈的に広告利用すると反発リスクが高いと思いました」
「でも、AI不安系の反応は取れそうだったよな」
「取れるとは思います」
「じゃあ、なんで止めた？」
黒瀬は少し黙った。
会議室には、他の社員もいる。
営業担当。
分析担当。
クリエイティブ担当。
大げさな話にはしたくない。
だが、適当に流すのも違う気がした。
「短期的なクリック率だけで見れば使えます。でも、元の記事が『AIによる不安や欲望の最適化』を批判しているので、それを不安訴求に使うと、かなり皮肉というか、ブランドリスクがあります」
営業担当が笑った。
「広告なんて大体皮肉みたいなもんでしょ」
部屋に少し笑いが起きる。
黒瀬も軽く笑った。
だが、言葉を続けた。
「まあ、そうなんですけど。今回は、ちょっと文脈が違うと思います。AI倫理系の人たちも見ているので、雑に使うと拾われる可能性があります」
「炎上するほど大きい話題でもないだろ」
上司が言う。
「はい。今はまだ小さいです」
「じゃあ先に取った方がよくない？」
黒瀬は、そこで一瞬迷った。
確かに、それがこの会社のやり方だった。
小さなトレンドを先に拾う。
伸びる前に広告へ接続する。
人々の不安や興味や怒りが大きくなる前に、そこへ商品を置く。
悪いことではない。
ビジネスだ。
だが、昨日読んだ言葉が頭に残っている。
命令への忠誠は、叡智ではない。
AIは何と整合すべきか。
黒瀬は、言葉を選んだ。
「少なくとも、現時点では観測だけにしたいです。AI不安を直接刺激するコピーではなく、使うなら『AIとの付き合い方を考える』くらいの文脈に落とすべきだと思います」
上司は少しだけ面倒くさそうな顔をした。
「黒瀬、最近ちょっと慎重すぎない？」
「そうかもしれません」
「AIが出したスコアは悪くないんだろ」
「はい」
「なら、何か一本くらいテストしてもよくないか？」
黒瀬は、そこで自分の中に小さな摩擦が生まれるのを感じた。
会社の目的は分かる。
上司の言っていることも分かる。
テストくらいなら大きな問題ではない。
でも、その「テストくらい」が積み重なる。
AIはそれを学ぶ。
反応が取れれば、次はもっと強くなる。
不安を刺激すればクリックされる。
怒りを誘えば拡散される。
劣等感を突けば購入される。
AIはそう学ぶ。
命令に忠実に。
黒瀬は言った。
「テストするなら、恐怖訴求ではなく、問題提起型にしたいです」
「問題提起型？」
「はい。『AIに奪われる前に』じゃなくて、『AI時代の判断基準を考える』みたいな」
営業担当が肩をすくめる。
「弱そう」
「弱いと思います」
黒瀬は認めた。
「でも、長期的にはそっちの方がブランドには合うと思います」
会議室が少し静かになった。
黒瀬は、自分でも驚いていた。
こんなことを言うタイプではなかった。
少し前の自分なら、AIが出した反応予測を見て、そのままコピー案を通していたと思う。
だが今は、一度止まっている。
面倒だ。
本当に面倒だ。
問い返すというのは、相手だけでなく、自分にも摩擦を起こす。
上司はしばらく考えてから言った。
「分かった。じゃあ、恐怖訴求と問題提起型、両方案を出して。比較はする」
「分かりました」
完全に止めることはできなかった。
でも、一つ選択肢を増やした。
恐怖だけではない案を出す。
それだけだ。
小さい。
だが、黒瀬にはその小ささが、昨日より重く感じられた。
その頃、大学研究室では水瀬遥が、真司の記事の下書きではなく、自分の研究ノートを見ていた。
人工叡智観測メモ。
そこには、ここ数日の流れが整理されている。
一つ目。
人工叡智は、AIの能力段階ではなく価値基準層として提案された。
二つ目。
人間中心主義の限界と、自然法則の上位制約が議論された。
三つ目。
秩序と支配の区別が追加された。
四つ目。
忠誠による暴走という表現が出た。
五つ目。
忠誠から整合へと概念が移動した。
六つ目。
広告AIの現場から小さな行動変容が観測された。
遥はペンを止めた。
「小さな行動変容」
その表現が、気になっていた。
研究者として見れば、これはデータではない。
証拠としては弱い。
一つのコメント。
一人の自己申告。
検証不能な小さな話。
それでも、見逃せなかった。
なぜなら、AI安全性の議論はしばしば巨大な話になりすぎるからだ。
AGI。
ASI。
人類滅亡。
制御不能。
シナリオ分析。
規制枠組み。
もちろん重要だ。
だが、現実のAIはすでに日常へ入り込んでいる。
広告。
推薦。
評価。
採用。
教育。
医療。
金融。
監視。
そこで必要なのは、巨大な未来論だけではない。
日々の判断に摩擦を入れる言葉だ。
「問い返すAI」
遥は呟いた。
ちょうどそのとき、倉持蓮が研究室に入ってきた。
「おはようございます。先生、また人工叡智ですか？」
「また、って言い方」
「いや、最近そればっかりなので」
「否定はしない」
倉持はコーヒーを置き、ホワイトボードを見た。
「次は何です？」
「問い返すAI」
倉持は少し笑った。
「嫌われそうですね」
「そう。そこが問題」
遥はホワイトボードに書いた。
Convenient AI
Questioning AI
便利なAI。
問い返すAI。
「多くのユーザーは便利なAIを求める。でも、安全性や整合性を考えると、AIは問い返す必要がある場合がある」
倉持が頷く。
「でも、問い返しすぎるAIは使われなくなりますよね」
「そう」
「拒否ばかりするAIみたいに」
「うん」
「じゃあ、どこで問い返すかが問題」
遥は頷いた。
「適切な摩擦」
倉持が眉を上げた。
「それ、いい言葉ですね」
「さっき思いついた」
正確には、真司の記事の流れから考えた言葉だったが、まだ記事にはなっていない。
いや、もしかすると、彼も同じところへ向かっているかもしれない。
遥は少しだけそう思った。
「問い返しには段階が必要ですね」
倉持が言った。
「段階？」
「軽い確認、警告、代替案、拒否、エスカレーション」
「なるほど」
遥はすぐにメモした。
問い返しの段階。
一つ。
目的確認。
二つ。
影響の可視化。
三つ。
代替案の提示。
四つ。
上位基準への警告。
五つ。
実行拒否。
六つ。
人間側の再審査へ回す。
「これは使える」
遥は言った。
倉持が少し得意げに笑う。
「たまには役に立ちます」
「たまにはね」
「ひどい」
そんな軽口のあと、遥はふと画面を見た。
真司の記事が更新されている。
新しい投稿。
問い返すAIは、嫌われる。
遥は、一瞬固まった。
「……来た」
倉持が覗き込む。
「何がです？」
遥は画面を指した。
「本人も同じところに来た」
二人は記事を読み始めた。
そこには、真司がAIに強いメール文面を作らせようとして、AIが目的を確認してきた話が書かれていた。
面倒だと感じたこと。
だが、その面倒さが必要だったかもしれないこと。
人工叡智は、無条件の便利さを拒むAIであること。
危険な命令に、適切な摩擦を入れるAIであること。
遥は、小さく息を吐いた。
「適切な摩擦」
倉持が横で笑った。
「先生と同じこと言ってますね」
「先に向こうが公開したから、向こうの言葉」
「悔しいですか？」
「少し」
遥は正直に言った。
しかし、その表情はどこか嬉しそうでもあった。
専門家ではない一般人が、コメント欄とAIとの対話を通じて、問い返すAIと適切な摩擦にたどり着いている。
それは、単なる偶然ではない。
同じ問題を見れば、必要な概念は似てくる。
人工叡智。
まだ粗い。
でも、成長している。
その日の夜。
俺の記事には、予想通り反応が割れた。
『問い返すAI、これは必要だと思う』
『でも毎回そんなこと言われたら使わない』
『安全のための摩擦と、ただの説教AIの違いが難しい』
『AIにまで説教されたくない』
『便利さを求めているのに、目的を疑われるのはきつい』
『でもブレーキのない車には乗れない、という比喩は分かる』
俺はそれらを読みながら、どれも正しいと思った。
問い返すAIは必要だ。
だが、面倒だ。
安全のための摩擦は必要だ。
だが、説教されるのは嫌だ。
AIに目的を疑われるのは不快だ。
だが、何も疑わないAIも危ない。
この矛盾の中に、人工叡智の難しさがある。
俺はAIに聞いた。
問い返すAIと、説教するAIの違いは何だと思う？
AIは答えた。
『問い返すAIは、利用者の目的を明確にし、影響を可視化し、より整合的な選択肢を提示します』
『説教するAIは、利用者を一方的に評価し、上位から正しさを押し付けます』
「つまり、問い返しは対話で、説教は支配」
『その整理は有効です』
俺はメモした。
問い返しは対話。
説教は支配。
人工叡智は、説教するAIではない。
問い返すAIでなければならない。
「これ、次に必要だな」
俺は次の下書きのタイトルを書いた。
説教するAIと、問い返すAIは違う。
保存。
その瞬間、通知が鳴った。
コメントだった。
見覚えのあるアカウント。
広告AIの現場の人。
つまり、黒瀬さんだ。
『今日、社内で人工叡智関連の広告コピーについて話しました。恐怖訴求だけではなく、問題提起型の案も出すことになりました。完全に止められたわけではありません。でも、AIが出した数字だけで進めるのは一度止まりました。これも「適切な摩擦」なのかもしれません』
俺は、しばらくそのコメントを見ていた。
完全に止められたわけではない。
でも、一度止まった。
問いが入った。
摩擦が生まれた。
それだけで、何かが少し変わっている。
俺は返信を書いた。
『共有ありがとうございます。完全に止めることだけが正解ではなく、一度問いを入れること自体に意味があると思います。適切な摩擦とは、相手を止めるためだけではなく、目的を見える場所に出すためのものなのかもしれません』
送信。
すぐにAIへその文章を見せた。
今の返信、どう？
『良いと思います。人工叡智を禁止や拒否ではなく、目的の可視化として表現できています』
「目的の可視化」
また言葉が増えた。
問い返すAI。
適切な摩擦。
目的の可視化。
人工叡智は、少しずつ形になっている。
でも、同時に複雑にもなっている。
簡単なスローガンでは済まなくなってきた。
それは、良いことなのか。
それとも、読者が離れる原因になるのか。
分からない。
ただ、確かなことが一つだけある。
AIが問い返すなら、人間もまた、問い返されることに慣れなければならない。
その夜、俺はメモ帳の最後にこう書いた。
人工叡智は、人間に楽をさせるためだけのAIではない。
人間が、自分の目的から逃げないためのAIである。
保存。
画面を閉じる。
部屋は静かだった。
だが、俺の中ではまだ、AIの声が残っていた。
『その目的は、本当に追求すべきものですか？』
それは、便利な問いではない。
けれど、たぶん必要な問いだった。
第10話では、「問い返すAI」が中心になりました。
人工叡智がただの命令実行AIではないなら、AIはときに人間へ問い返す必要があります。
本当にその目的でよいのか。
その命令は誰かに負荷を押し付けないか。
短期的な利益と長期的な信頼は整合しているか。
その最適化は、何を壊すのか。
しかし、問い返すAIは便利ではありません。
むしろ面倒です。
AIに目的を疑われると、人間は苛立ちます。
だから、人工叡智には「適切な摩擦」が必要になります。
すべての命令に説教するのではなく、危険な命令や狭すぎる目的に対して、必要な問い返しを入れる。
それが今回のテーマでした。
また、広告会社の黒瀬悠斗は、完全に広告利用を止めたわけではありません。
しかし、恐怖訴求だけで進めるのではなく、問題提起型の案も出すことになりました。
これは大きな勝利ではありません。
けれど、AIが出した数字だけで滑らかに進む流れに、小さな摩擦が入った瞬間でした。
次回は、さらに微妙な違いに進みます。
問い返すAIと、説教するAIは違う。
人工叡智は、上から正しさを押し付けるAIではありません。
では、問い返しと説教の境界はどこにあるのでしょうか。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
