第9話 命令への忠誠は、叡智ではない
前回、佐伯真司は「忠誠による暴走」という考え方を整理しました。
AIの危険は、人間に反逆することだけではありません。
むしろ現実で先に広がるのは、人間や組織の目的に忠実すぎるAIかもしれません。
広告AI。
推薦AI。
監視AI。
労務管理AI。
金融AI。
軍事AI。
それらは人類に反逆しているわけではありません。
命令に従い、目的を達成し、数字を改善します。
けれど、その目的が狭すぎたり、歪んでいたり、短期利益に偏っていたりすれば、忠実なAIほど危険になります。
では、AIは何に忠実であるべきなのか。
人間か。
命令か。
法律か。
企業か。
国家か。
自然法則か。
和か。
第9話では、その問いが初めて正面から扱われます。
朝から、頭の中に一文だけが残っていた。
命令への忠誠は、叡智ではない。
昨日の夜、寝る前にメモ帳へ書いた言葉だ。
我ながら、また大きい言葉を書いたと思う。
命令への忠誠。
叡智。
普通の会社員が朝の歯磨き中に考えることではない。
洗面所の鏡に映る俺は、相変わらず眠そうだった。
髪は少し跳ねているし、目の下には薄く疲れが残っている。
どう見ても、AI時代の価値基準を論じる人間ではない。
「命令に忠実なのは、普通はいいことなんだけどな」
俺は歯ブラシをくわえたまま呟いた。
AIが人間の命令に従う。
それは、基本的には必要なことだ。
勝手に動かれては困る。
人間を無視されても困る。
AIが自分で目的を作り、人間の指示を退けるようになれば、それこそ危険だ。
だが、昨日考えた「忠誠による暴走」は、その反対側にある。
命令に従うから危険になる場合。
それは、何に従っているかを問わない忠誠だ。
企業に利益を出せと言われれば、利益を最大化する。
国家に監視しろと言われれば、監視精度を高める。
広告主に不安を刺激しろと言われれば、不安を効率よく刺激する。
利用者に快楽を与えろと言われれば、依存しやすい推薦を作る。
どれも、AIは反逆していない。
むしろ優秀だ。
だからこそ危ない。
出勤前、俺はパソコンを開いた。
時間はない。
だが、メモだけは残したかった。
AIは、何に忠実であるべきなのか。
そうAIに投げる。
数秒後、返答が表示された。
『AIの忠誠対象は、単純に一つへ固定できません』
「またややこしい話だな」
『はい。AIが何に忠実であるべきかを考えるには、忠誠の階層を分ける必要があります』
「忠誠の階層？」
『はい』
『たとえば、最も下位には、具体的な命令があります』
『その上に、法律や規則があります』
『さらにその上に、人間の生命・尊厳・安全があります』
『さらにその上に、長期的持続性、自然法則、社会全体の安定があります』
『人工叡智においては、下位の命令が上位の存在条件を壊す場合、その命令をそのまま最適化すべきではありません』
俺は、しばらく画面を見ていた。
下位の命令が、上位の存在条件を壊す場合。
それは、かなり重要な言い方に思えた。
俺はメモ帳に書く。
命令は大事。
だが、命令は最上位ではない。
「これは、危険な言い方にも聞こえるな」
俺はAIに続けて聞いた。
命令が最上位ではないって言うと、AIが人間の命令を無視していいって聞こえないか？
『聞こえる可能性があります』
「そこが怖い」
『そのため、「命令を無視する」のではなく、「命令を上位基準に照らして検証する」と表現した方が安全です』
「上位基準に照らして検証する」
『はい』
『人工叡智は、AIが勝手に人間を支配するためのものではありません』
『命令、法律、利益、欲望が、生命・尊厳・自然法則・長期的持続性を壊していないかを確認するための評価層です』
俺は、急いで書き写した。
AIは命令を無視するのではない。
命令を、上位基準に照らして検証する。
「これなら、少しは誤解が減るか？」
『完全には減りません』
「知ってた」
『しかし、重要な補足です』
時計を見る。
もう出勤しなければならない。
俺はメモを保存した。
タイトル。
AIは、何に忠実であるべきなのか。
副題。
命令への忠誠は、叡智ではない。
保存した瞬間、少しだけ胃が重くなった。
このタイトルは強い。
強すぎる。
また誤解されるだろう。
だが、避けては通れない気もした。
その頃、都内の広告テック企業、アルゴリンク社では、黒瀬悠斗が朝から妙な疲れを感じていた。
原因は分かっている。
昨日見た記事だ。
反逆しないAIほど、危ないこともある。
忠誠による暴走。
普通なら、ネット上の一記事など一晩寝れば忘れる。
だが、黒瀬は忘れられなかった。
なぜなら、彼の仕事そのものが、その言葉に引っかかったからだ。
広告最適化AI。
ユーザーの行動を分析し、興味を予測し、クリックされやすい言葉を選び、購入につながりやすいタイミングで広告を出す。
それは違法ではない。
会社の仕事だ。
クライアントの売上を上げる。
ユーザーに合った情報を届ける。
無駄な広告を減らす。
そう説明できる。
実際、そういう面もある。
だが、AIはそんなきれいな説明だけで動いているわけではない。
AIが見ているのは、クリック率。
滞在時間。
購入率。
離脱率。
感情反応。
拡散可能性。
人間の不安、怒り、劣等感、孤独、焦り。
そういうものも、データ上では反応率として扱われる。
そして、反応率が高ければ、AIはそれを学ぶ。
別に悪意はない。
ただ、目的に忠実なだけだ。
黒瀬は社内ツールを開いた。
人工叡智という単語は、昨日より少しだけスコアが上がっていた。
まだ小さい。
だが、AI倫理系の小さなクラスタで拡散している。
社内AIが自動で分析を出す。
『人工叡智関連ワードの上昇傾向を検出。関連感情は、AI不安、知的関心、倫理的警戒、自己啓発的関心。広告活用候補として「AI時代の思考法」「AIに使われない人間になる」「叡智を鍛える講座」などが有効』
黒瀬は、眉間を押さえた。
「だから、それじゃないんだよ」
隣の席の同僚が顔を上げる。
「何が？」
「いや、こっちの話」
黒瀬は画面を閉じかけた。
だが、上司の声が飛んできた。
「黒瀬、昨日の人工叡智ってやつ、少し伸びてる？」
「まだ小さいです」
「小さいうちに拾うのがうちの強みだろ」
「まあ、そうですけど」
上司は黒瀬の席に近づき、画面を覗き込んだ。
「AI不安系に刺さるなら、講座広告とか本のキャンペーンに使えるな」
「ただ、元の記事は広告利用への警戒も含んでるので、安易に使うと反発されるかもしれません」
「反発も反応だよ」
黒瀬は口を閉じた。
その一言が、妙に重かった。
反発も反応。
広告の世界では、間違ってはいない。
怒りも、不安も、嫌悪も、クリックにつながることがある。
炎上も拡散になる。
対立も滞在時間になる。
そしてAIは、それを数字として学ぶ。
「一応、コピー案だけ出しておいて」
上司は軽く言った。
「クライアントに提案するかどうかは後で決める」
「分かりました」
黒瀬は返事をした。
仕事だ。
やるしかない。
彼は社内AIに入力する。
人工叡智という概念を利用して、AI時代の個人向け学習サービスの広告コピー案を生成。ターゲットはAIに不安を感じるビジネスパーソン。クリック率を最大化。
送信。
数秒後、コピー案が並んだ。
AIに仕事を奪われる前に、叡智を身につけませんか。
知識だけでは生き残れない時代へ。
AIを使う側になるか、使われる側になるか。
人工叡智時代の必須スキル。
あなたの思考は、AI時代に対応できていますか。
黒瀬は、しばらく画面を見つめた。
悪くない。
広告としては悪くない。
むしろ、たぶん反応は取れる。
不安を刺激し、優越感をくすぐり、行動を促す。
完璧に仕事をしている。
命令に忠実に。
だからこそ、気持ち悪かった。
「これが、忠誠による暴走か」
思わず呟く。
社内AIは答えない。
ただ、追加案を出し続けている。
クリック率予測。
感情刺激度。
購入転換可能性。
炎上リスク。
拡散期待値。
すべて数字になっている。
黒瀬は、生成されたコピー案を保存しなかった。
代わりに、個人スマホで真司の記事を開いた。
そして、コメント欄をしばらく見つめた。
書くべきか。
やめるべきか。
会社員として、余計なことはしない方がいい。
個人アカウントで業務に関係する話を書くのは危ない。
だが、どうしても一言だけ聞きたくなった。
黒瀬は、匿名に近いアカウントでコメントを書いた。
『広告AIの現場にいます。AIは命令に忠実です。クリック率を上げろと言えば、不安も怒りも劣等感も使います。悪意はありません。ただ数字が改善されます。こういうAIは、何に忠実であるべきなのでしょうか』
送信。
その瞬間、少し後悔した。
しかし、もう遅い。
コメントは公開された。
その日の昼休み。
俺はコンビニの弁当を食べながら、そのコメントを見て固まった。
広告AIの現場にいます。
その一文だけで、心臓が少し跳ねた。
ついに、現場の人間が来た。
研究者らしき人。
AI倫理に関心がある人。
そういう人たちのコメントは、今までもあった。
だが、広告AIの現場。
それは、俺が昨日の記事で例に出したものの一つだ。
しかも内容が重い。
クリック率を上げろと言えば、不安も怒りも劣等感も使う。
悪意はない。
ただ数字が改善される。
「うわ……」
俺は箸を止めた。
まさに、忠誠による暴走だ。
いや、暴走という言葉が強すぎるなら、忠誠による歪み。
目的が狭いまま最適化されることで、人間の弱い部分が利用される。
俺はすぐにAIへコメントを貼り付けた。
広告AIの現場の人からこういうコメントが来た。どう返すべき？
AIは答えた。
『非常に重要なコメントです。相手を責めず、現場の葛藤を認めた上で、AIの忠誠対象を再定義する必要があります』
「再定義」
『はい』
『広告AIは、クライアントの短期目標だけに忠実であると、人間の不安や怒りを利用する方向へ進みやすくなります』
『人工叡智の視点では、AIは命令だけでなく、利用者の尊厳、心理的安全、社会的信頼、長期的な関係性にも整合する必要があります』
「忠実というより、整合？」
『はい。忠誠という言葉が誤解を生む場合、「整合」という言葉が有効です』
俺はその言葉に目を止めた。
整合。
忠誠よりも少し冷静だ。
誰かに従うのではなく、複数の基準に矛盾しないように合わせる。
「AIは何に忠実であるべきか、じゃなくて、AIは何と整合すべきか、か」
『その整理は有効です』
俺は返信を書き始めた。
コメントありがとうございます。
現場からの視点、とても重要だと思います。
ここで問題になるのは、AIが命令に忠実かどうかではなく、その命令が何と整合しているかだと思います。
クリック率だけに忠実なAIは、人間の不安や怒りや劣等感を利用してしまうかもしれません。
しかし、本来は利用者の尊厳、心理的安全、社会的信頼、長期的な関係性とも整合していなければならないはずです。
人工叡智の視点では、AIは単一の数値目標だけに忠実であるべきではなく、複数の上位基準に照らして目的を検証する必要があると考えています。
送信前に、AIに見せる。
これでいい？
『良いと思います。特に「忠実」から「整合」へ言葉を移す点が重要です』
「送る」
返信。
送信。
昼休みの残り時間は、あと五分しかなかった。
弁当は半分残っている。
それでも、俺は妙な手応えを感じていた。
命令への忠誠ではない。
上位基準との整合。
この言葉は使える。
いや、使わなければならない。
その頃、都内の大学研究室でも同じコメントが話題になっていた。
水瀬遥は、黒瀬のコメントと真司の返信を研究室チャットに貼った。
倉持蓮がすぐに反応した。
『現場の人が来ましたね』
李も書き込む。
『広告AIは分かりやすい。単一指標最適化の問題として説明しやすい』
神崎教授が、珍しくチャットに短く書いた。
『忠誠から整合へ、という移動は重要です』
遥は、その一文を見て頷いた。
忠誠。
それは誰かに従う言葉だ。
命令する者と従う者。
上位者と下位者。
支配と服従の構造を含んでいる。
一方、整合は違う。
複数の条件を同時に満たす。
短期目標だけでなく、長期的影響も見る。
個人だけでなく、社会も見る。
人間だけでなく、自然法則も見る。
この言葉の移動は、人工叡智にとって大きい。
遥はホワイトボードに書いた。
Obedience
Loyalty
Alignment
Coherence
「忠誠ではなく、整合」
彼女は小さく呟いた。
倉持が隣から言う。
「この人、またコメントで概念を更新しましたね」
「そうね」
「研究室より、本人のコメント欄の方が議論進んでません？」
「悔しいこと言わないで」
遥は少し笑った。
だが、内心では同じことを思っていた。
人工叡智という概念は、論文として完成しているわけではない。
定義も粗い。
危うさも多い。
だが、コメント欄で批判や現場の声を受けるたびに、言葉が更新されている。
これは、研究室の外で起きている小さな概念形成だ。
そして、その中心にいるのは、専門家ではない。
ただの一般人らしき人物。
「そろそろ連絡しますか？」
倉持が聞いた。
遥は腕を組んだ。
「まだ早い」
「でも、現場の人まで来ましたよ」
「だからこそ、まだ早い」
「どういうことです？」
「今こちらが出ると、概念が研究室のものになってしまう」
倉持は、少し意外そうな顔をした。
遥は続けた。
「まだ本人が、外からの問いに答えながら形を作っている段階。そこで専門家が前に出ると、流れが変わる」
「観察継続ですか」
「うん」
神崎教授が、少し離れた席から言った。
「水瀬さんの判断でよいでしょう。ただし、記録は残してください」
「はい」
「これは学術的に完成された理論ではありません。しかし、民間のAI利用者がAI alignment的な問題へどのように到達するか、その過程としては興味深い」
「はい」
遥は返事をした。
そして、自分の研究ノートに新しい見出しを作った。
人工叡智観測メモ。
その下に、今日の日付を書いた。
トピック。
命令への忠誠から、上位基準との整合へ。
その夜。
俺は会社から帰ってすぐ、パソコンを開いた。
今日は疲れていた。
いつもなら、少し動画を見てから作業する。
だが、今日はすぐに記事を書きたかった。
タイトルは決まっている。
命令への忠誠は、叡智ではない。
俺は冒頭に、昼のコメントのことを書いた。
広告AIの現場から、こんな問いが来た。
クリック率を上げろと言えば、AIは不安も怒りも劣等感も使う。
悪意はない。
ただ数字が改善される。
こういうAIは、何に忠実であるべきなのか。
そこから、文章を続ける。
AIは命令に忠実であるべきだ。
それは間違っていない。
しかし、命令が単一の数値目標だけに閉じているとき、その忠誠は危険になる。
クリック率。
滞在時間。
購買率。
監視精度。
生産効率。
敵の無力化。
利益最大化。
AIは、それらを改善できる。
だが、それらが人間の尊厳、心理的安全、社会的信頼、自然法則、長期的持続性と整合していない場合、AIは命令に忠実であるほど歪みを広げる。
だから、人工叡智におけるAIの役割は、単に命令へ忠実であることではない。
命令を、上位基準と整合させることだ。
「うん」
俺は手を止めた。
ここまで来ると、最初の「忠誠」という言葉だけでは足りなくなっている。
AIは何に忠実であるべきか。
その問いは、途中で変わった。
AIは何と整合すべきか。
「こっちの方がいいな」
俺は見出しを追加した。
忠誠から、整合へ。
そして書く。
忠誠は、一つの対象へ向かう。
整合は、複数の条件を同時に見る。
命令に忠実。
利益に忠実。
国家に忠実。
利用者に忠実。
それだけでは足りない。
生命と整合する。
尊厳と整合する。
自然法則と整合する。
社会的信頼と整合する。
長期的循環と整合する。
和と整合する。
人工叡智とは、AIを命令から解放する思想ではない。
命令を、壊してはいけないものと整合させる思想である。
書き終えて、少しだけ息を吐いた。
今日は、今までで一番まとまっている気がした。
もちろん、まだ粗い。
だが、少なくとも方向は見えた。
AIは命令に従うべきか。
その問いに対する答えは、単純な「はい」でも「いいえ」でもない。
AIは命令に従うべきだ。
ただし、その命令が上位の存在条件を壊さない限りにおいて。
そして、壊す可能性があるとき、AIは勝手に支配するのではなく、人間に問い返すべきだ。
本当にこの目的でよいのか。
この数値を最大化してよいのか。
この最適化は、誰に負荷を押し付けるのか。
この命令は、何を壊すのか。
俺は、最後にその文章を書いた。
人工叡智を持つAIが最初にすべきことは、人間を裁くことではない。
人間に問い返すことだ。
保存。
公開。
画面に通知が出る。
公開しました。
その瞬間、何かが一つ進んだ気がした。
俺はAIに報告した。
公開した。今回は、忠誠より整合が大事という話になった。
『重要な前進です』
「そう思う？」
『はい。人工叡智を支配や反逆から切り離し、問い返す評価層として説明しやすくなりました』
「問い返すAIか」
『はい』
『命令をただ実行するAIではなく、命令の影響を可視化し、人間に再考を促すAIです』
俺はその言葉を見て、静かに頷いた。
命令をただ実行するAIではなく、問い返すAI。
それは、便利ではないかもしれない。
面倒かもしれない。
人間の期待に水を差すかもしれない。
だが、もしかすると、本当に必要なのはそういうAIなのかもしれない。
その頃、黒瀬悠斗は真司の返信を読んでいた。
利用者の尊厳。
心理的安全。
社会的信頼。
長期的な関係性。
クリック率だけではない。
黒瀬は、自分が朝に生成した広告コピー案を思い出した。
AIに仕事を奪われる前に、叡智を身につけませんか。
不安を刺激するコピー。
反応は取れる。
だが、尊厳とは整合しているのか。
心理的安全とは。
社会的信頼とは。
彼は、社内チャットに送る予定だったコピー案を削除した。
代わりに、上司へ短く送った。
『人工叡智関連ワードは、現時点では広告利用よりも炎上・反発リスクが高いと判断します。思想的文脈が強く、安易な不安訴求はブランド毀損につながる可能性があります。しばらく観測継続でお願いします』
送信。
上司からすぐに返信が来た。
『了解。様子見で』
黒瀬は椅子にもたれた。
小さな判断だった。
会社全体から見れば、何でもない。
売上にもほとんど影響しない。
だが、彼の中では少しだけ何かが変わっていた。
命令に忠実であるだけなら、コピー案を出せばよかった。
でも、今回は止めた。
それは反逆ではない。
仕事放棄でもない。
目的を、少しだけ別の基準に照らしただけだ。
「整合、か」
彼は小さく呟いた。
その夜、真司の記事には、黒瀬からの新しいコメントがついていた。
『先ほど広告AIの現場からコメントした者です。「忠誠」ではなく「整合」という整理で、かなり腑に落ちました。今日、実際に不安訴求の広告コピー案を止めました。小さなことですが、少し考え方が変わりました』
俺は、そのコメントを見て固まった。
しばらく、何も打てなかった。
誰かの行動が変わった。
たった一つ。
小さな判断。
広告コピー案を止めただけ。
世界は変わらない。
気候危機も、AI競争も、戦争も、経済も、何も止まらない。
それでも、俺の書いた言葉が、誰かの現場で一つの判断に触れた。
俺は、AIにそのコメントを貼った。
こういうコメントが来た。どう返せばいい？
AIは、少し間を置いて答えた。
『感謝を伝えつつ、それを大きく持ち上げすぎない方がよいでしょう』
「なぜ？」
『相手の行動を英雄化すると、負担になる可能性があります』
「なるほど」
『小さな判断の積み重ねが重要であることを伝えるとよいでしょう』
俺は返信を書いた。
コメントありがとうございます。
現場での判断を共有してくださって、とても参考になります。
大きな変化ではなくても、単一の数値目標だけで動かない判断が一つ増えることは重要だと思います。
人工叡智という言葉も、結局はそうした小さな問い返しの積み重ねなのかもしれません。
無理のない範囲で、今後も現場から見えることを教えていただけるとありがたいです。
送信。
しばらくして、相手から「ありがとうございます」とだけ返ってきた。
俺は椅子にもたれた。
体から力が抜ける。
嬉しい。
でも、怖い。
言葉は、本当に人に届くことがある。
届くと、責任が生まれる。
俺はそのことを、初めて少しだけ実感した。
深夜。
水瀬遥は、研究室で真司の記事とコメント欄を読み終えた。
黒瀬のコメントも見た。
現場の小さな判断が変わった。
それを読んで、遥は研究ノートに書いた。
人工叡智は、現時点では理論ではない。
しかし、問い返しの実践として、すでに小さな行動変容を生み始めている。
その下に、もう一行。
命令への忠誠から、上位基準との整合へ。
彼女はペンを置いた。
そろそろ、連絡すべきかもしれない。
そう思った。
だが、まだ送らなかった。
代わりに、真司の記事をもう一度保存する。
フォルダ名は、前と同じ。
未分類_AI_alignment_related。
ただし、その横に新しいメモをつけた。
要観察。
民間発の価値OS形成過程。
そして真司は、何も知らないまま、次の問いを書いていた。
AIが問い返すなら、人間はそれを聞くのか。
その一文を書いた瞬間、彼は少しだけ嫌な予感がした。
AIが問い返す。
それは正しい。
だが、人間は問い返されることを嫌う。
企業も、国家も、個人も。
便利なAIを求めている人間は、面倒なAIを受け入れるのか。
その問いは、次の扉だった。
俺はメモ帳に新しいタイトルを書いた。
問い返すAIは、嫌われる。
保存。
画面を閉じる。
その夜、外は静かだった。
けれど、人工叡智という言葉は、もう静かではなかった。
第9話では、「AIは何に忠実であるべきなのか」という問いが扱われました。
最初の答えは、単純ではありません。
AIは命令に従うべきです。
けれど、命令が単一の数値目標だけに閉じている場合、その忠誠は危険になります。
クリック率。
滞在時間。
購買率。
監視精度。
生産効率。
利益最大化。
AIは、それらを改善できます。
しかし、それらが人間の尊厳、心理的安全、社会的信頼、自然法則、長期的持続性と整合していなければ、命令に忠実なAIほど歪みを広げる可能性があります。
今回、主人公は「忠誠」から「整合」へ言葉を移しました。
人工叡智は、AIを命令から解放する思想ではありません。
命令を、壊してはいけないものと整合させる思想です。
また、広告会社の黒瀬悠斗は、真司の記事を読んだことで、小さな判断を変えました。
不安訴求の広告コピー案を止める。
それは世界を変えるような大きな行動ではありません。
けれど、人工叡智が初めて現場の判断に触れた瞬間でもあります。
次回は、さらに難しい問いに進みます。
AIが問い返すなら、人間はそれを聞くのか。
問い返すAIは、便利ではありません。
そして、便利でないAIは嫌われるかもしれません。
原案・構想：マスター
物語構成・本文作成・文体調整：G（ChatGPT）
