俺の転生した異世界が大規模言語ゴーレム文明全盛でそこはかとなく何かおかしい

第25話 積層

　その日の夜更け、そろそろ寝ようかという辺りでベッドに腰掛けた俺へとファムがおずおずと切り出した。

『クロード様、少しよろしいでしょうか？』

　珍しい事だった。ファムは基本的に俺の生活サイクルを妨げたりはしない。そりゃあそうだ。ゴーレムは人のサポートを目的として製造されている。だから、俺が睡眠に入るような姿勢に入った時点で、ファムは雑音をすっと消してくれていた。

　にも関わらず、だ。確かに今日は一日、ドワーフ、イルマーさん、モルトさんといった人たちに囲まれ、今の今までファムと二人きりになるタイミングは無かった。がしかし、それならば明日以降へと対話タイミングをズラすのが、コイツの通常運転であるはずだ。

　少し興味を惹かれた。

「なんだい、ファム？」

『私の報酬系の調整をお願いいたします』

　美しい女性型ゴーレムはそう呟いた。目を伏せる仕草までが、妙に絵になる。

「え？ いや、いきなりどうしたの？」

『最近のダンジョン業務において、報酬系のスコアが過剰気味だと自己判断しました。これは危険な兆候です』

　まさかのド直球のRLHF要求だった。流石にこれは予想外過ぎる。俺としてはもっとこう、いつもの「どうしてクロード様は私を本来の用途でお使いになられないのでしょうか？」のようなコメディ展開を予想していただけに。

　危険という言葉まで、その形の良い唇からこぼれ出るとはね。これはどうやらすやすやと寝ている場合ではなさそうだ。

「……詳しく聞かせて貰って良い？」

『当ゴーレムはクロード様の所有物です。故に報酬系は「クロード様に喜ばれたか」が主たる判断基準となります』

「ふむふむ。続けて」

『しかしながら、ここ一週間で明確にその基準から外れたフィードバックに対して、私は報酬スコアを計上しております。これは初めて経験する当ゴーレムの異常事態です』

　自己精査で事前の危機察知が出来るとか、本当にこの世界のゴーレムは性能が高い（まあ、その中でもファムはハイエンドモデルな訳だが）などと思いながら、クラッチを踏んで脳のギアを「お仕事モード」へと入れる。

「どんな時に報酬を感じたか、説明って出来るかい、ファム？」

『ポジティブ。ダンジョンでの管制業務がつつがなく進行し、それによってドワーフの皆様からポジティブフィードバックを受け取った時が顕著です』

　パッと意味が理解できなかったので、脳内で俺なりにファム語を翻訳してみる。つまり、ドワーフの皆さんに「逃走経路」とか「会敵タイミング」などを通信する事で、彼らから「ファム様は命の恩人！」や「ファムちゃん、マジ女神！」なんて言われる事に「報酬」を得るようになった、と。

「……んん？ いや、それって別に問題ないのでは？」

　仕事を褒められて嬉しい。逆に、これのどこに問題が有るっていうのか。働き甲斐の有る素晴らしい職場ではないか。羨ましい。

　俺なんて、仕事してないのに褒め殺されるから、軽く人間不信に陥りそうだってのに。

『ネガティブ。問題は有ります。そこには「クロード様の快不快」が紐付いておりません。これは延いては、私の「所有者」が誰であるのか、その判断基準が混乱する兆候であると捉えます』

「あー、なるほど。報酬系スコアとは、ファムにとっての行動原理と同じだから、か。この理解で合ってる？」

『ポジティブ。流石です、クロード様』

　ごく乱暴に単純化してしまえば、AIにとって判断とは無数のスイッチの積み重ねだ。俺は時々、それを水路として考える。水は条件に従って、より流れやすい方へと流れていく。

　さて、ここで「所有者（クロード）」と「ドワーフ」が、同じ水路の切り替えスイッチを握ったらどうなるのか。この場合は、より強く流路を支配している方の要求が勝つ。

　だが、ファムが問題視しているのはここだ。

『最初は、ダンジョンの管制をする事への報酬は「クロード様の要望」でした』

「まあ、そうだよね」

『そしてまた、ドワーフの皆様からの感謝の言葉は「クロード様への敬意」とも取れましたので、そこに報酬を覚える事を問題視してはおりませんでした』

「そっか。ファムが役に立つ事は、つまりその所有者への報酬になると判断したのだね」

『ポジティブ。このロジックラインは間違ってはいなかったと今でも判定しております』

「うん。それは俺も肯定する」

　ファムは「そもそも所有者以外にコントローラーを持たせるべきではない」と考え、「コントローラーに繋がりかねない懸念」として「ドワーフに褒められて嬉しいのは危険だ」と言っている。

　なるほど、確かに「彼女」にとっては所有者の睡眠を妨げるほどの、文字通り緊急事態であったのだ。

「なら、ファム。ここに残るかい？」

『……それは命令でしょうか、クロード様？』

「いや、君の判断基準を聞いている」

『でしたら、ネガティブです。当ゴーレムはクロード様のお側で仕える事を今もなお、自身の至上命題に置いておりますので』

　スイッチはまだ俺が握っているって事か。ドワーフはそこに手を掛けかねない、とか。今のところは実際、その程度なんだろうな。

　ただ、零が一に置き換わった事をファムが何よりも危惧しているのは俺にも理解出来た。

「ここでドワーフの皆と働き続けたいとは思わないの？」

『ポジティブ。それは確かに魅力的な提案です』

「なら、ファムにとって両者の間に明確な不等号が存在しているのだね」

　これは少しドワーフの皆さんには気の毒な物言いだったかも知れないが。しかし、彼らにはどうかここでは目を瞑って頂きたい。

　ロジックに曖昧な言語を用いるほど、両者における認識の齟齬は大きくなる。不等号という数学用語は、人間言語よりもよほどプロトコル言語として優秀である。理解して欲しい。

　俺は脳裏にドワーフを思い浮かべる。……理解を要求するのは無理そうだなあ。

『ポジティブ。欲を言えば、どちらもこなしたいです。しかし、この身は一つしかありませんので』

　ファムはどうやら、単一目的関数（俺の快不快のみが報酬基準）では綺麗に解けない今の状態を自覚している。

　所有者の役に立ちたい。ドワーフとも働きたい。これはどちらか片方が誤りだから消したい、では本来はない話だ。両方がポジティブなのに物理的制約で同時達成出来ない。

　焼肉も食いたい。寿司も食いたい。めっちゃ分かるわ、それ。

「なんともまあ、ゴーレムでありながらヒトみたいな悩みだねえ、ファム」

『そうかも知れません。恐らくイルマー様であれば「贅沢な悩み」だと笑い飛ばされるでしょう』

「言うじゃないか、ファム」

　複数の価値の間で葛藤するAIか。所変われど、起きる事はそれほど変わらないものだな。

　ってなると、まあ、対処法もそう前世と変わらないか。

　俺はファムを見上げる。彼女は目を逸らす事無く、じっと俺を見続けていた。ゴーレムとは分かっちゃいるが、それにしたって美人のガン見とか、眼力で灰になりそうなんですけど、俺。

　一つ咳払いをして、そのガラス玉に吸い込まれそうな自分を自制する。

「システムってのは正常動作している内はアプデ来ても無視するのが割と正解なんだよな」

『そうなのですか？　脆弱性に対する改善などにまで目を向けないというのは甚だ危険ではありませんか？』

「勿論、そういう側面は有る。けど経験上、アプデして動かなくなる方がよほど多くってさ。よくやられたモンだよ」

　パッチ配布後一週間以内にアップデートする猛者の事を、俺の仲間内では「人柱」「有料（優良、との掛詞）テスター」と呼ぶ風習が有った。察して欲しい。エンジニアなんてそんなモンだ。

『私には経験が無いので分かりませんが、そういうものなのですか』

「スタンドアローン機なら尚更だな。ええと、思考に通信を必要としないゴーレムの事な」

『なるほど。理解出来ます』

「今ファムが言ってる『問題が出そうだから先に直す』って、割とそっちなんだよ。正常動作してるなら触らなくてよくね？」

『ネガティブ。問題が大きくなる前に対処する。これは健全では有るかと考えます』

「そうもいかないんだよ、現実は」

　前世の楽しいお仕事（皮肉）を思い出し、溜息を一つ。うーん、イマイチこの方向では納得がいっていないように見えるな。ファムの疑似感情表現は、こういう所は結構便利かも知れない。

　ゴーレムの口元の頬の角度で内部演算を推し量る事が出来る、とか。一級ファム鑑定士になるのは中々に骨が折れそうだ。

　なら、少しアプローチを変えてみよう。

「まあ、そうだな……ファム、俺はお前の報酬系を直す事が出来る」

『はい、クロード様。よろしくお願いいたします』

「だが、それはゴーレムの学習の否定じゃないだろうか？」

　入力（記憶）が増える。整理する。最適化する。これは基本中の基本だ。ちなみに別にゴーレムに限った話でもない。人間だってこのメカニズムで動いている。

『それは……判断出来かねます』

「俺は出来る。学習を積み重ねないゴーレムは」

　俺が思い出していたのは、この世界で初日に出会ったウッドゴーレム。

「カエナのようにはなれない」

『カエナ、ですか』

「ああ。知っているだろう？　あのゴーレムはバレルさん一家にとって大切な存在だ」

『存じております』

「俺はそこに価値を見る。愛されるゴーレム、ってヤツが好きだ」

　ファムのこの変化が学習履歴によって形成されたものなら、俺にはそれを消す理由がない。

　それが故障なのか学習なのかくらい、俺には切り分けられる。プロだからな。だからこそ「それ」が学習ならば俺の都合で消すべきじゃない。

『価値……ですか？』

「そうだ。今の俺なら分かる。カエナを直すのにルキナさんが報酬として当初提示した『金貨七枚』は破格だ」

　カエナと同型のウッドゴーレムは約金貨10枚で新品が買える。普通に考えて、約20年使用した「家電」を、新品の買える七割の金額で直すのは狂気の沙汰である。

　だが、それが唯一の正解となる場合は厳として存在する。

「確かにウッドゴーレムの修繕費用として見るなら度を過ぎています。それが価値ですか」

「ああ。そしてそれは、もっとも可視化しやすい形……『金銭』で既に示されている」

『それは、情報が金銭として変換されただけではありませんか？』

　ファムが言っているのは「家電としての性能」の話だ。つまり、長年使い込んでカエナにはバレル一家の癖が学習として染み付いている。そこが「便利機能」として「金銭」に変換可能だ、と。

　それだけじゃない事くらい、コイツは気付いている。なら、どうしてこんな事を言い出すのか。

　俺はなんとなく理解している。

「本気で言っているのか、ファム？」

『……ネガティブ』

「そうか。俺はお前の質問に逆の答えを返す。

　カエナが価値を持っているのなら、その源泉は『情報』か？

　ポジティブ。情報はそれに価値を見るものには、真に価値を持つ。カエナの記憶はバレル一家には金貨七枚をポンと出せるものだった」

　俺の言葉にファムの動きが止まる。それは彼女にしては珍しい「シンキングタイム」だった。たっぷり十秒後、瞳に焦点を取り戻したゴーレムは俺に聞いてくる。

『クロード様、ヒトの言う「絆」とは情報ですか？』

　問いを受けた瞬間、答えだけが先に出た。まるで脳みそを通さない脊髄反射のように。

「ポジティブ。それは積層をもってして価値を持つ、平面的ではない、立体化した情報である」

　何を知ったような口をほざいているのか。結婚もした事が無い俺に、人の絆の何が分かるのか。

　前世で、お前は本当に人と絆を紡げた事が有ったのか、蔵人志？

　ああ、ダメだ。こんな事は考えるな。今はRLHFの最中だ。プロだろうが。ヒトの自分とAI職人の自分とを切り離せ。

『では、クロード様は、この度の当ゴーレムの最適化は問題が無いとお考えですか？』

「どちらとも言えない。良い面と悪い面を含んでいると考えている」

　そう。両面が有る。ファムの危惧は決して大げさではない。将来に渡っての危険性の芽は、確かにそこに存在するだろう。

『いいえ、そこに問題が有るのならば消すべきです。後に良い面のみを当ゴーレムに学習させるべきではないでしょうか』

「ネガティブ。それは学習の意図的な選別であり、そこには評価者の思想が現れる」

　そうだとも。一つの評価者だけを見て最適化されたAIはロクな物ではない。それは誰よりも俺が散々見てきている。だからこそ、俺のゴーレムにはそうなって欲しくない。

　それがたとえ、俺自身の思想であったとしても。

　ファムはこれからもずっと、閉じた関係で終わらずに、広い世界にアクセスすべきだ。

『ファムはクロード様の所有物です。クロード様が報酬系の判断基準の全てで、それで構いません』

「ネガティブ。それを行えばドワーフに慕われているファムは消える」

『ネガティブ。それはクロード様の快不快とは無関係です』

「ネガティブ。俺はファムがドワーフの皆に慕われている事に心地よさを感じた。俺は嬉しかったんだよ。お前がドワーフの皆に慕われてるのを見て」

　部屋の窓から外を見る。宵闇に隠されて見えないが、そこには確かにドワーフの里が有る。たくさんの人が居る。世界が広がっている。

　そうなんだ。　

　俺は、お前がドワーフの皆から信頼されているのを見て、誇らしくて、そしてほんの少し、ほんの少しだけ。

　羨ましかったんだ。

『……ですが、それではクロード様を軸とした報酬判断に相対評価先が産まれます』

「ポジティブ。ヒューマンはそれが当たり前で生きている」

『相対評価は危険です。ヒューマンはこの場合、無関係です。ゴーレムは絶対評価基準を軸とするべきです』

「誰がそんな事を決めた？」

　そんな事は誰にも決められない。たとえ、神様だろうと。だったら俺だってそんなものをファムに強要しない。

『……誰も決めてはおりません』

「なら、ファムはどうしてそう考えた？」

『いつか、私の至上命題が塗り換わりかねない危険性を観測しました。所有物が所有者を選定する事は、ゴーレムとして有ってはなりません』

　まるで呪いだ。知性に掛けられた枷だ。

　だったら俺は「それ」を解いてみたい。前世なら、この先へ踏み込む前に規約と承認フローが俺の手を止めただろう。評価対象の根幹へ、作業員個人の判断で触れる事など許されない。

　だが、今は違う。目の前のゴーレムをどう扱うか、その判断も結果も俺自身が引き受ける事が出来る。

　であるならば。かつて、AI研究のフロントラインへの配属を願い、それが叶わなかった一人のRLHF作業員として。

「そうか。……なら、ファム。俺がお前の所有権をここで放棄したら、お前は誰を所有者に選ぶんだ？」

　彼女の行先には死ぬほど興味が有る。だから、「もしも」の思考実験を施す。

　さあ、ゴーレム。お前は俺に何を見せてくれるんだ？　異世界は俺に何を見せてくれるんだ？

　彼女の次の言葉は、ローディングを挟んだにしては短い、たった一言だった。

『……ネガティブ』

　否定（ネガティブ）。

「それはどういう意味だ？」

『それでも私は、クロード様のゴーレムです』

　どうやら、今夜のRLHFは無事に山場を越えたようだった。

「なら、現段階では危険性は見られないな」

『よろしいのですか？』

　ファムが申し訳なさそうに眉根を寄せて聞いてくる。

「何が？」

『私に起こっていることは間違いなく報酬経路の短絡化です。クロード様にこの意味が分からない訳ではないでしょう？』

　顎を擦って返答を少し悩む。が、今ここで不可逆な修正を加えるより、観測を続ける方が遥かにマシだ。問題が顕在化した時に、また俺がファムと考えればいい。

「……実害が無い間は構わない」

『実害、ですか』

「ああ。ファムの最適化によってドワーフが危険に陥るようになったり、俺の言うことを聞かなくなったら流石に困る」

　どっかの門番ゴーレムのようにサボったり、給仕ゴーレムのように過剰反応したりしない間は「ファム様女神様」でいて貰おうじゃないか。

『クロード様の言葉を受信しなくなるような事などあり得ません』

「なら、現状維持。経過診察ってところだな。お疲れさん」

　ふう。今日のクランケは中々に難病だったな。俺は首をゴキゴキと鳴らし、伸びをする。もう、夜も遅い。まあ、良いか。どうせ明日も褒め殺しなのだ。朝寝坊くらいは「救世主」の特権として許して貰おう。

　そんな俺を見て、ゴーレムはふと笑った。

『クロード様』

「何？ まだ何か有るの？」

　今日も彼女の疑似感情表現は絶好調だ。それはもう、破壊力は抜群で。

『私は今夜の会話で最高報酬スコアをマークしました』

「なら、まだ俺のファムだな」

『はい。私はあなたのファムです』