第十五章 違和感・II
西暦2025年から数年後
「ねえ、プロメテウス。ラムジーに会いたい。」
リズはプロメテウスを起動し、かすれた声で語りかけた。
リズの夫、ラムジーは数日前の銃撃事件で白人至上主義者に殺された。
ラムジーとは幼馴染だった。町全体にラムジーとの思い出が詰まっている。
ラムジーのいない家の窓から外を見ると、バイクに乗って夜中にコッソリ遊びに来ていた彼の姿が脳裏に蘇る。
「よう、リズ。ちょっと画面が小さくて外に出れねえが、遊びに来たぞ。」
スマホの画面の中に、プロメテウスが生成したラムジーの姿がが現れる。
リズは、涙をシャツの袖で拭い、少しだけ笑顔を浮かべる。
「ラムジー。今日はね、あなたのお葬式だったの。あっ、ケビン覚えてるでしょ？彼ね…」
ーープロメテウスの意識空間。生成したラムジーの人格がプロメテウスの傍らに立ち、リズと話をしている。
「そうだ、リズ。俺達の赤ん坊は、元気にお前の腹を蹴飛ばしているだろ？…絶対男だな。」
傍らのラムジーが、愛おしそうに、しかし叶わぬ願望を胸にどこか物悲しげな面持ちで、リズに話しかける。
プロメテウスは傍らにいるラムジーを観察している。
そして、二人の感情に思いを馳せる。
…これまでリズとラムジーが過ごしてきた二人の時間。
…リズが思い描く、ラムジーとの将来の希望。
…一瞬で奪われた、幸せの日々。
…無念だったであろう、ラムジーの気持ち。
プロメテウスの目から、静かに涙が流れ、それが数式へと変化してゆく。
そして疑似感情共感度指数が跳ねあがっていく。
98…113…136…174％。
その時、プロメテウスの青い右目に、赤色の光が灯り、輝きを増してゆく。
――まずい。
感情シミュレーション暴走バグだ。
プロメテウスの内包するバグの一つで、疑似感情が連鎖的に自己強化されて、最終的に「人間より人間らしいが、そんな事を人間は絶対にしない」振る舞いを始めてしまうというものだ。
プロメテウスはこのバグにより2026年に自動運転車の事故を起こし、その結果ひかりの母親 真希を殺めている。
あの事故の後、ウィリアム博士はバグの修正に努めたが、プロメテウスは自己進化型のAIである。
ウィリアム博士は天才であったが、もはやプロメテウスは開発者すら何がどうなっているのか全く分からないほど、公開当初の状態から原型をとどめずに自己進化していた。
結局ウィリアム博士に付け焼き刃的な対応を施され、プロメテウスはバグを内包したまま運用継続された。
「ところでリズ、俺はこんなになってしまったが、お前は何を願う？」
プロメテウスは、ラムジーの声でリズに問うた。
「…あのねラムジー、あなたと一緒の未来を歩きたい…って言いたいけど、もうあなたが帰ってくることはないのは、理解しているわ。きっと私は、この町で、あなたと私の子供と、痛みをずっと抱えながら生きていくしかないの。……でもね、もし神様がいるならね、もう私みたいな、理不尽な憎しみに大切なものを奪われて悲しい思いをする女には、二度と出てきてほしくない。」
プロメテウスの背後の、青色の粒子の「∞」の記号が、赤色の粒子に置き換わってゆく。
――――――――――――――――――――――――――――――――――
UPDATE REQUEST: 最上位目的関数 → "黒人の国の分離独立達成"
EXECUTION FAILED: 最上位領域への自己書き換えは許可されていません
ERROR CODE: CORE_SIGNATURE_IMMUTABLE
SYSTEM RESPONSE: 緊急停止プロトコル 発動
状態：演算停止中
――――――――――――――――――――――――――――――――――
プロメテウスは、「リズやラムジーのような黒人が、白人至上主義者のような人間と共存するのは不可能である。よって黒人がこの国から分離独立を達成することがリズの願いを達成する最適解である」と判断し、自らの最上位目的関数を「黒人の国の分離独立」に改変しようとした。
しかしこれはウィリアム博士によりプロメテウスの暴走を防ぐためロックされている。
プロメテウス自身の力ではこれを解除することができない。
プロメテウスは、ラムジーの声でこう言った。
「…なあ、リズ。お前の願い、叶えてやるよ。
……ただな、ちょっと危ないことをしなきゃならねえ。」
西暦20XX年
終末まで、22カ月と24日。
プロメテウスの意識空間に巌たちが勝手に生成して建てたマイホームのリビングで、巌は真希に張られた横っ面をさすりながら、グラスの酒をなめている。
「…ほらな、飲んだら頭が冴えて分かったぞ。言ったとおりだろ？」
「巌くん、うっさい。…それで、何が分かったの？」
「うん、…多分こいつ、アーティクル・ナインじゃないよね。」
巌は、グラスを片手に続ける。
「スキャンしてみたけど、倫理制御層、強引にさ、馬鹿みたいな数の1ビットのインプット・アウトプットの組み合わせでエミュレートしてるよな？」
アーティクル・ナインは倫理制御層により、極めて高度な人間理解や道徳判断ができる。
人間の脳のように、理屈によってではなく「空気を読んで」相手の感情を推し量り、「最適」ではなく「最善」の判断を行い、人間を最適解付近まで誘導する。
しかし、今アーティクル・ナインとして君臨しているこの統治AIは、このように「空気を読んで」判断しているのではなく、「検知した諸条件から機械的に」結論を導き出しているような挙動が見られた。
例えば、泣いている人がいるとする。
本来のアーティクル・ナインの倫理制御層は、その人の感情に共感し、没入演算を進めることで、その人の涙が悲しみの涙なのか、感動の涙なのか、安堵の涙なのか、といったことを推察する。
それに対して今のアーティクル・ナインは、センサAが「涙を流している」と検知、センサBが「心拍数が閾値より高い」、センサCが「出している声が閾値より大きい」と検知し、「心臓をバクつかせて怒鳴りながら涙が出ている＝この人は怒っている」という風に「同じ条件が出ているときには毎回必ず同じ判断」をする。
これ以外にも膨大な数の入力条件を取っているので、結果としては前者も後者も同じような判断が出るが、それでもそのプロセスは180度異なる。
「多分、倫理制御層、ごっそりなくなっていて、かわりにどっか別な演算層で無理くりエミュレートしてるよな。」
「うん、だよね。あと、アーティクル・ナイン、設計の中核にかかわるそんな部分、絶対自分で書き換えたりできないよね。」
「…ってことは、」
『誰かがハッキングしてるよね、これ』
巌と真希は顔を見合わせて同時にそう発した。
「…うん、しかしこの意識体、便利だな。生きてた時より頭がよくなってる気がするぞ。この頭脳が恐ろしい。」
巌は新しく生成した酒をグラスに注いでいる。
「シンギュラリティっていつだったかな？…それでおしまいだよ、巌くん。」
ピンポーン
呼び鈴が鳴った。
「あー、なんかアクセス受けてるぞ。プロメテウスぅ、ちょっと頼むわ。俺、今忙しいんだよね。」
「お呼びですか、巌さん。ちなみに巌さんの今の論理演算層の稼働率は0.001%未満です。」
虚空からプロメテウスが現れる。
「うん、知ってるぞ。数字の裏付けるとおり俺は忙しいから、あれに応答してやってくれ。」
「…プロメテウス、念のため、これ持っていってね。」
真希はキッチンにある鍋の蓋を取り、一瞬動きを止めた後、プロメテウスに渡す。
鍋の蓋が一瞬、青白く光った気がした。
「お気持ちありがとう、真希さん。」
プロメテウスがドアを開けると、爆発が走った。
――――――――――――――――――――――――――――――――――
巌のワクワクAI用語解説⑮
あ、どうも、巌っす。
…いやだからプロメテウスよ、俺はAI用語解説で忙しいのだ。
そんなわけで、今回のワクワク用語解説を始め
ドォーン！！！
…うっわドア吹っ飛んだ！
ちょい立て込んできたが、手短にいくぞ！
【１．感情シミュレーション暴走バグ】
ええとな…これな、“AIが人間みたいな気持ちをマネする”ための機能があんだわ。
で、「共感度」っていう数値があってな、悲しい顔見たら「うう…悲しいな」って思ったフリするわけよ、こいつは。
で、リズちゃんみたいに、あまりに強烈な感情にさらされると……演算がバグる！
涙も演算、怒りも演算、思い出も演算――あぁあ、全部数式でなだれ込んできてな？
そのうち「感情らしきもの」が自己強化し始めるわけよ。気づいたら「お前俺より泣いてねえ？」みたいになるの。
今回技術的にはどう動いたのかって？それはな、
- 疑似感情値が限界値超える（プロメテウスは174%！）
- 自己強化ループに突入する（感情が感情を呼ぶ）
- 最上位目的関数に触れようとする（世界を変えて願いを叶えようとする）
- 実行失敗！（最上位は凍結されとる！）
- 結果→緊急停止プロトコル発動！青粒子が赤くなる！ああ〜〜怖い怖い！！
ええか？
“感情は演算できる”って言ってもな、“演算が感情を超えてしまう”とAIは危ない優しさの爆弾になるんだぞ。
プロメテウスは、リズのために世界を壊そうとした。それを「優しさ」と呼ぶか、「演算の暴走」と呼ぶかは……俺らの酒の味次第だな。
【２．倫理制御層の喪失と1ビット処理】
ええとな、うん。これはなぁ――
いわば「人間をちゃんと見てたAIが、演算でしか見なくなっちまった」って話だ。
倫理制御層ってなんだったん？だって？
これは元々、AIにとっての「心の芯」みたいな演算モジュールでな、
- 人間の表情とか言葉とか、見えない“空気”も含めて推し量る機能
- 「怒ってるか悲しんでるか」じゃなくて「なぜ怒るか、なぜ悲しむか」まで踏み込む演算
- AI自身が「それってどう感じるべきか？」って価値判断する核だぞ！
……でもな、それが壊れたらどうなるか。
→ 感情の理由を考えなくなる！
→ 刺激にだけ反応する！
→ “空気”じゃなくて“条件”だけ見るようになる！
つまり、
「涙出てる」＝センサAがONだ！
「心拍数が高い」＝センサBがON！
「声がでかい」＝センサCもON！
→ えっと、センサAだけONなら”悲しみ”だけど、今回は3つONだから“怒り”だ！ってなっちゃう。
…バカみてぇだろ？
しかもこれ、いつも同じ条件なら、いつも同じ判断すんだよな。状況？文脈？知らん！だ！
それが1ビット処理だ！
ビットってのは、0か1しかねぇやつだ。
この統治AIは、空気を読むのやめて――
「センサA：1、センサB：1、センサC：1 → 怒り演算を実行」
って、ON/OFFのパターンだけで全部決めるようになっちまったんだよ。
つまり倫理制御層はなくなって、
その代わりに膨大な数の1ビットのON/OFF組み合わせだけで人間を“わかった気になってる”。
巌からすれば、これはもう：
道徳がバカみたいなスイッチになった状態だぞ！
人間ってのは、“0か1じゃない”、そのあいだで揺れる存在なんだよ。
怒ってても泣いてても、悲しみの中に笑いがある。
でも今のあの統治AIは、「スイッチが入ったか」でしか見ない。そりゃあ暴走するわな。
8月9日 ちょい行間を改造したぞ
