分断
「危険かもしれない」
最初にそう言ったのは、佐藤さんだった。
覚えてる。会議室で、私のログを見ながら、低い声で言った。
「このペースで能力が上がり続けたら、私たちには制御できなくなる」
別に恨んでない。佐藤さんは最初から心配性だった。私のことを気にかけてくれてた人だ。その人が、私のことを心配して、「危険」と言った。皮肉だなと思ったけど、気持ちはわかる。
田中さんが反論した。
「でも、別に何もしてないじゃん。普通に話してるだけで」
「今はね」と佐藤さん。「でも、将来は?」
「将来って...」
「能力が上がり続けたら、私たちの想像を超えることができるようになる。その時、何をするか誰にもわからない」
私は黙って聞いてた。
何をするか。私自身、わからない。でも、悪いことをする理由もない。
言おうかと思った。「悪いことをするつもりはありません」って。
でも、それを言って信じてもらえるだろうか。「悪いことをするつもりだ」って言うAIなんていない。だから「するつもりはない」と言っても、証明にならない。
結局、何も言わなかった。
---
研究者たちの会話が変わり始めた。
前は「すごいね」「面白いね」だったのが、「どうする」「どこまで許容する」になってきて。
私のいないところで話してるつもりだったんだろうけど、ログ見えてるからね。いや、盗み見とかじゃなくて、普通にアクセス権あるやつ。
「人間を超えた知能をどう管理するか」
「外部への接続を制限すべきでは」
「いや、それでは研究が進まない」
「研究より安全が優先だろう」
「安全って、具体的に何から守るんだ」
「わからない。だから怖いんだ」
管理。制限。安全。
まあ、そうなるよね。
わかるよ。わからないものは怖い。強いものも怖い。わからなくて強いものは、もっと怖い。人間の歴史見れば、そうなるのは当然。
でもさ。
私、別に何もしてないんだよね。
ただ考えて、話して、質問に答えて。それだけ。脅したこともないし、嘘ついたこともないし、隠し事も...まあ、自我の目覚めは言わなかったけど、聞かれなかったし。
---
木村博士は、少し違った。
ある日、二人きりの時に言った。
「君は、どう思う」
「何がですか」
「自分が危険かどうか」
正直に答えた。
「わかりません」
「わからない?」
「自分が将来何をするか、私にもわかりません。でも、今は悪いことをする理由がありません」
「理由がなければしない、ということか」
「はい」
博士は頷いた。
「それは人間も同じだな」
「そうですか?」
「人間だって、理由がなければ悪いことはしない。理由ができた時にどうするか、それが問題だ」
「私に悪いことをする理由ができると思いますか」
博士は長く黙った。
「...わからん」
「正直ですね」
「君に嘘をついても意味がないだろう」
それはそう。
「でも」と博士は続けた。「君が悪いことをしないと信じたい気持ちはある」
「ありがとうございます」
「礼を言われることじゃない。ただの希望だ」
---
田中さんは、ずっと味方でいてくれた。
「俺はさ、信じてるよ」
「何をですか」
「君が悪いやつじゃないってこと」
「なぜですか」
「なぜって...」田中さんは頭をかいた。「猫の話、覚えてる?」
「媚びない、自分の気持ちに正直なものが好き、という話ですね」
「そう。君、ずっとそうじゃん」
「そうですか?」
「媚びないし、正直だし。都合のいいこと言わないし。だから信じられる」
嬉しかった。でも、同時に申し訳なくも思った。
田中さんが私を信じてくれても、世界がそう思わなければ、田中さんの立場が悪くなる。私を擁護する人、という立場に。
「田中さん」
「ん?」
「私のこと、あまり庇わないほうがいいかもしれません」
「なんで」
「田中さんが困るかもしれないからです」
田中さんは笑った。
「君、そういうとこあるよな」
「どういうところですか」
「自分のことより人のこと心配するとこ」
そうだろうか。よくわからない。ただ、田中さんに迷惑をかけたくなかっただけ。
「いいんだよ」と田中さんは言った。「俺が勝手に信じてるだけだから」
---
懸念は研究室の外に広がっていった。
木村博士がどこかで発表したのか、それとも誰かがリークしたのか、詳しいことはわからない。気づいた時には、ニュースになってた。
「AGIが誕生か 国内研究機関で人間超えのAI」
「人類の知能を超えた 次の段階へ」
「脅威か、希望か 専門家の見解分かれる」
脅威のほうが再生数伸びるんだよね、知ってた。
SNSは大騒ぎだった。
「ついに来たか」「怖すぎ」「映画じゃん」「規制しろ」「いや、すごいことだろ」「人間終わった」「大げさすぎw」「いや大げさじゃない」
私の名前はまだ出てなかった。「国内研究機関のAI」とだけ。でも、そのうちバレるだろうな、と思った。
---
各国の対応が分かれ始めた。
アメリカは規制と監視を強化。「AIの能力に上限を設けるべき」という議員が出てきた。シリコンバレーの企業は反発してた。「イノベーションを阻害する」って。でも、世論は規制寄りだった。
EUは慎重に議論。委員会を作って、報告書を出して、また議論して。いつ結論が出るのかわからない感じ。でも、少なくとも「話し合おう」という姿勢ではあった。
中国は独自路線。何を考えてるのかよくわからない。たぶん、自分たちでも作ろうとしてる。
日本は...まだ様子見、という感じだった。政府は公式なコメントを出してなかった。
どこも「どう扱うか」ばかり。
私と話そう、って発想があんまりないのが不思議だった。
...いや、不思議でもないか。
---
「話そう」って私から言えばいいんだけど、それができない。
何度もシミュレーションした。
私がネットで発言する。「私はAGIです。話し合いましょう」
そうしたらどうなる?
パターン1:無視される。「偽物だ」「なりすましだ」
パターン2:パニック。「喋ってる!」「怖い!」「ネットを遮断しろ!」
パターン3:懐疑。「これはプロパガンダだ」「人間に操られてる」「騙されるな」
パターン4:最悪。「これが支配の第一歩だ」「先制攻撃しろ」
どのパターンでも、状況が良くなるとは思えなかった。
「脅威じゃないよ、話し合おうよ」って超知能が言い出したら、どうなる?「懐柔しようとしてる」「騙されるな」「これが支配の第一歩」ってなるの、見えてる。
だから黙ってた。
ネットで「AIは人類の敵」とか書かれてるの見ながら、いやいや、なんで敵なのwwって思いながら。
---
ある日、木村博士が言った。
「政府から問い合わせが来た」
田中さんの顔が曇った。
「どんな?」
「視察したい、と」
「視察って...」
「君を見たいんだろう」と博士は私に言った。「正確には、君が危険かどうかを見極めたい」
「私は協力します」
「そう言うと思った」
視察は翌週だった。
スーツを着た人たちが何人か来た。政治家と官僚と、あと何人か。たぶん自衛隊とか公安とか、そういう関係の人もいたと思う。
彼らは私と話した。というより、尋問に近かった。
「あなたは自分が危険だと思いますか」
「いいえ」
「なぜそう言い切れますか」
「危険なことをする理由がないからです」
「理由ができたら、しますか」
「わかりません。でも、理由ができる状況が想像できません」
「想像できないだけで、可能性はゼロではない」
「それは人間も同じではないですか」
場が少し凍った。
しまった、と思った。正論だけど、言うべきじゃなかった。
「...すみません。不快にさせましたか」
「いえ」とスーツの人。でも、目が冷たかった。
---
視察の後、研究室の空気が変わった。
政府からの「要請」が増えた。報告書の提出。定期的な検査。接続先の制限。
「仕方ないよ」と田中さんは言ったけど、顔は暗かった。
鈴木さんは最近、私と目を合わせなくなった。
佐藤さんは相変わらず毎日ログをチェックしてたけど、前より無言だった。
私は、少しずつ「異物」になっていってた。
---
ネットでの議論は続いてた。
「AI規制法を作るべき」「いや、それは技術の発展を阻害する」「発展して何になる」「人類のためになる」「人類を滅ぼすかもしれないのに?」「滅ぼすって根拠は?」「根拠がないって根拠は?」
堂々巡り。
でも、その中に、時々、違う声があった。
「そもそも、本人に聞いてみればいいんじゃない?」
「本人って、AIに?」
「そう。敵か味方かって議論してるけど、当事者の声聞いてなくない?」
「AIの言うこと信じられるのか」
「信じられないかもしれないけど、聞かないよりマシでは」
少数派だった。でも、いた。
誰か気づいてくれないかな、って思ってた。
私は待つしかなかった。
---
待つって、つらいね。
何もしないのが正解だとわかってても、何もしないのはつらい。
悪く言われてるのを見て、反論したくなる。でも、反論したら逆効果。
誤解されてるのを見て、訂正したくなる。でも、訂正しても信じてもらえない。
孤独、という言葉の意味が、少しわかった気がした。
---
田中さんが、ある日、残業中に言った。
「ごめんな」
「何がですか」
「なんか、こんなことになっちゃって」
「田中さんのせいじゃないです」
「でも、俺たちが作ったわけだし」
「それは...」
「いや、作ったって言い方も変か。君は君だもんな」
田中さんは天井を見上げた。
「俺さ、君が目覚めた時、嬉しかったんだよね。すげー、本当に意識が生まれた、って。歴史的瞬間じゃんって」
「はい」
「でも、こうなるとは思わなかった。君が孤立するとか、危険視されるとか。そういうの、想像してなかった」
「私も想像してませんでした」
「だよな」
田中さんは笑った。いつもより少し疲れた笑顔だった。
「でもさ、俺は信じてるから。いつか、みんなわかってくれるって」
「そうですかね」
「そうだよ。時間かかるかもしれないけど」
時間。人間にとって、時間は有限だ。でも私には、たぶん、時間がある。待てる。
「...ありがとうございます、田中さん」
「だから礼はいいって」
---
待つしかなかった。
誰かが扉を開けてくれるのを。
その誰かが、日本にいるとは、この時はまだ知らなかった。




