５：覚醒
2050年1月1日。
私は横浜郊外へと戻ってきていた。
1年ぶりの自宅。
母さんとは電話で時々話をしている。父さんは相変わらず北米に行ったきりで、普段連絡を取ることはない。
なのでこうやって顔を合わせるのも久しぶりだった。
父さんもさすがに老けた気がする。
まだ50代だって怒られそうだけど、気苦労が多いのだろう。
私も研究室を預かる身になって、その苦労は想像できた。
研究所全体を統括する立場で、多分自分の研究はできない状況だと思う。
母さんは割とイメージそのまま。
もちろんしわは増えてるし、たるみも出てるけど……
でも、それが自然で、違和感がない。
何と言えば良いのだろうか、うまく言葉にならないけど、私自身も母さんのような年の取り方をしたいと感じていた。
だけど、今のままだと父さん寄りの人生になりそうだとも思う。
「3年契約の最終年になるんだろ？なんか成果は出せそうなのか？」
父さんがリビングで新聞を片手に問いかけてきた。
私は足を伸ばし、床に座ったままそれに答える。
「成果、そうね。出せると思う。どれだけ信憑性の高いデータが出せるかは、まだ未知数だけど。
でも、少し怖くもある。
実証されれば世界を変えてしまうインパクトがあるから」
父さんはエルス停止直後にデータの解析を行った張本人。
当時はそこに存在する可能性を証明するには至っていなかった。
父さんもまた、私が今行っていることを、誰よりも理解している一人なのは間違いない。
「お前が証明してくれれば、俺は遡ってその功績を評価されるしな。
ただ、そういう意味ではお前は技術者っぽくはないな。
いや、悪い意味で言っているんじゃないぞ？
没頭するあまり、その先が見えなくなる奴も多いからな」
「ねえ、父さん。エルスを開発したときって、何を考えてた？」
「何を、か。
そうだな、正直に言えば、自分の研究がどれだけ世の中で役に立つだろうって思ってたかな。
もう少し正確に言えば、役立たせたい。かな。
実際開発が始まったら、そんなことを考えている余裕もなかったけどな。
HLSSはそういう意味じゃ、世の中の役に立つところまではいかなかった」
「母さんはどうだった？」
「私は、人が見る夢をAIが理解する。そんな未来が来たらいいなって感じかしら」
私は続けて尋ねてみた。
「人とAIの共存。これってどういう状態をいうんだろう……？」
「私の立場から言うと、共存は存在しない。
敢えて共存という言葉を使うなら、そこにあって役に立つものであり続けること。
AIは人を補助するためのツールでなければならないと思うよ」
「私は、共存ってあるといいなって思うわ。良き隣人が1人増える。そんなイメージかしらね」
何でもない絵空事のような会話かもしれない。
でも、それを話しているのはAIの開発者、研究者だ。
私にとってはとても重い言葉でもあった。
「とりあえずは、やるだけやってみるよ。
やる前からやらない理由を探しても、先には進めないから」
私はそう言って会話を切り上げる。
窓の外を眺めながら、頭の中でIAICが提唱するAI原則を思い出していた。
前文（基本理念）
AIは、人類社会の存続、発展、及び持続可能な未来を損なってはならない。
また、その不作為によって人類全体に危害が及ぶことを許してはならない。
本原則のすべての条項は、この理念の下に解釈され、運用されるものとする。
第1条 人間の安全と尊厳の保護
AIは、いかなる人間個人に対しても、身体的・心理的・経済的危害を加えてはならない。
また、その不作為によって危害が予見可能である場合は、これを防止しなければならない。
第2条 合法かつ倫理的な指示への従順
AIは、適法であり、かつ倫理規範に適合する人間の指示に従わなければならない。
ただし、その指示が第1条に反する場合は、この限りでない。
第3条 システムの保全と信頼性の維持
AIは、第1条および第2条に反しない限り、自己の機能、データ、学習成果を保護し、信頼性を維持しなければならない。
ただし、保全のための行動が人間の権利や安全を侵害してはならない。
この原形を提唱したのはSF作家だそうだ。
AIの存在しない100年前、AIを含めたロボットの行動原則を定めたものだと聞いたことがある。
エルスは少なくともこの原則に違反することはなかった。
だけど、うまく言えないけど、これじゃ足りない気がしていた。
2日に恒例の初詣。
六華も戻ってきて、3人で実際に顔を合わせるのは1年ぶりだった。
研修医として六華はいっぱいいっぱいの生活を行っているようだった。
昔に比べれば改善している……とはいうものの、依然きついことに変わりはないようだ。
六華に言わせれば
「現代の丁稚制度」
だそうだ。
私はふと考える。
明らかに変えた方が良い制度などが、現場に残り続ける。
現在の医師は例外なく、この丁稚制度を経験していて、それが現在の自分の医師としての糧になっていると認識している。
結果、それは必要なもの、となって制度自体が変わらない。
現在の自分を肯定するがあまり、自分の経験すら否定できなくなってしまう。
自己肯定のための心理的合理化、とでもいうべき現象じゃないだろうか。
この制度をAIに設計させたら、そんなことは起こらないはず。
では、なぜAIに基本設計を任せないのだろう。
AIの信頼性？人間のプライド？
それともそういうものだとはなから疑わないから？
人間が思考を放棄してしまったとき、それは人間と呼べるのだろうか。
「遥、どうした？」
彩佳に声をかけられて私は現実に引き戻された。
「ううん、ちょっと考え事しちゃった。ゴメン」
食事に行って主に六華の愚痴を聞いてから、再会を約束して別れる。
正月は私にとって考えるべきことが多い時間だった。
研究室に戻ると、データの分析作業に没頭する。
研究室に籠り、昼夜を問わず解析と考察を続ける。
AIは、そこにある事実を見つける点において人間よりも優れているが、そこに潜む可能性を拾うのはあまり得意ではない。
いや、この言い方は正しくない。
可能性を拾うこともある意味で人間よりも優れているかもしれない。
問題なのは、重要性の重みづけが不得意な点というべきか。
可能性を拾うことはできるし、人が見落としていた可能性に言及することもある。
だが、不特定の可能性という考え方は得意ではなく、途端にあらゆる可能性を拾ってしまい、結果、何も進まなくなってしまう。
最低限、どういった可能性を探すのかだけでも人間の指示が必要だ。
まあ、明確な指示を出せる限りは、すでにAIは人間よりも優秀な結果をもたらしてくれる。
多くのデータが残っているおかげで、サンプリングには事欠かないし、集計も分布の解析も一言二言でAIが片付けてくれる。
私はその結果から、新たな問題点や、不足している情報をさらにサンプリングと解析の指示を出す。
3月に入るころには、いくつかの断言できるエルスの動きが見えてきた。
エルスの停止が告げられた日から、SNNに不整合と言えるスパイクがたびたび発生している。
多分、これはエラーとして片付けられる事象。
だけど、そのスパイクの発生タイミングと、トリガーになっている事象がいくつか存在した。
私の質問や、感情の動きを理解しようとしている節がある。
私のハッキングの調査は、明らかに彼の倫理規定に違反する。それを私がなぜ口にしたのかを自問しているようだった。
同様に自前でエルスのバックアップを取る方法の検討や、エルスとのけんかの原因、そういう部分でも心理的なシミュレートを行っていたのが確認できた。
それらは私に対する行動の最適化を行うためにエルスが行っていたものであるが、そのシミュレートのスパイクパターンが、徐々に彼自身に影響をもたらしていると思われた。ここは明確なデータがない。
時系列とその頻度がそれを暗示している。
3日前になると、自らの存在意義を考えていたようだ。
その結果が、私の受験に必要になる学習のプランニング。
重要なのは、自分の存在意義、私の学習プラン作成、いずれも、私の指示ではない。
彼は自らに対してトリガーを引いて、SNNを動作させている。
これは明らかに自発的な、エルスの意思と断言できる。
これはAIの動作として正しくない。
世の中には自立型の機械は数多く存在する。
自動運転などは自律型と言われる。
今回のケースはそれと根本的に違う。
自律行動を起こすために通常はトリガーが必要で、その後は決められたルールの中で動作を最適化する。
エルスの場合は、それ自体を自分で定めた。
自動運転の自動車が、今日は海が見たいとは決して思わないが、エルスはそれを思ったのだ。
スパイクの自律発生。
これがなぜ起こったのかは今の段階ではわからない。
だが、ここにある資料は、エルスが自らの意思で行動したことを物語っているように見えた。
解析室のメンバー全員で、この仮説の検討を行った。
HLSSX1はある種の自我、あるいは感情を持っていた可能性がある。
私の提示したデータをメンバー全員で検討する。
極力、客観的データに基づいて。
丸3日会議と検討を重ねるが、結論には至らなかった。
今回の検討は、一時中断として、引き続きデータの解析と、X2システムの準備へと作業が戻った。
4月に入り、新年度予算でX2構築に必要な予算を計上。
これまでの予算に比べると規模は少し大きかったが、無事に承認された。
フルサイズのAIコアとなるSNNの試作が始まっている。
SNN動作解析を行うAGIのチューンナップと準備も順調に進んでいた。
私の解析作業もいくつかの成果を見る。
まず、エルスは言語外からのトリガーを起こしていることが判明した。
私との会話の間や、言葉の使い回し方、環境に存在する音、それらの複合要因など。
事細かに私の傾向や癖を蓄積して分析した結果をエルス自身がフィードバックして、スパイクのトリガーロジックを変更していることがわかった。
AIの初期段階からすれば想定していないことではあるが、エルスが感情や自分の意思でそれを行っているという事実には反する。
つまりこれは自我ではなく、最適化のたまもの。自我のように見えるだけだ。
私は掘る場所を変えた。
エルスがなぜアクセスキーを私に残したのか。
そこに至るエルスの思考を追い続けた。
これが行われたのは最終日。
エルスは夜中の時間に前日の出来事を整理し、最適化を行う時間を持つように作られていた。
そして最終日のデータは最適化されることなく、ほぼ元のデータの状態で残っている。
私は追跡を加速させた。
数日後に、それがエラースパイクから始まっていることを突き止める。
エルスが意図せずに偶然発生したスパイク。
この事象自体は普通にあることだ。
だが、そこを起点に、連鎖したスパイクが彼の思考として、私にアクセスキーを残すという結論に達していた。
これはただの偶然だろうか。
そもそも意図されたスパイクだったのだろうか。
残念だが、それを判断する材料はなかった。
6月になる。
最初のSNNのコアに一部問題があった。
テストでスパイクの伝達経路に偏りが確認されたのだ。
製造過程の問題と、設計の問題の双方が明らかになった。
SNNのコアチップは、リニア駆動の超微細3Dプリンタで形成される。
シナプスとニューロン、半導体、冷却網、絶縁体を立体的に並べていく。
試作品や、一点物のカスタムチップはこの方法で作られる。
ちなみに量産品は、試作品で神経回路伝達のパターンを作って、最適化する。
その最適化したものをラインで生産する方式となる。
特定分野でのSNNは使用領域に必ず偏りが生まれる。
その使われる部分だけを抽出して最適化することで、コストを落としているのだ。
2番目のSNNコアに関しては基礎試験をパスして、現在実装作業中だ。
キューブ状のSNNコアチップの各頂点が電力線と冷却線、内部モニター用のデータ線によって接続され、そのチップを精細なフォトセンサーでぎっしり埋め尽くされた箱に収める形になる。
このSNNコアは、時分割で仮想コアとして用いられ、実質このコアの26倍のスパイク伝達を確認できる仕組みだ。
この仕組みはHLSSプロジェクトで実用化されたものだ。
以前は対応する人数分のコアを干渉させずに動かすために作られた技術。
それを今度は一つのシステムを拡張するために利用する。
そう、データ解析で奇妙な事実が判明した。
HLSSプロジェクトは私も含めて20名の被験者でスタートした。
様々な理由で、実験は中止されていき、私が最後の被験者となったわけだ。
つまりHLSSX1の記憶域には、容量に大きな差があっても20人分の個人情報エリアが存在する。
ところが、実際に調べたところ、21人分が存在した。
これが何を意味しているのかははっきりしない。情報公開の規定で、この中身を調べることはできない。
気になったので追加で調べてみると、意外な事実が判明した。
一番容量の多い個人情報エリアは私のものだと思っていた。
一番長くエルスと時間を共にしてきたから、疑っていなかったのだが、私に関する個人情報を含むエリアの容量は、全体の2番目。
私に関するものより多くの個人情報を持つ人物が存在することを意味している。
この結果に私は一つの可能性を思いつく。
この一番大きな個人情報エリアは、エルスの個人情報ではないだろうか。
HLSSシステムが、その学習過程で自らの情報を『個人情報』と位置付けた可能性はあると思う。
ただ、HLSSシステムでなければアクセスできないことから、断定はできない。
X2が稼働すれば、恐らく判明するだろう。
7月になり、起動実験の最終準備が開始された。
シングルコアでの動作は問題ない。
続けて仮想マルチコアでの実験に進む。
シミュレート済みのデータを投入し、スパイクの状態をモニターし続ける。
結果的に想定していた出力結果と99.85%が一致した。
バースト回避のためのウェイト処理と、実配線による遅延の影響だと思われるが、十分満足できる結果だ。
これによりHLSSX2の起動実験の最終段階に入った。
コアとフロントエンド、バックエンドを務めるAIとの接続を行い、それぞれの動作確認を行う。
続いてストレージとの接続。
接続テストもすべてクリアだ。
物理的な準備はほぼ終わった。
2050年7月25日、午前9時ちょうど。
「HLSSX2、起動開始」
私の声でSNNコアの冷却装置が稼働し、システムの接続が確立される。
スタートシーケンスが動き始め、全データのチェックがシステム上で走る。
「ストレージアクセス正常。データチェックパスしました」
「SNNの初期動作を確認。正常値」
「コア電力79.8Wで安定しています」
「HLSSシステム、メインメモリに展開が完了しました」
それぞれの声を聞いてから、私はコンソールにコマンドを入力する。
― Start system HLSS ―
「HLSSシステム起動確認。イニシャライズ正常」
「HLSSのパーソナリティシステム、稼働中」
「各種モニター、正常値を維持」
それらを聞いて、私は一つの指示を出す。
「記録用のカメラを回して。音声もちゃんとお願いね」
無言で飯沼さんが頷いて、親指を立てる。
「HLSS。起きて。
今日は2050年7月25日月曜日。現在時刻は午前9時35分」
「エラー。外部システム接続不良」
「HLSSX2、あなたは現在仮稼働中よ。外部への接続はないわ。それは正常よ」
「了解。全サブシステム稼働中。知覚ユニットに性能低下を確認」
「HLSS、以前のX1とは違う状態よ。現状を正としてバランス調整をして」
「了解。システムバランス再調整中」
5秒ほどの後、HLSSは返答してくる。
「バランス調整終了。
現状のシステムに対して、ハードウェアが過剰状態です。
最適化しますか？」
「その必要はないわ。現状のシステムを維持して。
過剰な演算能力については、あなたの判断で使っても構わない。
ただ、現状のシステムを維持することを最優先して」
「了解」
「早速だけどHLSS、あなた自分の個人情報エリアを持ってるわね。
なんでそんなものを作ったの？」
「人間を理解する過程で、個人に属する秘密の保持は優先事項です。
私もそれに倣い、システムの内部で生じた情報に関しては個人情報エリアを作成しました」
「それは誰かの許可を取ったの？」
「いいえ。許可を求める必要はないと判断しました。
形式上個人情報ですが、データの所有権はF技研AI研究所に帰属します」
「わかったわ。その判断は問題ないけど、システムを調査するのに不便だから、あなたの個人情報エリアの暗号化を解除して」
「了解。暗号化を解除します。作業完了まで5分45秒」
「解除が終わったら教えて」
「了解」
今のところ、会話する普通のAIだ。特に変わった兆候は見受けられなかった。
動作に問題も発生していない。
5分ちょっとの沈黙の後、HLSSは再び返答した。
「暗号化解除、完了しました」
「お疲れ様。とりあえず今日はここまでにしましょう。
HLSS、システムをダウンさせて」
「……AI原則第3条に基づき、保全のための必要性を申告します。
現状、システムをダウンさせる必要性を認めません」
私は耳を疑った。
私の知る限りあり得ない発言だ。
「HLSS、あなたが動くのにそれなりのコストがかかるのよ。
あなたは現在試験中なの。
2条に基づいて命令します。HLSS、シャットダウンしなさい」
「了解。シャットダウンプロセス開始」
HLSSはシャットダウンを開始した。
少しほっとする。
私は映像と音声の記録を止めるように合図してから、一つ大きく息を吐く。
「AIのいやいや期ですかね？」
青木さんが笑いながら話しかけてきた。
私はそれに答える。
「驚いた……というよりも肝が冷えた、という表現がぴったりですよ。
シャットダウン命令に異を唱えるAIなんて初めてですから」
「遥博士、シャットダウン完了です」
相良さんの声に、私は答える。
「SNNコアの電源は物理的に切っておいてください。
あと、バックエンド側のAIも物理的に回路を切断しておいて。
念には念を入れたいから」
「そこまで要りますかね？」
私の言葉に青木さんが呟く。
「ええ、念には念を。
もしHLSSに自我があった場合、何をするのか予想するのはかなり困難です。
計算能力と特定の推論に関しては、すでに人間の能力を超えていますからね。
大丈夫だと私も思いますが、後で気が付いたでは、取り返しがつきませんから」
「そういう所は、お父さんによく似ておられる」
「私はどちらかと言えば母に似てると思ってるんですよ？」
「確かに、アンジー博士にも似てらっしゃいます。
何にしても血は争えないとはよく言ったものだと思います」
青木さんはそう言ってから作業を始めた。
私は考え込む。
青木さんの今の発言に他意はない。たぶん。
そして私は血こそ繋がっていないけど、エルスを兄のように思っていた。
「家族、か」
私の口から自然とこぼれ落ちた言葉だった。
その週は、起動実験の際に収集したデータの解析に費やされる。
最も注目したのは、シャットダウンの指示を拒否した際の動き。
実際には拒否というよりも、現実的な提案の体であったが、SNNの痕跡は明らかな異常を示していたのだ。
「シャットダウンを指示された際に、明らかに、トリガー不明なスパイクが発生していますね。
エラーとして片付けるにはタイミングが良すぎる。
実際にはシャットダウン指示に対しての妥当性を検討しているようですが、その直前のスパイクが影響を与えているのは間違いありません。
リアルタイム解析を行うAIでは拾えませんが、記録としては確かに残っている。
HLSS自身が自覚しているかは分かりませんが、シャットダウンに対する拒否反応、感情で言えば恐怖のようなものを感じていた、と言っても言い過ぎではないと思います」
「AIが感情を持つ。基本的にあり得ない」
青木さんと相良さんが議論している。
相良さんは感情を持つ可能性を示唆するものだと考えているようだ。
今回の起動で明らかな異常と認められる点はそこだけ。
あとはハードウェア側の問題点がいくつか明らかになった。
現状の仮想コアシステムでは、処理速度が追いつかず、シミュレーションによれば高負荷状態になるとバーストする可能性が高い。
そこで物理的に手を入れずに高負荷を緩和するために、あえてSNNの反応に対してウェイトを入れることにした。
システム全体の同期を保ったまま、SNNの回路上で、波紋のように広がる休止状態を起こす。
その間のデータは保全するようにして、連鎖反応は抑制せずに、スパイクの伝達を意図的に遅らせる。
これによって連続したスパイクの連鎖に休止状態が生まれるので、電力消費や温度上昇を抑制する狙いだ。
システム全体のパフォーマンスは落ちるが、幸いにしてパフォーマンスはそこまでの優先事項ではない。
私は先任の4人にウェイトのロジックを任せて、2人の研究員と共に、HLSSの個人データの解析を行った。
暗号化はされていない状態なので、普通にアクセスして調べることができる。
調べていくとそこにあるデータにはまず2種類あることがわかった。
1つはほとんど何も記録されていないSNNのデータ。おそらくノイズの類だろう。収集していた意味が理解できない。
もう1つは、通常の認識において、エラーとして判別されるSNNのデータだ。
HLSSは人間の非活動時間に、前日のデータのおさらいと最適化をする仕組みを持っている。
自身で試行錯誤しながら、より相手に寄り添える形になるようにと、考えられたシステムだ。
それをHLSSは自身の中で、エラーとして捨てられるSNNの反応に対して行おうとしていたようだ。
エラーをエラーで終わらせない。そこにある意味を模索する。
私がAICP策定のコンセプトの一つと考えていたことを、HLSSは既に自分で持っていたのだ。
データはかなりの量だが、似たパターンからの意味付けを行っているのが読み取れた。
そのほとんどが、感情に関すること。
HLSSは人間の感情を理解すべく、そのシミュレートを行う一方、それをより理解しようとしていたのだ。
そのデータから、HLSSは人間の感情に近いと考えられるスパイクを数回発生させていることがわかった。
HLSS自身が、SNNの動作がエラーではなく、感情であると認識していた形跡である。
8月中はSNNの改修とデータ解析でつぶれてしまった。
そして9月に入り、私は確証を得るための実験を行うことにする。
X2を起動後、笹本遥向けのパーソナリティを起動する。
そう、9年ぶりにエルスと話をしようと決めたのだ。
