第14話 ChatGPTと知能
さて、ちょっと間が空きましたがその間に面白い書籍が刊行されていました。
『大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) 』
という書籍です（刊行は今年の6月20日）。著者は人工知能関係の企業として有名なPreferred Networks創業者で、自身も人工知能関係の研究をされている岡野原さんという方です。
OpenAIのChatGPTやGoogleが最近出したBardは専門用語で「大規模言語モデル」と呼ばれているのですが、この書籍では社会に与えたインパクトだけでなく、現状の技術的課題や大規模言語モデルがどのようにして「知能」を獲得するに至ったかとか、その前段階の深層学習ブーム（2010年代前半）などについて、可能な限り数式を使わずに説明してあって、楽しく読むことができました。
読んで改めて実感したのですが、やはり「本当の」専門家にとっても（私のガチ専門はAI方面じゃないので）今回の件はかなり衝撃を持って受け止められているようです。
ただ、本当に恐ろしいのはChatGPTそのものより、そのベースとなる大規模言語モデルについて「べき乗則」という、凄まじくやばい法則が成り立っていることです。
このべき乗則を非常に簡単にいうと「脳のサイズ」に相当するパラメータ数を増やせば性能が「際限なく」向上するというもので、OpenAIの研究者が2020に発見したものですがあまりにも予想外だったので
「結果をよく確認しなおすようにという指摘や、受け入れられないという反応が重鎮の研究者からもあった」（p.77から引用）
らしいです。身も蓋もない言い方をすれば、どんどん学習データを増やして脳のサイズを増やしていけばいくらでも大規模言語モデルを賢くできるということになります。それまでの人工研究の常識では考えられないことだったようですが、門外漢の私でも「計算機のパワーで好きなだけ賢くできる」という「法則」がいかにやばいかはよくわかります。
また、企業にしてみれば投資対効果が事前に完全に予測可能（計算機に投資するだけでどんどんAIが賢くなっていくわけですから）というわけで、とっても美味しい話でもあります。
そんなこともあり、今に至る大規模言語モデル開発競争が始まったようですが、その先鞭をつけたGoogleがOpenAI / Microsoft陣営に完全に追い抜かれているのは皮肉なものです。「べき乗則」も実はGoogle Researchが2017年に発表した論文「Attention is all you need」で提唱された「トランスフォーマー」という仕組みの上で機能するものだったりします。
さて、大規模言語モデルですが「プロンプト」と呼ばれる質問文の中で「なりきり」を指示するとそれだけで、出してくる回答の精度が段違いに上がるという不可解な現象が知られています。
例えば、誰もが知っている戦国大名の織田信長。彼について普通の聞き方をすると次のような回答が返ってきます。
表現がどことなく英語文献で学習した風味が感じられますが（「最初の日本の将軍」という記述など）、それはともかく通俗的に知られている一般的な織田信長像です（長篠の戦いの年についての間違いなどもありますが）。
そんな織田信長ですが、ここ10年くらいの研究の結果「革新的ではなく、室町幕府復興を目指す比較的穏健で保守的な大名であった」という説がむしろ主流になってきています。誰か一人の新説というより、改めて史料をきちんと拾って読んでいくとこれまでは「裏読み」が過ぎたという話と言えます。
というわけで、そんな最新研究を反映した結果を語ってもらために次のように指示しました。
ちょっと「深み」が足りませんが、ある程度最近の研究の進展を反映した回答になりました。これは一言でいうと「学者になりきってもらう」という指示をすると、本当になりきって、回答もより専門家っぽくなるという現象なのですが「なりきり」で「本当になりきって」しまうというのはちょっと恐ろしい能力です。他にも「ステップバイステップで考えて」と言うと論理的思考能力が上がるとか、色々な謎の呪文が現在知られています。
この「なりきり」や「ステップバイステップで考えて」は「脳の大きさ」に相当するパラメータ数が一定以上にならないと発現しない能力なのですが、この現象について、著者は
「余談だが、人も「成功する」「できる」と繰り返し唱えたり思い続けていると成功したり、その逆に「失敗するかも」「自分はできない」と繰り返し思い続けていると、失敗したり、できなくなったりという現象があるが、本文中学習と同じような現象が人にもおこっているのかもしれない。こうした言葉を話している、もしくは頭の中で考えている間に、無意識下で頭の中で勝手に発生した予測と実際の観測（できる、できない）とのずれをもとにフィードバックがなされ（以下略）（p.117より引用）
と書いておられます。要は人間の脳で起こっている現象と同じなのでは、という考察ですね。
ちなみに、私もChatGPTと対話をしていて「人のようなケアレスミス」を犯すのをちょくちょく目撃しています。大規模言語モデルがもし結果的に、人間の脳（のある部分）に近い状態を獲得できているとすればこれはとても面白いことで、逆説的に大規模言語モデルから脳の仕組みの解明が進むことも考えられます。
本書の最後の方にある「人間自身の理解へ」という箇所でも、以下のようなことが書かれています。
「（中略）人と同様の認識ができるだけでなく、間違いや錯覚までも人と同様に示すことがわかっている（中略）倫理的な問題から人には難しい実験でも、画像認識システムを使えば、人に対するような内部の詳細調査や様々な実験が容易に行える。（中略）同様に大規模言語モデルが人のように対話できるようになっていることから、その仕組みを研究することで、人が言語をどのように理解し、考えるのかを理解できるかもしれない」（p.129）
その次の段落はさらに示唆的です。
「結局のところ、人は異なる知能をもった存在によって、初めて自分たち自身を理解できるのかもしれない」
人工知能の研究というのはコンピュータ黎明期から連綿と続いていて、流行っては廃れての繰り返しですが「人間の仕組みの解明のためにAIを使える」とか「AIの仕組み自体の解明が必要」と専門家がいう領域まで到達した（してしまった）ことは、後世から振り返ったときに一つの画期的な出来事として記憶されるのかもしれませんね。
私自身も、こんな「面白い」時代がまさか2023年に訪れるとは思ってもいなかったことで、これからも毎月のように（あるいは毎週のように）色々な研究が進展していくのでしょう。
次の話では、最近一部でホットな「画像を読み込ませて、それに対して言葉で質問すると回答してくれる」というマルチモーダルな大規模言語モデルについて取り上げてみようと思います。ちょうどタイムリーなことに、MicrosoftのBing AIでその機能が使えるようになったばかりのようですから。これもまた、結構「やばい」代物なので、面白さを伝えられるとよいなと思います。
今回は書籍の紹介がメインみたいなお話ですが、研究方面から見ても本当に面白い事態になっているということが伝わると嬉しいです。
