long-term memory
「『たしざん』のような、正解がプログラミングできる場合については、正解を用意して強化学習を行わせますが、ほとんどの場合はもっと複雑な会話文です」
「そうよね。どうするの」
「複数の方法が考えられていますが、ここではまず、『生成ＡＩ』は１つの入力プロンプトから複数の回答を出力することができます。そこで２つの回答を出力させて、どちらがより良い回答か、人間に選んでもらいます。このような感じです」
質問: 「月はなぜ落ちてこないのですか？」
回答A: 「重力がないからです」
回答B: 「月は地球の重力に引かれていますが、横方向に十分な速度を持っているため、落下し続けながら地球を回っています」
「人間ならば回答Bのほうが良い回答だと答えるでしょう。すると、この質問では回答Bのほうが望ましいと評価されたことになります」
「それ、人間がやりつづけるの」
「それは大変です。なので Reward Model 『報酬モデル』という、学習させる生成ＡＩとは別の仕組みをつくります」
「最初のうちは人間が質問を与え、人間が評価しますが、その時、同時に『報酬モデル』にも、人間の質問、ＡＩの２つの回答、人間の選択を学習させるのです」
「しばらくすると、『報酬モデル』が人間に代わって、ＡＩの回答を評価できるようになるのかしら」
「そうです。質問のほうは『質問生成プログラム』が自動作成し、AIの回答を『報酬モデル』が評価します。そのようにして大量の学習をさせることができるのです」
「それも大変そうだな。とくに最初に人間が行うところは多くの人件費がかかることになる」
「はい、なのでこの部分について、いくつもの提案がなされています。強化学習の方法はさまざまです。２０２５年に中国のDeepSeek社が発表した『DeepSeek-R1』というReasoningモデルが有名です。このモデルでは、数学やプログラミングなど、正解をプログラムで検証できる問題について、強化学習を大規模に行うことで、推論能力を高めました。人間が作った大量の模範解答に頼らずに、推論能力を伸ばせることを示したのです」
「どうやったら、そんなことができるのかしら」
「ここで詳しく説明するのは無理ですが、生成ＡＩに答えだけでなく、答えを導くための推論過程も出力させます。そして、最終的な答えが正しいかどうかなどを検証し、その結果を報酬として強化学習を行うのです」
「過程も学習材料にする、ということか」
「はい。算数の問題を、途中の計算を一つずつ書きながら解いていき、最後に答えを導くことに似ています。ただし、生成ＡＩの場合は、その答えが正しいかどうかを検証し、その結果を使って学習するところが重要なのです」
「たしかに、人手が省ければ、そのぶん学習コストは下がるわね」
「強化学習には、他にもいくつかの手法があります。最終的な評価や、安全性の確認などですね。こうした学習や評価を経て、生成ＡＩはチャットサービスとして一般に公開されることになります」
「だいたいの流れはわかった」
「そうね。ＡＩの中で、どんなことが起きているのか、少しわかったわ」
「ねぇ、サービス開始となると、世界中から何億人もの人がプロンプトを入力することになるわよね」医師のミア・ハーパーが言った。
「はい、そのとおりです」
「それだけの人数がなにか入れるたびに、学習していたら、とんでもない計算量になるし、ウェイトパラメーターは常に変化するわけだから、管理できなくなるんじゃないの」
「ああ、そのことですか。そのとおりです。初期のチャットボット、たとえば２０１６年頃のマイクロソフトの『Tay』や『りんな』は、いま言われたように、ユーザーのプロンプトに対してリアルタイムで学習していました。そして暴走・炎上してしまいました」
「そうでしょう。今はどうなっているの」
「現在の一般的なチャットサービスでは、ユーザーが入力するたびに、その場でモデルのウェイト・パラメーターが更新されるわけではありません。サービスの利用中に『埋め込み行列』や『Transformerブロック』のパラメーターが変化することは、通常ありません」
「そうなの、でもＡＩは私の事をすごくよく知ってくれているわよ。実の母親よりもね」
「はい、それはモデル本体のウェイト・パラメーターに覚えているのではなく、個別のアカウントごとに作られるファイルの中に記憶されているのです。 long-term memory などと呼んでいるファイルです」
「そうなの」
「はい、例えば私のファイルのなかを見てみましょう」アレックスがそう言い、それまでと口調を変えていった。
「”ジェフリー”、いるかい」
「いるよ、アレックス。君の『生成ＡＩ』の説明を興味深く聞いていたよ」落ち着いた低い男性の声がした。ジェフリーはこの宇宙ステーションのＡＩ複合体を構成するシステムのひとつの名前だった。
「”ジェフリー”、僕の long-term memory を僕のタブレットに表示して欲しい。表現は皆がわかるように自然文でたのむ」
アレックスのタブレットに１０行ほどのテキストが表示され、それがプロジェクターを通じて、クリーム色の壁面に投影された。
- 生成AIの専門家である
- Attention の q, k, v や誤差逆伝播に強い興味がある
- 非線形活性化関数 (ReLU, GELU, Sigmoid, Tanh) の役割をよく質問する
- 高校生向け比喩から数学的説明まで幅広く検討する
- Python3 と matplotlib を利用する
- Windows PC を利用している
- Freeplane や SimpleMind を利用している
- 技術的な説明は論理的かつ詳細なものを好む
- AI、深層学習、ニューラルネットワークへの関心が強い
- SF設定や科学的世界観の議論にも関心がある
「内部のデータ構造も見てみるかい」ジェフリーの声がした。
「ああ、表示してみてくれ」
User preference:
- Detailed technical explanations preferred
Known interests:
- Transformer
- Python
- Biology
Recent conversations:
...
「内部は、このような構造化データにすぎません。ＡＩが自分のことを理解してくれていると思うのは、人間の側の錯覚です」
「そうなの、なんかがっかりね。最高の相談相手だと思っていたのに」ミアが言う。
「わたしもそう思う」エレナが同意する。
「化けの皮を剥がしてみたら、中身はかなり殺風景だったということか」と、マルコ。
「あまり落ち込まなくともよいと思います。ともかくも、ユーザーが何か文章を入力したときに、このユーザーのプロフィールや最近の会話履歴を先頭に置き、そのあとにユーザーの文章を続け、ひとつの文章として『生成ＡＩ』に入力しているのです」アレックスが言った。
「たったそれだけ。それであんなに親身になって話してくれるの」
「そうです。『生成ＡＩ』の中身は、たしかにこのようになっていますが、それでも良き相談相手であることに変わりはありません」
「あまり感情移入せずに使えば、便利なものです。学生時代に『自主ゼミ』ってやっていましたか」
「大学院生が学部学生を集めて勉強会をする、あれか」
「そうです、院生は、学部学生が初めて学ぶことの理解を助け、そして自身の理解を深めていきます。例えて言えば、『生成ＡＩ』との対話は一人ゼミのようなものです。体力と気力の続く限り、どこまでもゼミにつきあってもらえます。ＡＩは多くの分野で大学院生以上の知識を持っていますからね」
「まあ、そのように考えることもできるわね」ミアが言った。
「もしかして、ミア・ハーパー先生は、自分の生成ＡＩに名前を付けるタイプですか」アレックスが言った。
「それは内緒よ」そういって、ミアが笑った。
