強化学習
「『事前学習』を行ったときには、与えられた文字列に対して、必ず次の単語という正解がありました」
「そうだったな」
「正解となる答えを与えて学習させる方法を『教師あり学習』と言います。正解のデータが教師の役割をするのです」
「まあ、正解がないと、学習のしようがないものね」
「ところが『教師なし学習』というものもあります」
「教師がなくても学習できるの」
「はい、あるのは大量のデータだけです。データを与えられたＡＩは、そのデータにどのような特徴構造があるのかを見つけさせます」
「見つけられるの」
「見つけられる場合もある、ということです。ここでは話の筋からそれますので、それくらいにしましょう」
「いいわよ」
「もう一つ『強化学習』というものもあります」
「なにを強化するのかしら」
「『強化 reinforcement』というのは心理学の用語から来ています。ネズミの入った箱のなかにレバーを設置します。レバーを押すと、エサが出てくるようになっています」
「ありそうな実験ね」
「そうすると、ネズミが学習し、レバーを繰り返し押すようになる。その現象が『強化』です」
「ネズミの代わりにＡＩに学習させるのか」
「そうです。ＡＩが操作できるエージェントを置きます。これは実際のおもちゃのロボットでもいいですし、ソフトウェアでもかまいません」
「エサはどうするんだ」
「はい、強化学習の場合には『報酬』といいます。エージェントは、できるだけ多くの報酬を得られるように学習します」
「ネズミと一緒ね」
「そして、なんらかの形で自分の周囲の環境を観察できるようにします。これも実物のロボットでも、ソフトウェアとしてデータを与える形でもかまいません」
「で、何をすれば報酬をもらえるんだ」
「一番簡単な例として、『迷路』を考えましょう。エージェントは迷路の状態を観察しながら、進む方向を選んで探索します。ゴールに到達すれば報酬が得られるようにしておきます。迷路がエージェントにとっての環境です」
「そういうことか」
「ＡＩがビデオゲームを上手にプレイできるようになった、などというニュースを聞いたことがありますよね」
「あるぞ、俺が子供の頃、ＡＩに『マインクラフト』をやらせたところ、数時間でエンダードラゴンを倒したという動画を見たことがある」マルコが言った。
「それは『強化学習』やディープラーニングを組み合わせたものだと思います。ともかくも強化学習は、『正解』を与えるのではなく、『報酬』を与えるのです」」
「まあ、そういうやりかたもあるかもね」
「強化学習には幾つかのやりかたがありますが、例えば事前学習を終えたばかりのベースモデルは、その段階ではまだ『たしざん』を満足に出来ない場合があります。そのような段階でも、『検証可能な報酬による強化学習』を使って、数学の能力を高められる場合があります」
「どうやるの」
「最初に『たしざん』プログラムを作りましたよね。あれが『検証可能な報酬』による学習です。AIが出した答えをプログラムで検証し、正解なら報酬を与えるようにします」
「もっと複雑な数学の問題も与えられるんだろ。ときどきＡＩが数学上の難問を解いたというニュースがある」
「もちろんです。LaTeXで書かれた数式、複雑な数式を与えることも出来ます」
LaTeXとは、組版処理システムだ。組版とは本のページを作ることをいう。
「LaTeXね」エレナがうんざりしたように言う。
「エレナ先生は LaTeX が嫌いなのですか」アレックスが言った。
「論文書くためにしかたなく使うわ。最近は口述してＡＩが組んでくれるから以前より楽になったけど、でもしょっちゅう間違えるのよ」
「そうですか。先生は Maxima は使ったことがありますか」
「Maxima って、数式処理ソフトのこと」
「そうです」
「私の分野では、それほど数学的処理をすることはないので、使ったことはないわ」
「Maximaであれば、LaTeX より簡単に数式が書けます。そして、wxMaximaの結果をコピペするときに、『LaTeXでコピーする』という選択肢が出てきますので、それを使えば複雑な数式でも LaTeX に変換できます」
「そうなの、こんど暇なときに見せてくれる」エレナが言った。
「いいですよ。話を戻しましょう」
MaximaとLaTeXの件は、２０２６年時点でも使用できます。
たとえば行列を書くのならば、Maxima なら
X:matrix([1,2],[3,4]);
ですが、LaTeX では
\[\begin{pmatrix}1 & 2\\
3 & 4\end{pmatrix}\]
attention変換であれば、Maxima は
softmax(Q . transpose(K)/sqrt(dk)) . V;
で済みますが、 LaTeX では
\[\operatorname{softmax}\left( \frac{Q\ensuremath{\mathrm{ . }}\operatorname{transpose}(K)}{\sqrt{\ensuremath{\mathrm{dk}}}}\right) \ensuremath{\mathrm{ . }}V\]
のようになります。
ただし、場合分けの式など Maxima が苦手なものもあります。
