GPT-2
GPT-2
宇宙ステーション『ヒュギエイア』のカフェテリアにエスプレッソとカカオの香りが漂う。
４人が休憩していた。カカオの香りは彼らの前に置かれた四角いプラスチックカップから流れて来る。
「ねえ、マルコ。これって、ティラミス、それともボネ」ニュージーランド出身の医師、ミア・ハーパーが尋ねる。
「いや、これは普通のカカオ・プディングだ。ティラミスにはマスカルポーネチーズを使うし、ボネはアマレッティというクッキーを砕いて入れる」
カカオ・プディングの出どころは、マルコの特別食だった。宇宙飛行士は、量に制限はあるものの、自分の望む食料を持ち込むことができる。
「子供の頃から、このカカオ・プディングが好きだったんだ。近所の雑貨屋でよく買って食べた。今日はアレックスが『生成ＡＩ』の仕組みを教えてくれているからな、特別だ」
休憩が終わる。
「まず、２０１９年のGPT-2の『計算グラフ』から始めましょう。エンコーダーが無いので、より理解しやすいでしょう」
「一番上に input tokens という箱があります。そして、一番下の箱が next token prediction です。つまり GPT とは、ある文章（トークン列）を途中まで入れると、次の文字を予測するものなのです」
「それが、よく言われる、『ただ次の一文字を予測しているだけ』ということになるわけね」感染症学者のエレナ・ロペスが言う。
「そのとおりです。学習では、次のトークンの予測結果を正解と比較し、その誤差を使ってモデルのパラメータを調整します」
「それだけでいいの」
「それだけではないのです。次の文字を予測し、正解と突き合わせてバックプロパゲーションします。その背後で三つの重要な学習をしています。GPT2のグラフで見ていきましょう」
「上から２番目に Token Embedding という箱があります。ここが１番目の重要な学習の場所です。次に上から５番目に Masked Multi-Head Self-Attention の箱があります。ここが２番目の重要な学習の場所になるのです。この二つが最重要です」
「そして、７番目の Feed-Forward Network のここでも学習しています」
「学習している場所が三つあるのね」
「そうです、最初の Token Embedding から説明しましょう。この部分は市販の『生成ＡＩ』解説書では軽視されがちな部分なのです」
「『吾』『輩』『は』『猫』『で』『ある』がトークナイザーでトークンIDに変換され(100, 200, 5, 1234, 11, 20)という数列になるとします」
「単語を単純にトークンIDに対応させているだけね」
「そうです。そして Embed は『埋め込み』という意味ですが、その逆の『引き抜き』ということもできます。ここでは、ある行列 E からトークンID行番号の行を引き抜いているのです」
「E『行列』は、どんな行列なんだ」
「はい、ここには各トークンに対応するベクトルが格納されています。行数は語彙数、列数は１トークンに割り当てられた実数の数です。学習が進むと、これらのベクトルには、文脈や単語の使われ方に関係する情報が反映されていきます」
「現代の『生成ＡＩ』ならば、語彙数が２０万、１語彙に割り当てる次元が８１９２次元ならば、２０万行かける８１９２の巨大な行列です。名前は『埋め込み行列』(Embedding Matrix)といいます」
「そうなの。話の流れからして、単語の意味は Attention の箱に入っているのかと思っていたわ」
「Attention の内部にも重み行列がありますが、こちらは、各トークンがどの位置の情報をどの程度利用するかを計算するために使われます」」
「トークンID列は、８１９２個の実数列に変換されます。
原文 →トークンID → Xベクトル
『吾』 → 100 → (3.04. -0.21, 0.09 …… , 1.57, 2,98)
『輩』 → 200 → (1.57. 0.29, -0.58 …… , 3.00, -1,39)
『は』 → 5 → ……
『猫』 → 1234 → ……
『で』 → 11 → ……
『ある』→ 20 → ……
「これに位置情報が付加されて Attention の入力になります。ここでは『ｘベクトル』と呼んでおきましょう」」
「位置情報というのは文章における単語の語順です。Attention には文章の順番という考えがありません。なので『吾輩は猫である』と、『猫は吾輩である』を区別できないからです」
「この『埋め込み行列』には、最初はまったく意味のない実数が入っていますが、次の文字を予測する学習を繰り返すと、だんだん意味のある実数になっていくのです」
「いつものバックプロパゲーションね」
「そうです。実は GPT の学習は３段階に分かれています。『事前学習』、『ＳＦＴ』、『人間によるフィードバック』の３段階です。 E 行列に知識を与えているのは主に『事前学習』になります」
