Self-Attention/Multi head-Attention
Self-Attention/Multi head-Attention
「２０１７年に発表された『Attntion Is All You Need』のエンコーダ部分では Self-Attentionというものが使われています」
「従来と、どう異なるかを見るために、少し前に戻って、まずルオン(Luong)のドット・アテンションを見てみましょう」
「hsはエンコーダーの隠れ層出力、htはデコーダーの隠れ層出力です。両者の内積をとって、softmaxで正規化しています。このαがアテンション、つまりhs（エンコーダー出力）のどこを見ればより良いのかを表しています。
なのでαとhsの重み付き和をとって、hsの注目すべき特徴を強調した c ベクトルを作っています」
「それに対して Self-attention の入力は X ベクトル１つだけです」
「なので、X から３つの写像、a, b c を作ります」
「ふたつじゃないの」
「３つです。この３つの写像は、それぞれ後に意味が明らかになります」
「a, b, c それぞれも８１９２次元なんだな」マルコが尋ねる。
「違います。a, b, c はモデルにもよりますが、ここでは６４次元としましょう」
「なんでだ。次元が小さくなる分、情報が失われそうだが」
「はい、そのとおりです。なので、６４次元の写像を１２８セット作ります。そして６４次元のアテンションも１２８セット用意して、それぞれ写像を投入します」
「なんで、わざわざ小さなアテンションに分割するんだ」
「大きな次元の一つのヘッドでも、文章中のさまざまな位置に異なる重みを付けられます。ただし、表現の仕方が一種類に限られると、異なる種類の関係を同時に捉える能力に制約が生じることがあります」
「アテンションはそういうものだから、そうだろうな」
そこで、複数のヘッドを用意します。それぞれが異なる学習可能な変換を持つため、異なる位置や表現の特徴に注目することができます」
「別の方向って、どういうこと」
「はい、あるヘッドは文法構造、例えば主語と述語という関係に注意を向けることがあります。常に同じ結果になるというわけではありませんが、ほかにも」
共参照 吾輩と猫は同一人物など
話題の中心（重要語）
長距離依存（if→then)
同義語・類義語
時制
否定構造
文の区切りの認識 「。」「、」「改行」
感情語 「happy」「joy」「delight」などが似た方向を向く、等
「否定」を捉えるヘッド
「not」「never」「no」「without」で、文の意味が反転するので、これに注意を向けるヘッド
などを学習する場合があることが観察されています」
「ほんとうに、そういうことがおきるの」
「はい、様々な内部を調べた論文が出されています。ただ、必ず一つのヘッドが一つの文法規則だけを担当するわけではありません。複数のヘッドや層が協力して情報を処理することもあります」
「X が a, b, c 三つに写像されました。それを１２８のアテンションに入れるのですが、一つにだけ注目してみましょう」
「まず、類似度ですが、写像 a と写像 b の内積をとっています。 ルオン（Luong)のドット・アテンションと同じ形です。
「ルートｄってなに」
「はい内積は２つのベクトルの積和ですから、次元がおおきくなると合計値がおおきくなってしまいます」
「そうね」
「合計値が大きくなると、softmaxのところで不都合が起きます」
「なんで」
「softmaxが指数関数だからです、指数関数は１を超えると急に大きくなっていきます」
「そうね」
「数列の中のどれかの数字が突出して大きくなると、他の数字の変化がつぶれてしまいます。だからｄつまりアテンションの次元で割っているのです。ルート６４ならば８です」
「わかったわ」
「次のsoftmaxでは正規化しているだけです。ベクトル内の全ての数字を０～１の中に納めて、さらに全ての数字の合計が１になるように変換しています」
「で、最後にｙを計算しています。これはアテンションαの重みをかけた c ベクトルです」
「どうです、ルオン(Luong)のドット・アテンションと同じ形をしていませんか」
「そうね。最初に X ベクトルを三つに分けたところ以外は同じに見えるわね」
「ところで、Transformer の初出論文 "Attention Is All You Need"[2] においては、いままで使ってきた写像、 a, b, c を Q, K, V という記号で表しています」
「Q, K, V ってあまり見かけない組み合わせね。どういう意味」
「Query, Key, Value です。ここから、Self-Attention が『ソフトな辞書』と捉えられるようになっていくのです。初出論文にはこのように書かれていました」
