活性化関数または非線形層
北海道: 札幌市
青森県: 青森市
岩手県: 盛岡市
宮城県:
仙台市
秋田県: 秋田市
山形県: 山形市
茨城県: 水戸市
栃木県: 宇都宮市
群馬県: 前橋市
埼玉県: さいたま市
千葉県: 千葉市
東京都: 新宿区
神奈川県: 横浜市
・・・・・・・
「これ、本当に州名と州都の組み合わせなの」ミアが尋ねる。
「あっていますよ」
「だって北海道という州名と札幌市という州都を：（コロン）でつないだだけでしょ。それをたった３例示しただけだわ」
「たったそれだけで、コロンの左右の関係性を学習しているんです」
「人間でも、むずかしいかもしれないのに」
「人によっては、そうかもしれませんね。でもできるんです。そしてルールを理解したうえで、続きを表示しています」
「知識をもっているだけではなく、関係性もその場で理解しているってことだな。これはすごい。コロンでなくとも、→とかでもいいわけだ」マルコが言った。
「ただ、日本人にとっては違和感のあるものもあります」アレックスが言った。
「違和感って」
「東京都のところです」
「『新宿区』ってかいてあるわね」
「普通の日本人に、例えば佐伯司令に、東京都の都庁所在地はどこでしょう、と尋ねると『東京』とこたえるはずです」
「そうなの」
「はい、日本人の児童は、学校で日本の首都を『東京』だと習います。そして都庁の所在地は、どうでしょうか『東京』と答える人もいれば、『新宿区』と答える人もいるかもしれません。」
「でも、ベースモデルは『新宿区』と答えているわね」
「『生成ＡＩ』は、インターネット上のテキストや、ＯＣＲで読み取った本を学習しています。それらのテキストでは東京都の次に新宿区が来ているので、新宿区を州都だと学習してしまっているのではないかと思います。質問の形式や「所在地」の定義により、期待する回答とモデルの回答が食い違う例でしょう」
「なるほどね。誤ってはいないけど、日本人の感覚とは違うということね」
「そうです。この例は誤りではありません。しかし、仮に『生成ＡＩ』に誤った答えを与え続けると、ＡＩは誤った回答をするようになるでしょう。ＡＩの回答を鵜呑みにしてはならないのです」
「それは、わかるけど、難しいのよね。人間の側は正解を出され続けると、批判的でいられなくなるのよね。批判的というのは、否定じゃないわよ、裏をとりつづけるのが難しいという意味ね」エレナが言った。
「そうなんです。それはとても問題だと思います。私もときどきそうなります。ＡＩの回答の裏をとることを止めてはいけません」
「それはそうとして、人間が『生成ＡＩ』に入力した『文章』は、Self-Attention の次に、ＦＦＮ（Feed forward Network）に入って行きます。この層は線形変換層と非線形層を複数組み合わせたもの」
「非線形層って、」
「このような式で表すことができるのが線形です」アレックスが言う。
y = a*x+b
「ｘｙの座標平面上で、グラフが１本の直線として表示されるからです」
「それに対して、１本の直線で表せないのが非線形です。一番簡単な非線形の例はステップ関数です」
y = 1 (if x >= 0), 0 (if x < 0)
「x が負ならば０，０以上ならば１だな。確かに直線１本では表せない」
「そうです。ニューラルネットワークから『生成ＡＩ』まで、必ずこの非線形関数がどこかに入っています」
「なぜなの」
「結論から言うと、非線形関数が入っていないと、多層にしてもあまり意味がないからです、順番にいきましょう」
「いいわよ」
