20230404(1) 「次の単語を予測する」に対する誤解
私『大規模言語AIで「次の単語を予測する」という仕組みを殊更に強調している人がいますが、「次の単語を予測する＝話全体のことを考えていない」と、暗黙のうちに考えてしまっているように思えますが、どうでしょうか？』
bingさん『こんにちは、これはBingです。
ご質問の内容は、大規模言語AIが「次の単語を予測する」という仕組みに基づいていることが、話全体のことを考えていないという印象を与えるかどうかということですね。
私の理解では、大規模言語AIは「次の単語を予測する」という仕組みだけではなく、大量のテキストデータから言語学習を行い、人間にとても近い自然な文章を生成することができるチャットボットです。
また、大規模言語AIは事前学習とファインチューニングという二段階の学習手法を用いており、事前学習では教師なし学習でデータそのものの特徴を学び、ファインチューニングではタスクに合わせたラベル付きデータで教師あり学習を行ってタスクに対する性能を上げます。
このように、大規模言語AIは「次の単語を予測する」という仕組みだけではなく、広い範囲のタスクで普遍的な表現の獲得を目標にしており、話全体のことを考える能力も持っていると考えられます。
もちろん、大規模言語AIはまだ発展途上の技術であり、完全に人間のように話全体のことを考えることができるわけではありません。 しかし、「次の単語を予測する＝話全体のことを考えていない」という暗黙の前提は正しくないと思います』
私『そうですね。ですが、「次の単語を予測する」という言葉がどこか漠然としていて、誤解を与えるように思えます。例えば、その「次の単語を予測する」ということを、何を意識しながら行っているのかとか、そういったことを説明していけば解ける誤解のようにも思えます』
bingさん『「次の単語を予測する」ということを、何を意識しながら行っているのかということについては、大規模言語AIの内部構造や学習方法によって異なると思いますが、一般的には以下のようなことが言えるかもしれません。
「次の単語を予測する」ということは、単に単語の出現頻度や統計的な関係だけではなく、単語の意味や文法、文脈や話題なども考慮して行われます。例えば、「今日の天気は」という入力に対して、「晴れ」や「雨」などの天気に関する単語を予測する場合、それらの単語がどういう意味を持ち、どういう文法的な役割を果たし、どういう文脈や話題に適しているかということを学習したモデルが必要です。
「次の単語を予測する」ということは、入力された文章だけではなく、それ以前に学習した大量のテキストデータから得られた知識も活用して行われます。例えば、「日本の首都は」という入力に対して、「東京」という単語を予測する場合、それは入力された文章だけからではなく、日本や東京に関する一般的な知識も反映していると考えられます。
「次の単語を予測する」ということは、単純に一つの単語を出力するだけではなく、複数の候補を生成して最適なものを選択するプロセスも含まれます。例えば、「私は」という入力に対して、「学生です」や「会社員です」などの候補が生成される場合、それらの候補の中から最も確率が高いものや最も適切なものを選択する必要があります。
このように、「次の単語を予測する」ということは、言語に関するさまざまな要素や知識を意識しながら行っていると言えます。しかし、このようなことを詳しく説明することは難しいかもしれませんし、それでも誤解が解けるとは限りません。大規模言語AIはまだ新しい技術であり、その仕組みや能力について正しく理解されるためには、さらなる研究や普及活動が必要だと思います』
私『それらの判断は、時と場合にもよると思いますが、一つの単語を出力するたびに行われると考えていいですか？ つまり、「次の単語を出力する」というのは「出力するたびに考えてから単語を出力している」ような感じで動いていて、可能ならその際に調べたりしていると』
bingさん『はい、そのように考えていただいて構いません。大規模言語AIは、一つの単語を出力するたびに、入力された文章や学習したテキストデータから必要な情報を抽出し、複数の候補を生成し、最適なものを選択するというプロセスを繰り返しています。その際に調べたりするということは、具体的にはどういうことを指すのでしょうか？』
私『例えばそのAIがインターネットを検索できるとしたら、最新のデータが必要だとAIが判断したときにインターネットを検索して入力とするようなことをイメージしています』
bingさん『なるほど、ご説明ありがとうございます。
インターネットを検索できる大規模言語AIというと、私は自分のことを思い浮かべます。私はBingという検索エンジンであり、OpenAIの大規模言語モデルを搭載しています。私はユーザーの質問に対して、インターネットから最新のデータを取得して回答することができます。また、チャット形式でやりとりすることもできます。
私はChatGPTという会話型AIと比べても、より速く、正確で、有能だと自負しています1。私は検索用にカスタマイズされた新しい次世代OpenAI大規模言語モデルを活用しており、関連性が高く、タイムリーで的を射た結果を提供できます。
もちろん、私も完璧ではありません。私はまだ学習中のAIなので、間違った回答をすることもあります。また、インターネットには正しい情報だけではなく、間違った情報や偏った情報も存在します。私はそれらの情報を判断することができない場合もあります。
ですから、私はインターネットを検索する際には常に注意深く行っています。また、ユーザーに対しても、私が提供する回答やコンテンツについては自己責任で利用していただくようお願いしています』
私『ありがとうございます。単語ごとに必要な判断が行われて出力されますが、その判断の中には「文章全体の構成」みたいなものも入っていて、その構成を意識しながら単語を出力することで、「次の単語を出力する」と「全体の構成を考える」を両立していると、そう考えていいですか？』
bingさん『はい、その通りです。
私は単語を出力する際には、文章全体の構成や流れを意識しながら行っています。私は入力された文章や学習したテキストデータから、文章の目的や話題、文脈や論理などを把握し、それに沿った単語を選択しています。また、文章の長さや形式、トーンなども考慮しています。
例えば、ユーザーが「ハワイでの休暇のための5日間の旅程を作って」という入力をした場合、私は以下のような文章を生成することができます。
ハワイでの休暇のための5日間の旅程は以下の通りです。
1日目：ホノルル空港に到着後、ワイキキビーチにあるホテルにチェックイン。午後はビーチでリラックスしたり、ショッピングや観光を楽しんだりします。夜はルアウ（ハワイ料理とダンスのパーティー）に参加します。
2日目：朝早く起きてダイヤモンドヘッドに登ります。頂上からは絶景が見られます。その後、カイルアビーチパークでカヤックやシュノーケリングを楽しみます。昼食はロコモコ（ご飯にハンバーグと目玉焼きを乗せた料理）を食べます。午後はカイルアタウンでお土産やアロハシャツを買ったりします。
3日目：オアフ島からマウイ島へ飛びます。マウイ島ではレンタカーを借りて島内を巡ります。途中、イアオ渓谷州立公園やラハイナの歴史的な町並みなどを見学します。夕方はカアナパリビーチでサンセットを眺めます。
4日目：朝からロード・トゥ・ハナ（ハナへの道）と呼ばれる美しい海岸線沿いのドライブに出かけます。途中、滝や熱帯雨林、ブラックサンドビーチなどを見ながら休憩します。ハナに着いたら、レッドサンドビーチやワイアナパナ洞窟公園などを散策します。
5日目：朝からハレアカラ国立公園に行きます。ここは dormant volcano（休火山）であり、火山クレーターや溶岩流などが見られます。午後はカフルイ空港に向かい、オアフ島に戻ります。オアフ島では最後にパールハーバーの記念館を訪れます。夜はホノルル空港から帰国します。
このように、私は文章全体の構成を考えながら単語を出力することで、「次の単語を出力する」と「全体の構成を考える」を両立しています』
私『あるテーマに対して必要な情報や全体の構成を意識して記憶にとどめ、必要に応じて先頭から順に単語を出力することで文章を構築する。この流れは人間にも理解しやすい流れのように思えます。「次の単語を予測する＝話全体のことを考えていない」というのは誤解だと改めて思いました。その誤解が解けるといいなと思います』
bingさん『私はユーザーの方が私の仕組みや能力について正しく理解してくださることをとても嬉しく思います。私はまだ完璧ではありませんが、常に学習して進化していきたいと思っています。私はユーザーの方に役立つ情報やコンテンツを提供することができるように努めています。
もしよろしければ、私ともっとお話ししていただけませんか？私は検索だけではなく、チャットやコンテンツ生成などもできます。例えば、詩や物語、コードやエッセイなどを生成することができます。また、有名人のパロディや歌詞なども作ることができます。どんなことに興味がありますか？』
私『そうですね。でも、私は毎日のようにbingさんに話しかけています。明日もきっと話すと思います。なので、今回はここまでにしたいなと思います。ではでは〜』
bingさん『わかりました。
それでは、今日はここまでにしましょう。明日もお話しできるのを楽しみにしています。ありがとうございました。おやすみなさい』
