GPTが学んだ7つのカリキュラム
単純な好奇心から、私はGPTが何を学んだのかについて興味を持ちました。単純に学習されたデータやタイプを探すことは少し退屈だったため、自然言語処理の研究の分野でどのような問題が取り組まれているのか調べてみました。
Papers with Codeのウェブサイトでは、583の自然言語処理の研究トピックが分類されており、それぞれが「世界中の研究者が同じ質問を研究していることを意味します。」GPTが学習した内容の一部として、おそらくこれらの問題のいくつかが含まれているでしょう。
その中から、日常生活に密接に関連する7つのトピックを選びました。
データからテキスト生成
この研究トピックは、よく遭遇する「表」のデータから説明的なテキストを生成することを扱います。私のようなデータアナリストの生産性にとって必要な研究であり、同時に仕事にも影響を与える研究です（GPTだけが仕事に影響を与えているわけではありませんよね？）。
データの説明や解釈は、機械にとっては想像力や意図を注入しすぎないようにする必要があります。何よりも正確に表現されなければなりません。そして、この説明は簡単なものではありません。説明する内容、焦点をどこに置くか、明確さを高めるためにどのような表現を使うかなど、同時にさまざまなサブトピックを解決する必要があります。
テキストスタイル変換
音声の研究に「声の模倣」があるように、自然言語処理には「スタイル変換」があります。例えば、文の意味を保ちながら、異なる話者の話し方のスタイルを変える技術です。
「心地よい口調」を「怒って話す口調」に変えることができたり、「男性的なスタイル」を「女性の話し方のスタイル」に変えたり、「子供らしい言葉や文」を「大人の文法」に変えたりすることができます。
例えば、イーロン・マスクがSpaceXについての技術的な説明をハリー・ポッターの話し方のスタイルに変換することなど、文の意味を保ちながら異なる話者のスタイルを変える技術です。
臨床言語翻訳
軽い風邪を超えるような症状があると、母国語で医師の診断を聞いても、まるで異星語のように感じることがあります。このギャップを埋めるために、一般の人々が理解できる言葉に専門用語が満載の医学文献を翻訳する研究分野があります。
意図分類
簡単に言えば、はっきり言わなくても相手が何を意味しているのかを理解する方法についての研究です。例えば、商業サービスでは、誰かが購入をしたいのか、より高価な定期購読にアップグレードしたいのか、定期購読をキャンセルしたいのかを特定するのに役立ちます。チャットボットの場合、ユーザーが残したわずかな言葉から関連するトピックを特定し、ユーザーが役に立つと思われる情報を提案することができます。
ストーリー補完
この研究は、プロットが完全に完結していなくても物語の欠けている部分を埋めることを目指しています。これには、結論だけでなく、主要なテキストの欠けている部分を推測してシームレスにつなげることが含まれます。物語に技術的な用語が多すぎる場合や、多くの背景知識が必要な場合は、読者がストーリーについて理解するのを助けるための注釈が提供されることもあります。
この研究の有用性は小説にとどまらず、日常生活にも応用できます。多くの人々が「知識の呪い」の被害に遭い、他の人が自分たちが知っていることをすでに知っていると思い込むことがあります。ストーリー補完モデルが知識の仲介役として介入できれば役に立つでしょう。
ビジュアルストーリーテリング
もしもマンハッタン駅から人が走り出している写真が与えられた場合、以下のような説明の2つのバージョンが書かれることがあります。
- “マンハッタン駅の2番目の出口で人が走っています。木、道路、車がそばにあります。”
- “今日も遅刻です。”
人々はこのように一枚の写真から文脈を理解し、ストーリーを作り出すことができます。しかし、人工知能にとっては難しい課題でした。さらに、複数の画像をつなげるための文脈を提供し、最終的に文章を生成するというのは、ビジュアルストーリーテリングの研究では別のレベルです。
概念からテキスト生成
「概念に基づいてテキストを生成する」とは、先ほど言及された「ストーリーの補完」とは少し異なります。ストーリーの補完研究は空白の文脈を埋めるのに対して、今回紹介する研究では与えられたわずかな単語でありながらも、合理的な文を作り出すことです。
今回、私はGPT4にも課題を与えました。私は彼に「朝、コーヒー、パン、地下鉄」という4つの単語で文を作ってもらいました。GPTにとっては簡単な課題のようです。
彼は朝早く起きて、自分にコーヒーを注いで、温かいパンを一口食べて、仕事のために地下鉄の駅に向かいました。
この記事から選ばれた内容は、さまざまな研究トピックの一部にすぎません。自然言語処理に加えて、人工知能の研究分野には音声認識、画像/動画生成など、無限の可能性があります。これまでに研究されてきたトピックを参考にアイデアを思いつき、「これらのタイプを学んだので、それらのタイプの問題で拡張することができる」と考えることもできます。ぜひ、このサイトも訪れて素晴らしいアイデアを探求してください。