A-GPT PROJECT
小さな AI を、
手作りで育てる。
ChatGPT のような AI は、どうやって言葉を覚えるのでしょうか。 このプロジェクトでは、13個の単語しか知らない、いちばん小さなモデルから始めて、 ChatGPT の祖先にあたる GPT-2 と同じ大きさまで、8つのモデルを順番に作っています。
プログラムはすべて手書きで、学習は Mac 1台で行っています。名前の「A」は、開発者の青野に由来します。
モデルの数
8つ
パラメータ数
1,361→1.1億
読ませた文章
約44億字
01
やっていること
AI に言葉を覚えさせる手順は、実はとてもシンプルです。各モデルで、この5つを繰り返しています。
- 文章を集める青空文庫の小説、Wikipedia、Web の文章など。モデルが進むほど、たくさん読ませます(モデル8では約44億字)。
- 言葉を小さく分ける文章を「トークン」という小さなかたまりに分けます。AI にとっての「1文字」です。
- 「次の言葉当て」を繰り返す文章の途中までを見せて、次のトークンを当てさせます。外れたら少し直す。これを何万回も繰り返すのが「学習」です。
- 賢さを測る学習に使っていない文章をどれだけ当てられるか(損失)と、30問の常識テストで測ります。
- 会話を教える「質問と答え」の例で追加の練習をさせて、質問に答えられるチャット版を作ります(モデル6から)。
02
モデルの進化
モデル1から順番に、脳を大きくし、読ませる文章を増やしてきました。 それぞれのページで、実際に文章を書かせたり、常識テストの結果を見たりできます。
読み込み中...
03
用語集
モデルの説明に出てくる言葉です。タップすると説明が開きます。