ディープラーングの性能はデータ集めて札束で殴り続けると向上し続ける！？「Scaling Law」

論文へのリンク

1. [2001.08361] Scaling Laws for Neural Language Models
2. [2010.14701] Scaling Laws for Autoregressive Generative Modeling

筆者・所属機関

1. Jared Kaplan(Johns Hopkins University, OpenAI), Sam McCandlish(Open AI), ...
2. Tom Henighan(Open AI), Jared Kaplan(Johns Hopkins University, OpenAI), ...

投稿日付

1. 2020/01/23
2. 2020/10/28

概要（一言まとめ）

　ディープラーニングの性能は、データのサイズD, モデルのパラメータ数N, 札束 Cmin （論文ではcompute budgetと表現）が支配的なことを実験的に示した身も蓋もない内容。この法則をデータスケーリング則(Scaling Law)と呼んでいる。

手法の概要

　以下が詳しい。

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

コメント

「テクニックなんて無駄で、データ集めてでかいモデルでガンガン学習させた方が勝ちなんじゃ！」と宣言しているような内容。

言われてみれば、それはそうかもしれないけど、それだけだと寂しいよね、とは思ったりする。

関連情報

次に読む論文

自分なりのアウトプット

気になった英単語・英語表現