スケーリング則（Scaling Laws for Neural Language Models）

OpenAIが2020年1月に公開した論文『Scaling Laws for Neural Language Models』がAIや自然言語処理の業界で話題となり業界全体でAIモデルの巨大化が進む一因となった。

その論文によれば、ニューラルネットワークの自然言語処理モデルにおける「スケーリング則（Scaling Laws for Neural Language Models）」とは、自然言語処理モデルのパラメーター数（＝モデルのサイズ）、データセットのサイズ、トレーニングに使用される計算量が増えるにつれて損失（Loss、誤差）が「べき乗則」に従って減少する、という法則のこと。つまり時間と費用を掛けた巨大なモデルほどより高い性能を発揮できるという法則のこと。

しかし最近サム・アルトマンは「巨大なAIモデルの時代はすでに終わった」と発言している。

実際AIを利用するユーザー企業は比較的小さなモデルを適材適所で使う方法を検討しはじめている。大きなモデルは汎用性が高く優秀だが計算に利用するリソースが大きくなりコストも大きくなる。そのためLLMではないSLM（小規模言語モデル）の開発も進んでいる。

マイクロソフトは2024年4月に38億パラメーターの　SLM　Phi-3（ファイ３）　を公開した。スマホなどのエッジ（端末サイド）での活用などが広がっていく可能性がある。