Benchmark Tracker

ベンチマーク推移年表

各モデルファミリーのモデルをリリース順にグラフ化しています。

スコアはコーディング系ベンチマークだけから算出しています。Epoch AIのCapabilities Indexと同じ項目反応理論のモデルを使い、Epochが公開している各ベンチマークの難易度と傾きに合わせて尺度をそろえているため、値はECI基準で考えられます。

ベンチマークごとに得意不得意があるため、個々のリーダーボードと順位が一致しない組み合わせもあります。信頼区間が重なるモデル同士は、ほぼ同等とみなします。

データを読み込み中…