各モデルファミリーのモデルをリリース順にグラフ化しています。
スコアはコーディング系ベンチマークだけから算出しています。Epoch AIのCapabilities Indexと同じ項目反応理論のモデルを使い、Epochが公開している各ベンチマークの難易度と傾きに合わせて尺度をそろえているため、値はECI基準で考えられます。
ベンチマークごとに得意不得意があるため、個々のリーダーボードと順位が一致しない組み合わせもあります。信頼区間が重なるモデル同士は、ほぼ同等とみなします。
データを読み込み中…