DeepSWE 1.1 — effort ごとの性能

同じモデル・同じ評価条件の結果を effort(low → medium → high → xhigh → max)の順に線で結んでいます。effort を上げたときにスコアがどれだけ伸び、コストがどれだけ増えるかを比べられます。

データ読み込み中…出典: DeepSWE 1.1 Tracker (deepswe.dev)
横軸
読み込み中…

データ一覧

モデルeffortスコア±CIコスト/タスクトークン/タスクハーネスソース