最良のモデルとは、確実に成果を出すモデルです。

2026年9月検証済み

6つのフロンティアモデルで同じアプリをビルド

現在のフロンティア層であるgemini-3.7-flash、glm-5.3、kimi-k3、claude-fable-5.1、gpt-5.6-terra、gpt-6-astraの各モデルを固定してそのまま使用し、Palguエージェントを通じてまったく同じフルアプリ（Council Brainstorm：メールログイン、3人のパネリストによる合議と統合、永続化された検索可能なスレッド）をビルドしました。8つのPlaywright受け入れチェックとスクリーンショットで採点した結果、6モデルすべてが8/8満点の動作するアプリを完成させたため、焦点は合否ではなくコストと速度になります。コスト ＝ 1ビルドあたりのトークン数 × 定価。

測定方法。 各モデルは、ゲートウェイ経由でPalguエージェントを通じて同一のSPECをビルドしました。ルーターがそのままモデルを提供するようピン留め（x-srooter-pin）し、合格までの反復は最大3ラウンド、1反復あたりの実経過時間は最大30分に制限しました。精度は、開発ビルドではなく本番（PRODUCTION）ビルドに対して実行された8つのPlaywrightチェック（A1〜A8）で測定しています。コストは「トークン数 × 定価」の推計値です（より正確な数値はゲートウェイの監査コストとなります）。品質は同一ビューポートのスクリーンショットから判定しました。モデルごとに1回ビルドを実施しています（terraはランタイムバグのあるビルド後に1回再サンプリングしました）。2026年9月。

2026年8月検証済み · スコア配分: 価格 50% · 品質 30% · 速度 20%

Personal CFOアプリのビルド：どのモデルをデフォルトにすべきか？

1つの仕様、3つのモデル、同じハーネス（Palguエージェント、モデル固定、合格までイテレーション）でパーソナルCFOアプリを構築。メールログイン、収支トラッキング、そして「これを買う余裕はあるか？」に根拠ある機械検証可能な判定で答える対話型CFOを備えます。すべてのモデルが8/8で動作するアプリを完成させたため、順位は合否ではなく、運用者の「価格×品質×速度」スコアで決まります。コストは最初の8/8達成までのトークン数×定価です。

留意事項: 各モデル1回のみの実行（n=1）です。トークン数は実行ごとに変動するため、圧倒的な差ではなく「ほぼ同等、glm-5.3がわずかにリード」と解釈してください。Z.aiのフラッグシップモデルの定価が未確定のため、glm-5.3の価格はglm-5.2のブレンド単価（$0.0011/1k）を仮適用しています。価格がスコアの50%を占めるため、実際の価格がこれより高ければ差は縮まります。

測定方法。 7月の調査と同じエージェントビルド・ハーネスを、隔離されたベンチマーク用組織上で使用しました。ゲートウェイが各モデルをそのまま提供するよう、Palguエージェントをx-srooter-pinでピン留めし、8項目のPlaywright受け入れテストスイート（ログイン → 収入 → 支出 → 月次サマリー → 支払い余力の判定）に対して上限付きで合格まで反復（iterate-to-pass）させました。スコアは「0.5 × 価格 + 0.3 × 品質 + 0.2 × 速度」で算出し、それぞれ最良の実行結果で正規化しています。コストは「最初の8/8達成までのトークン数 × 構成の定価」です。2026年8月。

2026年7月検証済み

9モデルによるコーディングビルド対決

1つのエージェントで1つの完全なアプリ（メールログイン、3人のパネリストによる「評議会」と統合、永続スレッド、全文検索）を構築。評価軸は2つ：(1) 8項目のブラウザ受け入れテスト（動作するか？）、(2) 完成したビルドに対する手動採点の0〜5段階の完成度スコア（出来栄えは良いか？）。9モデル中8モデルが全8項目に合格したため、合否だけでは差がつかず、完成度が決め手となります。各モデルは固定（ルーティングせずそのまま提供）し、上限付きで合格するまでイテレーションを実施。時間は実経過時間、トークンは出力トークンです。行は完成度順、次に効率順で並んでいます。

測定方法。 2026年7月の個別実行です。改良されたハーネス上で、Kimi K3を含む9つのモデルを検証しました（下部の6月の「5モデル」ブロックとは異なります）。空ターンのフェイルオーバーとツールループの修正により、6月に発生したGPT-5.5のビルド失敗が解消され、反復ごとのウォッチドッグとポートのクリーンアップが追加されています。各モデルはピン留めされ（ルーティングされずそのまま提供）、合格までの反復（iterate-to-pass）は最大5ラウンドに制限しました。時間は実経過時間（ウォールクロック）、トークンは出力トークンです。0〜5の完成度スコアは自動指標ではなく、同一ビューポートのスクリーンショットとソースコードをもとに、完成した各ビルドのレイアウト、パネリストの役割設計、設定欠落時のグレースフルデグラデーションを主観的に手動採点したものです。受け入れテストの結果は、パネリスト数の外観チェックにおいて実行ごとに変動します（そのため、OpusやGLM-5.2はある実行で7/8、別の実行で8/8となる場合があります）。これらは今回の実行における数値であり、別個の6月のブロックを置き換えるものではありません。

価格の視点・完成度にかかるコスト

同じアプリを各モデルの定価でビルドした際のコスト（入力約1M＋出力40kトークンの一定条件、ビルド対決の平均値）。ドットは手動採点による完成度を示します。ルーターがリクエストごとに答えるべき問いは、「品質基準をクリアする最も安価なモデルはどれか」です。

Kimi K3がトップ層を再定義しました。1ビルドあたり$3.60でOpus / Fable / Solと同じ5/5の完成度を実現し、9モデルの中で最も安価な5つ星モデルとなりました（Opusの半額、Fableの3分の1）。他のフラッグシップモデルは、同じ基準に到達するためにより遅いか高価な価格帯に位置しています。gpt-5.6-solはOpusと同等のコストでありながら実行速度が3〜4倍遅く、gpt-5.5は4/5のビルドに対してフラッグシップ料金を課しています。求める基準をクリアする最も安価なモデルを選ぶこと、それをリクエストごとにルーティングするのがPalguです。

定価、キャッシュなし。実際のエージェントによるビルドでは入力プレフィックスがキャッシュされるため（入力コストが約10分の1）、実際の金額はさらに低くなりますが、順位は変わりません。GLMとKimiはゲートウェイのブレンド設定レートで表示しています（公開されている入出力の別なし）。

2026年6月検証済み

ワンショットでのフルアプリビルド

1回の自律実行で完全なアプリを構築します。要件は、メールログイン、3名のパネリストによる回答と統合回答を提示する多角的「評議会（council）」、スレッドの永続化、および全文検索です。同一の仕様とハーネスを用い、品質、コスト、速度を測定しました。

測定方法。 単一の仕様、単一のハーネス。各構成において、8つの受け入れ基準を持つ同一の記述仕様に対し、`claude -p` による自律実行を1回のみ（リトライなし、人間の介入なし）行いました。品質は、実際のブラウザですべての基準を検証するヘッドレスPlaywright E2Eテストおよび `npm run build` によって確認しました。コストとトークン数は実行アーティファクトとゲートウェイの監査ログから取得し、UXは同一ビューポートのスクリーンショットからレビューしました。2026年6月。

2026年6月検証済み

5つのモデル、同一アプリ、コーディングおよびルーティング層

すべてのモデルが、弊社独自のCLIであるPalguエージェントを通じて、同じNext.js 15 + TypeScript + Tailwindアプリ（「Council Brainstorm」）をエンドツーエンドで構築し、8項目のPlaywright受け入れテストスイートに合格するまでイテレーションを行いました（最大4ラウンド）。ゲートウェイが各モデルをそのまま提供するよう、モデルは固定されました。精度、速度、出力トークン数、コスト、UIの完成度で採点しています。

コーディングティア（フルアプリビルド）

ルーティング層：小規模で限定的なタスク（すべて正答率100% → 速度が決め手）

測定方法。 すべて自社のスタック（Palguゲートウェイ + PalguエージェントCLIのドッグフーディング）上で実行しました。精度はPlaywright（8つの受け入れ基準）で測定し、UIの完成度は同一ビューポートのスクリーンショットから判定しました。コストはトークン数から算出した定価ベースの値です（より正確な数値はゲートウェイの監査ログとなります）。一部のモデルではクライアント側で入力トークンが計測されなかったため、出力のみの控えめなコストとなっています。1セント単位の厳密な比較ではなく、傾向の比較としてご参照ください。モデルはルーティングされずそのまま提供されるよう、x-srooter-pinでピン留めしました。2026年6月。

Palguがルーティングする対象モデル、そのバージョン、および各モデルの強みです。SWE-bench Verifiedの数値は外部のエビデンスです（概算値、注記を参照）。