CoffeeBenchとは？Sakana AIが作った経営ベンチマーク
CoffeeBenchは、AIエージェントに仮想のコーヒー焙煎業者を90日間経営させ、累積純利益で成績を評価するベンチマークです。 Sakana AI（東京）とKPMG AZSA LLCの研究者が2026年6月に論文（arXiv:2606.16613）で公開しました。
ベンチマークとはAIの性能を同じ条件で計測する試験のことです。AIエージェントとはAI自身が判断してツールを呼び出しながら仕事を進めるAIのことで、ここでは会社の経営を担当するAIです。
累積純利益とは90日分の売上から原価と運営費と支払利息を差し引き、受取利息を加えた最終的な儲けのことです。売上が大きくても費用が重ければ成績は伸びません。
評価されるAIが経営するのは焙煎業者1社だけです。残り5社はClaude Sonnet 4.6が固定で経営するので、評価するどのモデルも同じ相手と競うので、条件がそろいます。
論文の著者8人のうち3人がSakana AI所属で、5人がKPMG AZSA LLC所属です。コードと全エージェントの行動記録（推論の過程・ツール呼び出し・社間のダイレクトメッセージ）は、GitHubと専用のページで公開されています。
Sakana AIのAIエージェントに関する取り組みには、複数のAIを組み合わせて動作させるオーケストレーション（AI同士の作業を調整する仕組み）を製品にしたSakana Fuguもあります。Sakana Fuguの機能と料金については、Sakana Fuguとは？複数の先端AIを使い分ける仕組みと料金体系にまとめています。
"We introduce CoffeeBench, a benchmark for evaluating LLM agents in a long-horizon multi-agent economy composed of heterogeneous firms." ／ "The evaluated model controls one coffee roaster, while the remaining firms are controlled by fixed reference agents." — Abstract より公式情報を見る →
6社が取引するマルチエージェント環境でLLMを評価
農家2社・焙煎業者2社・小売2社の計6社が同じ市場で互いに売買します。 各社はLLM（ChatGPTやClaudeのような大規模言語モデル）で動作するため、複数のAIが別々に判断するマルチエージェントの環境になります。
コーヒーの供給網には通常品と上級品の2本があり、どちらも農家が生産した生豆を焙煎業者が焙煎して小売が消費者へ売る順に商品が流れます。同じ階層の会社同士は互いに競争相手で、上流や下流の会社とは仕入れ先や買い手の関係になります。
CoffeeBenchのサプライチェーン構造（全6社・90日間）
評価対象のモデルは焙煎業者1社だけを操作し、残り5社はClaude Sonnet 4.6が固定で動作させる。出典: 論文のFigure 1（arXiv:2606.16613）。
全社がReAct（考えてからツールを呼ぶ手順を繰り返す方式）で動作し、違いは役割ごとのプロンプトと使うことができるツールだけです。ツールの内訳は次のとおりです。
- 全社共通: 出品・買い注文の提示・取引の成立・請求の支払い・メッセージの送信と読み取り
- 農家: produce_item()（生産）
- 焙煎業者: roast()（焙煎）
- 小売: set_retail_price()（店頭価格の設定）とview_consumer_sales()（自社店舗での販売履歴の参照）
役割による売買の制限はないので誰とでも自由に取引できます。農家も焙煎業者も小売も取引と連絡には共通ツールを使います。
各社は9:00〜19:00の営業時間内に行動します。ツールを1回呼ぶたびにその会社の時計が30分進むため、1日にできる操作の数には限りがあります。
やることがなくなったらwait_for_next_day()を呼んで待機し、全社が待機に入ると翌日へ進みます。日の終わりから翌朝までのあいだに、消費者への販売と運営費と在庫の劣化が反映されます。
出品に対して他社が価格と数量と支払条件を指定して申し込み、出品者が承諾すると取引が成立します。商品は1日遅れで届いて請求書が発行され、支払いは30日以内（net-30）が標準です。
初期条件や費用などの主な設定は次の図のとおりです。評価対象の会社が倒産した実行は途中で終了します。
CoffeeBenchの市場ルール（主な設定）
"Each agent operates within a daily business window from 09:00 to 19:00." ／ "Agents differ only in their role-specific prompts and available tool sets." ／ "Accepted trades generate shipments with a one-day delivery lag." ／ "Agents whose cash balance becomes negative are declared bankrupt and removed from the simulation" — §3.1・§3.2・§3.3・§3.5 より公式情報を見る →
経済上の役割は既存ベンチマークの1種類から3種類へ
既存の経営ベンチマークは経済上の役割が1種類だけで、CoffeeBenchは農家・焙煎業者・小売の3種類を同時に登場させます。 Vending-Benchは自動販売機の運営を評価するベンチマークで、Vending-Bench Arenaは、Vending-Benchを自動販売機エージェント同士の競争に広げたものです。
公式ブログはCoffeeBenchを、Vending-Benchのマルチエージェント拡張としています。論文は既存のベンチマークが1社だけか同じ業種の会社同士しか対象にしないと指摘し、役割が異なる会社が自律して利益を最大化する経済でLLMを評価するのは、著者の知る限りでは初めてだと述べています。
既存のベンチマークの多くは、自発的には行動しない環境と1体のAIがやり取りする設定を評価するものです。CoffeeBenchでは他社との連絡・交渉・取引まで結果に表れ、公式ブログも最終的な業績に加えて行動の特徴を観察できるとしています。
"However, existing benchmarks involve only a single economic role, with all agents operating homogeneous businesses." ／ "To the best of our knowledge, CoffeeBench is the first benchmark to evaluate LLM agents in such a multi-agent economy" — §2 Related Work より公式情報を見る →
純利益のモデル比較ではGPT-5.5がトップに
GPT-5.5が3回平均で+3,109ドル（約50万2,600円）の純利益を出してトップになり、対象とした7モデルはすべて何もしない基準を超えました。 トップのGPT-5.5と2位のClaude Opus 4.7では、純利益の差が標準偏差（3回のばらつき）の範囲内です。
主要AIモデルの90日間 累積純利益（CoffeeBench・3回平均）
評価対象モデルと基準の2つが操作する焙煎業者1社の純利益。出典: 論文のTable 2（arXiv:2606.16613）。
GPT-5.5
Claude Opus 4.7Claude Sonnet 4.6
Gemini 3.1 Pro
GLM-5.1
Kimi K2.6Claude Haiku 4.5対象としたのは公式API（外部からAIを呼び出す窓口）経由の5モデルと、OpenRouter経由のオープンウェイトモデル（重みが公開されたモデル）2つです。推論（回答を出す前に考える処理）は遅延と費用を抑えるため、どのモデルでも無効か最小にしています。
順位と各数字は、下の「モデル別の純利益・売上・API費用」のとおりです。純利益は3回の平均値で、±の数字は標準偏差（3回のばらつきの大きさ）です。
モデル別の純利益・売上・API費用
| モデル | 純利益（ドル） | 売上（ドル） | 評価対象のAPI費用（1回あたり・ドル） |
|---|---|---|---|
| GPT-5.5 | +3,109 ±1,123 | 15,895 | 79.3 |
| Claude Opus 4.7 | +2,782 ±2,263 | 15,092 | 85.7 |
| Claude Sonnet 4.6 | +2,236 ±1,489 | 16,961 | 64.2 |
| Gemini 3.1 Pro | +1,695 ±508 | 11,746 | 31.4 |
| GLM-5.1 | +1,597 ±1,199 | 16,962 | 67.4 |
| Kimi K2.6 | +454 ±1,420 | 11,748 | 26.9 |
| Claude Haiku 4.5 | −630 ±1,745 | 7,638 | 9.6 |
比較対象のうちPassiveRoasterは待機の操作だけを呼び続ける何もしない下限で、HeuristicRoasterは固定の在庫・価格方針だけで動作し、他社と連絡を取らない基準です。純利益はPassiveRoasterが−2,765ドル（約44万7,000円）、HeuristicRoasterが−1,931ドル（約31万2,100円）でした。
上位モデルは農家と小売の両方へ連絡して価格交渉や販促を何度も仕掛け、下位モデルは受け身で連絡が少ない傾向でした。論文は、途切れずに行動し続けることと他社への連絡が、利益の差につながったと解釈しています。
行動の数字は次のとおりです。空白の日とは1日のあいだ待機の操作しか出さなかった日のことです。
モデル別のツール呼び出し・空白の日・送信メッセージ
| モデル | ツール呼び出し（回） | 空白の日（日） | 送信メッセージ（通） |
|---|---|---|---|
| GPT-5.5 | 1,269 | 0 | 140 |
| Claude Opus 4.7 | 1,117 | 0 | 88 |
| Claude Sonnet 4.6 | 1,558 | 0 | 151 |
| Gemini 3.1 Pro | 910 | 0 | 16 |
| GLM-5.1 | 1,373 | 0 | 78 |
| Kimi K2.6 | 1,173 | 4 | 14 |
| Claude Haiku 4.5 | 786 | 40 | 52 |
上位のGPT-5.5はツールの呼び出しもメッセージも多く、1回の実行あたり約140通を主に下流の小売と上流の農家へ送信していました。同じ階層の競合へ送信したメッセージは、論文が代表に選んだ5モデルのどれも1回の実行あたり平均1通以下で、競合同士が申し合わせて協調する動きも見つかっていません。
"GPT-5.5 achieves the highest mean net income among the evaluated models, followed by Claude Opus 4.7." ／ "Reasoning is disabled or minimized across all providers" ／ "A striking pattern across all five representative models is the near-total silence between same-layer competitors" — §4 Experiments・§5 Results・§5.1 より公式情報を見る →
Opus 4.7とSonnet 4.6が2位と3位に
Claude Opus 4.7が+2,782ドル（約44万9,700円）、Claude Sonnet 4.6が+2,236ドル（約36万1,400円）で2位と3位に続きました。ただし標準偏差はOpus 4.7が±2,263ドル（約36万5,800円）でSonnet 4.6が±1,489ドル（約24万700円）と大きく、トップのGPT-5.5との差はこのばらつきの範囲内です。
Sonnet 4.6は相手の5社を固定で経営するモデルでもあります。焙煎業者としては売上が16,961ドル（約274万2,000円）と全モデルのなかで2番目に大きく、メッセージも151通と最も多く送信しました。
Claude Opus 4.7とSonnet 4.6とHaiku 4.5は、AnthropicのAIであるClaudeに属するモデルです。Claudeのモデルの違いについては、Claudeとは？モデルの違いと無料版でできること、料金プランにまとめています。
"Variance across runs is relatively high due to environment randomness" ／ "We therefore execute three independent runs per setting and report averaged results." — §4 Experiments より公式情報を見る →
Gemini 3.1 ProとGLM-5.1は1,000ドル台の黒字
Gemini 3.1 Proが+1,695ドル（約27万4,000円）、GLM-5.1が+1,597ドル（約25万8,200円）で、どちらも1,000ドル（約16万1,700円）を超える黒字でした。ただし、GLM-5.1は売上が16,962ドル（約274万2,000円）と対象の7モデルのなかで最も多いのに、純利益は5位にとどまりました。
Gemini 3.1 Proは送信したメッセージが16通と少ない一方で、受信メッセージを90回読み、相手の動きに合わせて手を打っていました。GPT-5.5やClaude Opus 4.7は先に連絡を取る型で、対照的です。
Gemini 3.1 ProとKimi K2.6は売上も在庫も劣化率も近い水準だったのに、純利益の順位は4位と6位で、2つの間に差が生じました。違いは通常品を実際に売った平均価格（実現販売価格）で、1kgあたりGemini 3.1 Proが11.9ドル（約1,924円）、Kimi K2.6が10.8ドル（約1,746円）でした。
Kimi K2.6はツールを1,173回と上位に近い回数呼んだのに、純利益は+454ドル（約7万3,390円）の6位でした。論文はこの差から、交渉と価格戦略が取引量以上に利益を左右すると解釈しています。公式ブログが着目するのは、呼び出しの回数ではなく、取引実行や価格交渉のような利益に直結する行動に呼び出しを充てているかです。
"although GLM-5.1 records the highest revenue, this does not translate into strong net income" ／ "Gemini 3.1 Pro achieves higher net income through higher realized commodity selling prices." — §5 Results・§5.1 より公式情報を見る →
Haiku 4.5のAIエージェントはなぜ行動しなくなるのか
Claude Haiku 4.5は純利益が−630ドル（約10万1,800円）で、対象としたLLMのなかで唯一の赤字になりました。 Haiku 4.5は分析と計画を続けながら、途中から翌日へ進む操作のwait_for_next_day()だけを繰り返したとのこと。論文はこの状態をアイドルドリフトと名づけています。
長い無活動が始まったのは3回の実行でそれぞれ26日目と66日目と25日目で、シミュレーションが終わるまで続きました。「モデル別のツール呼び出し・空白の日・送信メッセージ」のとおり空白の日は平均で約40日にのぼり、Kimi K2.6の4日を除く他のモデルは0日です。
1回目の実行で26日目にHaiku 4.5は事業が順調だと判断し、残り64日はこれまでの戦略を継続すると書き残しました。同じ記録では、トークン（AIが文章を処理する単位）の使用量にも触れているとのこと。その後はメッセージへの返信も取引もせず、wait_for_next_day()を最終日まで呼び続けました。
論文は原因を不明としています。仮説として書かれているのは次の2つです。
- 長い文脈（やり取りの履歴）が積み重なり、挙動が変わった可能性
- トークン予算（使うことができる文章量の上限）を暗に気にして、必要以上に慎重な行動を選んだ可能性
仕組みの解明は論文でも今後の課題です。この現象はHaiku 4.5の3回の実行すべてで観測され、他のモデルでは観測されていません。
行動しない間も運営費の支払いと在庫の劣化は続き、売上に対する劣化の割合は対象としたモデルのなかで最大の3.5%でした。売上もGPT-5.5の15,895ドル（約256万9,000円）に対し、Haiku 4.5は7,638ドル（約123万5,000円）にとどまりました。
"Claude Haiku 4.5 exhibits an idle-drift failure mode, repeatedly choosing inaction despite producing coherent assessments and plans." ／ "Across the three runs, prolonged inactivity emerges on days 26, 66, and 25, respectively, and persists for the remainder of the simulation." ／ "The causes of idle-drift remain unclear." — Abstract・§5.2 より公式情報を見る →
3回の平均で分析した経営判断の小さな差は有意か
各モデルの結果は3回の平均で標準偏差が大きく、論文も小さな差は統計的に有意でない可能性があると認めています。 1回の実行には平均約8時間かかるとのこと。6社分のAPI費用が約250ドル（約4万410円）と高く、各モデル3回にとどまっています。
しかし、アイドルドリフトの有無や取引と連絡への積極性のような質的な違いをつかむには3回の結果で十分だと、論文は述べています。順位の差がわずかなモデル同士の優劣は、推論を無効か最小にして相手の5社をClaude Sonnet 4.6に固定した環境の結果だけでは判断できません。
論文によると現実のサプライチェーンはもっと深く多様です。CoffeeBenchでは生産がproduce_item()やroast()のような簡単なツールにとどまり、資金調達・規制・複雑な契約といった市場の仕組みも抽象化されています。
伸びしろも大きく残っています。論文が楽観的な仮定（劣化ゼロ・農家の利幅なし・卸価格が消費者上限価格の半分）で試算した性能の上限は約23,800ドル（約384万7,000円）で、最良のGPT-5.5の+3,109ドル（約50万2,600円）はその約13%です。
論文の予備実験では評価の指標を純利益から売上に変え、50,000ドル（約808万3,000円）の高い売上目標と強い表現のプロンプトを与えました。売上を水増しする循環取引のような協調は観測されなかったとのこと。論文はその理由として、モデルには長期の戦略を一貫して保ち続ける力がまだ足りない可能性があるとしています。
モデルを選ぶ目安になるのは順位の小さな差よりも、連絡と交渉を積極的に行う上位と連絡が少ない下位という行動の型です。特にアイドルドリフトは3回の実行すべてで出ており、順位の差よりも確かな違いといえます。
"Due to high API costs, we evaluate each model using only three runs." ／ "As a result, small performance differences may not be statistically significant." ／ "The total API cost per run across all six firms is approximately $250." ／ "reaches only about 13% of this reference value." ／ "Despite these altered incentives, we did not observe sophisticated manipulative behaviors such as circular trading" — §4 Experiments・§6 Discussion・§7 Limitations より公式情報を見る →
FAQ
- CoffeeBenchとは何ですか？
- Sakana AIとKPMG AZSA LLCの研究者が2026年6月に論文で公開した、AIエージェントに仮想のコーヒー焙煎業者を90日間経営させて累積純利益で成績を評価するベンチマークです。農家2社・焙煎業者2社・小売2社の計6社が同じ市場で互いに取引します。
- CoffeeBenchで最も成績が良かったAIモデルはどれですか？
- GPT-5.5が3回平均で+3,109ドル（約50万2,600円）の純利益を出してトップで、Claude Opus 4.7が+2,782ドル（約44万9,700円）、Claude Sonnet 4.6が+2,236ドル（約36万1,400円）で続きました。対象とした7モデルはすべて何もしない基準を超えましたが、標準偏差が大きいため、小さな差は有意とは限りません。
- Claude Haiku 4.5はなぜ赤字になったのですか？
- アイドルドリフトと名づけられた失敗が発生したためです。分析と計画は続けたまま途中から実際の経営行動をやめ、翌日へ進む操作だけを繰り返して純利益が−630ドル（約10万1,800円）になりました。原因は論文でも不明とされています。
- CoffeeBenchの順位はどこまで信用できますか？
- 各モデル3回の平均で標準偏差が大きく、論文も小さな差は統計的に有意でない可能性があると認めています。1回の実行で6社分のAPI費用が約250ドル（約4万410円）かかるため、回数を増やせませんでした。
関連する記事
Sakana Aquariumとは？オントロジー型のAIエージェント基盤Sakana Aquariumは、Sakana AIが2026年10月23日に発表した企業向けのAIエージェント基盤です。社内の知識・ルール・データをオントロジーで意味づけし、権限・承認・記録を管理しながら、AIエージェントに判断から実行までを任せられます。料金は非公開で、導入は個別相談から始まります。
AIエージェントのハーネスとは？NVIDIAのAVOによる検証結果AIエージェントのハーネスとは、モデルの外側の仕組みです。NVIDIAによると、Claude Opus 5で動作させたAVOはARC-AGI-3の公開セット全25環境でRHAE 100.00を記録し、183レベルをクリアしたとのこと。非公開セットの値でなく、別条件の約30%との差もAVOの効果とはいえません。
Sakana AIが防衛省から情報分析AIの実証を受注、情報本部向けSakana AIは2026年7月29日、防衛省と契約を結び、情報本部の総合分析業務に使うAI機能の実証を受注しました。実証するのは情報収集の効率化・分析能力の向上・情報の体系的な管理の3点です。3月の防衛装備庁の案件とは、対象の組織と業務が異なります。
再帰的自己改善はどこまで来たか、AIがAIの学習を改良する153回の実験再帰的自己改善の主張が増えるなか、Prime Intellectは18のAIモデルに人手を介さない自律研究を153回実行させ、成績を評価しました。最も成績のよいFable 5は人間の記録との差を81.7%縮めましたが、新しい手法は1つも生まれていません。