
ハーネスとは、モデルの外側でエージェントを動作させる仕組み
NVIDIAの定義では、ハーネスはモデルを取り巻くエージェントシステムで、モデルが文脈(作業に必要な情報)をどう受け取り、ツールをどう使い、状態をどう維持するかを定めます。 フィードバックへの応じ方や失敗からの復旧方法、長い作業で進捗を維持する方法もハーネスが定める範囲です。
GPUカーネルを速くするような長い作業では、モデルに1回コードを書かせて終わりにはできません。既存の実装を調べて仮説を立てて変更を加え、実機で試して結果を確認してやり直す流れが続きます。ハーネスは、この繰り返しを途切れさせずに回すためにあります。
"The surrounding agent system—often called a harness—determines how the model receives context, uses tools, maintains state, responds to feedback, recovers from failure, and sustains progress over long-running tasks."/"An agent must inspect existing implementations, form hypotheses, make changes, execute hardware-grounded tests, interpret feedback, and repeatedly revise its approach."(本文冒頭の導入部より)— NVIDIA Technical Blog より公式情報を見る →
AVOは永続メモリと監督機能を使い、作業を途中から続ける
AVOは、1回のモデル文脈を越えて進捗を維持できるよう設計されたNVIDIAのエージェントです。 NVIDIAによると、中でも重要な機構は永続メモリと監督機能の2つとのこと。
永続メモリは、過去の実装や評価結果を次の作業へ引き継ぐ仕組みです。コンパイラやプロファイラ(処理速度を計測するツール)の出力と、それまでの推論も引き継がれます。エージェントは探索を最初から再構築せずに、現在の状態から再開できます。
監督機能は探索全体の流れを追い、停滞や成果のない繰り返しが発生していないかを確認します。必要なら、メインのエージェントに別の戦略を取らせます。NVIDIAによると、7日間の実行中は何を調べて変えて試すかの判断をメインのエージェントが担い、探索が頭打ちになったときに監督機能が前進を支えたとのこと。
"AVO is designed to preserve progress beyond a single model context. Two mechanisms are particularly important: persistent memory and supervision."/"The supervisor monitors the broader trajectory for stagnation or repeated unproductive cycles and can redirect the main agent toward alternative strategies when needed."(Sustaining long-running agentic work 節)— NVIDIA Technical Blog より公式情報を見る →
AVOのGPUカーネルはcuDNNより最大3.5%高性能
NVIDIAの報告では、AVOが作ったカーネルの性能は評価した構成の範囲で、cuDNNより最大3.5%、FlashAttention-4より最大10.5%高い結果でした。 カーネルとは、GPUに計算をさせる小さなプログラムのことで、今回の数値はNVIDIA DGX B200で計測したマルチヘッドアテンション用カーネルのものです。どの構成でもこの差が出るわけではありません。
この結果はアテンションカーネルの研究で得られたものです。AVOは7日間連続で稼働して500を超える最適化の方向を探り、コミットしたカーネルは40版になりました。さらにこのカーネルを、約30分の追加の自律作業でグループ化クエリアテンションにも対応させたとのこと。
GPUカーネル最適化での実測(NVIDIA公表値)
| 測定内容 | 結果 |
|---|---|
| 連続稼働 | 7日間 |
| 試した最適化の方向 | 500超 |
| コミットしたカーネル版 | 40 |
| cuDNNとの差 | 最大3.5%高い |
| FlashAttention-4との差 | 最大10.5%高い |
| 別方式への適応 | 約30分の自律作業 |
"In our attention-kernel study, AVO operated continuously for seven days, explored more than 500 optimization directions, and produced 40 committed kernel versions."/"On NVIDIA DGX B200 systems, the resulting multihead attention kernels outperformed cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The agent subsequently adapted the evolved kernel to grouped-query attention in approximately 30 minutes of additional autonomous work."(Improving performance with autonomous GPU-kernel optimization 節)— NVIDIA Technical Blog より公式情報を見る →
ARC-AGI-3の公開セットでRHAE 100.00と報告
NVIDIAは2026年8月21日の技術ブログで、Claude Opus 5を使ったAVOがARC-AGI-3の公開セット全25環境でRHAE 100.00を記録し、183レベルすべてを解いたと報告しました。ただし、今回の値は公開セットの25環境で得たもので、準非公開セットや、競技用に使う完全非公開セットの結果ではありません。
ARC-AGI-3は、対話型の推論ベンチマーク(AIエージェントの能力を評価する課題集)です。エージェントは説明もルールも目標も与えられないまま、初めて見るゲーム状の環境に入ります。操作を通じて環境の仕組みと目的を推測し、段階的に難しくなるレベルを進む必要があります。
ARC-AGI-3に挑んだAVOは、GPUカーネルの最適化に使ったエージェントと同じものです。NVIDIAによると、差し替えたのは環境固有のツールと評価だけとのこと。
"AVO achieved a 100.00 RHAE score across all 25 environments in the ARC-AGI-3 public set, completing all 183 levels."/"ARC-AGI-3 is an interactive reasoning benchmark. An agent enters unfamiliar game-like environments without instructions, explicit rules, or a stated goal."/"These results cover the 25-environment ARC-AGI-3 public set using the official scorecard and RHAE metric. They are not results on the semi-private or fully private competition sets."(Evolving from high-performance engineering to general-purpose reasoning 節 / Evaluating AVO on ARC-AGI-3 節 / AVO performance results 節)— NVIDIA Technical Blog より公式情報を見る →
RHAEは解けた数と手数の少なさで採点される
RHAE(Relative Human Action Efficiency)は、課題を完了できたかどうかと、1レベルあたりの手数の少なさを合わせて採点する指標です。 手数は、初めて遊んだ人間の記録と比較します。点数はレベルと環境をまたいで集計されます。
このため、解くだけでは高い得点になりません。環境アクション(エージェントが環境に対して行う操作)を、無駄なく使えたかどうかも点数に入ります。
"The benchmark uses Relative Human Action Efficiency (RHAE), a metric that combines task completion with per-level action efficiency relative to first-time human baselines. Performance is aggregated across levels and environments."(Evaluating AVO on ARC-AGI-3 節)— NVIDIA Technical Blog より公式情報を見る →
操作回数はVISTAより約12%少ない
AVOの環境アクションは6,624回で、同じ183レベルを完了したVISTAの7,542回より約12%少ない回数です。VISTAは別のシステムで、同じClaude Opus 5を使って公開セットの183レベルを完了したと報告しています。
ただしNVIDIAは、この比較をアブレーション(条件を1つだけ変えて効果を計測する実験)と見なすべきではないとしています。2つのシステムは次のとおり実装が異なるためです。
- エージェントの基盤
- 観測の表現
- メモリ
- 文脈の管理
- 他の実装の細部
例えば観測の渡し方は大きく異なります。VISTAは主に512×512のPNG画像を使い、AVOはモデルに画像を送信せず64×64の文字の盤面だけを提供しています。
AVOのメモリは作業中に分かったことを次へ引き継ぎ、同じ探索を繰り返さないための仕組みで、長い作業ほど効果がある可能性があります。ただしNVIDIAは、この実験でメモリ単独の寄与は切り分けていないとしています。
"Using Claude Opus 5, AVO completed the full 25-environment public set with a 100.00 RHAE score, solving all 183 levels in 6,624 environment actions. For reference, VISTA reports 7,542 environment actions with Claude Opus 5 while completing the same 183 public-set levels."/"This should not be interpreted as a controlled ablation: the two systems differ in agent backend, observation representation, memory, context management, and other implementation details."/"VISTA’s primary configuration uses a rendered 512 x 512 PNG, while also exploring textual-grid representations. In the AVO configuration, the LLM operated in a text-only modality: each observation was supplied as an exact 64 x 64 text grid, with no images or image tokens sent to the model."(AVO performance results 節 / Evaluating AVO on ARC-AGI-3 節)— NVIDIA Technical Blog より公式情報を見る →
別条件で測った約30%との差は、AVOの効果とはいえない
ARC Prizeが別に報告しているClaude Opus 5の約30%と100.00の差は、AVOの効果を直接測った値とは言えません。 ARC Prizeの約30%は、Claude Opus 5を高い推論の強度(High reasoning effort)で動作させた場合の数字です。NVIDIAの実行は同じモデルファミリーを別の推論設定で使い、エージェントシステムも評価の設定も大きく異なります。
100.00から約30%を引いて差をAVOの寄与と見なす計算は成り立ちません。NVIDIAはこれらの数字を、モデル単体の評価では完成したエージェントの性能を言い表せないことの例としています。
"ARC Prize separately reports approximately 30% for Claude Opus 5 at High reasoning effort. Our run used the same model family under a different reasoning setting and a substantially different agent system and evaluation setup. These numbers therefore should not be interpreted as a direct measurement of the performance contribution of AVO; rather, they illustrate that model-level evaluation alone does not characterize the performance of a complete agent."(AVO performance results 節)— NVIDIA Technical Blog より公式情報を見る →
ハーネスの数字は条件つきで読む
今回の報告でNVIDIAは、長い作業の成績はモデルの評価だけでは定まらず、エージェント全体の作りで定まるとしています。 システム全体が担うものとして、NVIDIAは次の4点を取り上げています。
- メモリが何を残すか
- ツールで何ができるか
- フィードバックが進捗をどう支えるか
- 失敗から復旧して作業を続けられるか
AIエージェントのハーネスをめぐる今回の数字には、条件があります。100.00は公開セット25環境でのNVIDIAによる報告で、非公開セットの結果ではありません。約30%との差はAVOの効果を直接測った値ではなく、VISTAとの約12%の差も条件をそろえた比較ではないと、NVIDIAは述べています。
"More broadly, long-horizon capability is a property of the full system. Memory determines what survives, tools determine what actions are possible, feedback grounds progress, and recovery allows work to continue beyond a single model invocation."(What we learned from benchmarking AVO on ARC-AGI-3 節)— NVIDIA Technical Blog より公式情報を見る →
FAQ
- ハーネスとは何のことですか?
- モデルを取り巻くエージェント側の仕組みのことです。情報の渡し方から失敗後の復旧までを広く含み、長い作業を途切れさせずに続けさせるための工夫をまとめて指します。
- AVOはARC-AGI-3でどんな成績でしたか?
- 公開セットの全25環境でRHAE 100.00を記録し、183レベルすべてをクリアしたとNVIDIAは報告しています。操作の回数(環境アクション)は6,624回で、VISTAが報告した7,542回より約12%少ない回数です。非公開セットでの結果ではありません。
- 同じモデルの約30%という数字と比較できますか?
- AVOの効果を表す数字とは言えません。約30%はARC Prizeが別に報告した数字で、NVIDIAの実行とは推論の設定もエージェントの作りも評価の設定も異なります。NVIDIAは、AVOの寄与を直接測った値として解釈すべきではないとしています。



