Evals, traces and experiments

An evaluation case should contain the task input, relevant environment state, success criteria, and any permitted reference evidence.

一项评估案例应包含任务输入、相关环境状态、成功标准，以及允许使用的参考证据。

評価事例には、作業入力、関係する環境の状態、成功基準、利用を認める参照根拠を含めるべきです。

For an agent, the transcript of messages and tool calls is a trace, while the actual final environment provides separate evidence about the outcome.

对智能体来说，消息与工具调用的记录构成执行轨迹，而实际的最终环境状态则为任务结果提供另一份证据。

エージェントのメッセージやツール呼び出しの記録はトレースであり、実際の最終環境は成果について別の証拠を与えます。

An agent that reports a correct result after making an unauthorized change has not necessarily passed the task.

智能体即使报告了正确结果，如果过程中进行了未经授权的修改，也不一定算通过任务。

権限外の変更をした後に正しい結果を報告しても、そのエージェントが作業に合格したとは限りません。

Choose graders according to the property: executable checks for verifiable state, human judgment for contextual decisions, and calibrated model judges for scalable assistance.

应根据待评估的属性选择评判方式：可验证的状态用可执行检查，需要结合情境的决定用人工判断，而规模化辅助评判可使用经过校准的模型评审器。

性質に応じ、検証可能な状態には実行可能なチェック、文脈的判断には人、大規模な支援には較正したモデル採点を選びます。

Store grader versions and rubric revisions, because a changed judge can move scores even when the system under test is unchanged.

应保存评审器版本和评分标准的修订记录，因为即使被测系统没有变化，评审器改变也可能使分数发生变化。

試すシステムが同じでも採点者の変更で点数が動くため、採点の版と基準の改訂を記録します。

To investigate an improvement, change one major component at a time or use a design that can distinguish interacting changes.

研究一次改进时，应每次只改变一个主要组件，或者采用能够区分相互影响因素的实验设计。

改善を調べるには、大きな構成要素を一度に一つ変えるか、変更の相互作用を区別できる実験設計を使います。

If the prompt, model, retrieval index, and test questions all change together, an improved score is not cleanly attributable to the prompt.

如果提示词、模型、检索索引和测试问题同时改变，分数提高就不能明确归因于提示词。

プロンプト、モデル、検索索引、問題が同時に変わると、点数の改善を明確にプロンプトの効果とみなせません。

Repeated trials help expose variation, and case-level disagreements reveal patterns that a single average conceals.

重复试验有助于暴露波动，而逐案例分析分歧，可以发现单个平均值掩盖的模式。

試行を繰り返すと変動が見え、事例ごとの不一致は平均値が隠すパターンを示します。

Separate development cases from reserved evaluation cases, and refresh the latter when repeated inspection makes them familiar.

应将开发案例与保留评估案例分开；如果反复查看使后者变得熟悉，就应更新保留案例。

開発用と保留した評価用を分け、繰り返し見てなじんだ評価事例は更新します。

When using model judges, include examples where a concise correct answer competes with a verbose but unsupported one.

使用模型评审器时，应加入这样的对比示例：简洁但正确的回答，与冗长却缺乏依据的回答进行比较。

モデル採点では、簡潔で正しい回答と、長いが根拠のない回答を比較する例を含めます。

Report failures with enough evidence for reproduction, while removing unnecessary sensitive content from shared reports.

报告失败时，应提供足够的证据供他人复现，同时从共享报告中删除不必要的敏感内容。

失敗は再現に足りる証拠とともに報告し、共有する資料から不要な機密情報を除きます。

A strong experiment report explains the comparison, unchanged conditions, changed components, observed differences, and what remains uncertain.

一份扎实的实验报告应说明比较对象、保持不变的条件、发生变化的组件、观察到的差异，以及仍然存在的不确定性。

良い実験報告は、比較方法、固定条件、変更した構成、観察した差、残る不確実性を説明します。