Evaluation as an engineering discipline

A successful demonstration shows that a system can work in at least one situation, while an evaluation asks how it behaves across a defined set of situations.

一次成功演示说明系统至少能在某种情境下工作，而评估关注的是它在一组明确界定的情境中表现如何。

成功したデモは少なくとも一つの状況で動くことを示しますが、評価は定義した状況の集合でどう動くかを問います。

Start by describing the task, the acceptable outcome, and the kinds of failure that matter to the people using the result.

首先要说明任务是什么、什么结果可以接受，以及哪些失败会影响使用结果的人。

まず作業、許容できる成果、結果を使う人にとって重要な失敗の種類を記述します。

For a handbook assistant, relevant dimensions might include evidence support, correct handling of exceptions, and appropriate refusal when information is missing.

对于手册问答助手，相关维度可能包括证据支持、正确处理例外条款，以及在信息缺失时恰当地拒绝作答。

手引き用アシスタントなら、根拠による裏付け、例外の正しい扱い、情報不足時の適切な回答差し控えなどが評価の観点になります。

A rubric turns those dimensions into explicit criteria that reviewers can apply to the same cases.

评分量规把这些维度转化为明确标准，使评审者能够用它们评判同一组案例。

ルーブリックはそれらの観点を、確認者が同じ事例に適用できる明示的な基準に変えます。

A baseline might be the current human workflow, a search interface, or a simpler prompt, depending on the claim being tested.

根据要检验的说法，基准可以是当前的人工流程、一个搜索界面，或一个更简单的提示词。

検証する主張によって、基準には現在の人の作業、検索画面、より単純なプロンプトなどを使えます。

Separate examples used for development from held-out cases used to estimate performance on less familiar situations.

应把开发时使用的例子，与用于估计系统在较陌生情境中表现的留出案例分开。

開発用の事例と、まだなじみのない状況での性能を推定する保留事例を分けます。

If the team repeatedly inspects and optimizes against the same test, that set gradually becomes part of development.

如果团队反复查看同一套测试，并针对它进行优化，这套测试就会逐渐成为开发材料的一部分。

同じ試験を何度も見て、それに合わせて最適化すると、その集合は徐々に開発の一部になります。

In a fictional comparison, System A passes 18 of 20 ordinary cases but only 2 of 10 cases involving policy exceptions.

在一个虚构的比较中，系统 A 通过了 20 个常规案例中的 18 个，但在 10 个涉及规定例外的案例中只通过了 2 个。

架空の比較で、システムAは通常の20件中18件に合格しても、規定の例外を含む10件中では2件しか合格しないとします。

Its overall pass rate is 20 out of 30, but the 20 percent exception pass rate may be the more important operational result.

它的整体通过率是 30 个中通过 20 个，但例外案例仅 20% 的通过率，可能才是对实际运行更重要的结果。

全体の合格率は30件中20件ですが、例外での合格率20パーセントの方が、運用では重要かもしれません。

System B passes 17 ordinary cases and 8 exception cases, giving 25 passes out of the same 30 cases.

系统 B 通过了 17 个常规案例和 8 个例外案例，即在同样的 30 个案例中通过了 25 个。

システムBは通常の17件と例外の8件に合格し、同じ30件で25件の合格になります。

This result favors B on this sample, but a small sample does not establish a precise long-run failure probability.

这一结果表明 B 在这个样本上表现更好，但小样本无法确定精确的长期失败概率。

この標本ではBが優れていますが、小さい標本で長期的な失敗確率を正確に確定することはできません。

Code-based graders are useful for checkable properties such as valid identifiers, exact arithmetic, or a prohibited operation occurring.

对于有效标识符、精确算术计算、是否发生被禁止的操作等可检查的属性，用代码实现的评分器很有用。

コードによる採点は、識別子の有効性、正確な計算、禁止した操作の発生など、確認可能な性質に役立ちます。

Human reviewers can assess context-sensitive judgments, while model-based judges can help scale assessments when calibrated against explicit criteria and human examples.

人工评审者可以评估依赖具体情境的判断；基于模型的评审器在按照明确标准和人工示例校准后，可以帮助扩大评估规模。

人は文脈に依存する判断を評価でき、モデルによる採点は明示的な基準と人の評価例で調整すれば、評価を広げる助けになります。

A model judge can still be biased or inconsistent, and agreement between two models does not automatically make a judgment correct.

模型评审器仍可能存在偏差或前后不一致，两个模型意见一致也不自动意味着判断正确。

モデルの採点にも偏りや不一致があり、二つのモデルが一致しても判断が自動的に正しくなるわけではありません。

For an agent, inspect the final outcome and the path taken, including unauthorized actions, retries, and changes left in the environment.

对于智能体，既要检查最终结果，也要检查它采取的步骤，包括未经授权的操作、重试，以及留在环境中的改动。

エージェントでは、最終成果に加えて、権限外の操作、再試行、環境に残した変更など、そこに至る経路も確認します。

A regression suite preserves important previous cases so that a new prompt, model, or retrieval setting cannot improve one task while silently breaking another.

回归测试集保留重要的既有案例，避免新提示词、模型或检索设置在改善一项任务时，悄悄破坏另一项任务。

回帰テスト群は重要な過去の事例を残し、新しいプロンプト、モデル、検索設定が一つを改善する一方で別の作業を黙って壊すのを検出します。

Release decisions should combine measured task performance, failure severity, uncertainty, and a clear plan for monitoring after launch.

是否发布，应综合考虑测得的任务表现、失败严重程度、不确定性，以及明确的上线后监测计划。

リリース判断には、測定した作業性能、失敗の重大さ、不確実性、公開後の監視計画を組み合わせるべきです。