AI English Shift · Lessons / E01-case
Engineering case: a bilingual handbook assistant
工程案例:双语手册问答助手
Open the interactive lesson · 打开互动课程A fictional company wants employees to ask questions in Japanese about English operations manuals.
一家虚构的公司希望员工能用日语询问英文操作手册中的内容。
架空の会社が、英語の業務手引きについて社員が日本語で質問できるようにしたいと考えています。
The collection contains 240 documents, including archived versions and department-restricted procedures.
资料集合包含 240 份文档,其中有归档版本和仅限特定部门访问的操作规程。
文書は240件あり、旧版や部署限定の手順も含まれています。
The engineering task is to build a system that returns applicable evidence and a supported answer while respecting access boundaries.
工程任务是构建一个系统,在遵守访问边界的同时,返回适用证据和有依据的回答。
エンジニアリング上の課題は、アクセス範囲を守りながら、適用できる根拠と裏付けのある回答を返す仕組みを作ることです。
At ingestion, preserve document identity, effective date, department, access permissions, headings, and relationships between rules and exceptions.
导入资料时,应保留文档身份、生效日期、所属部门、访问权限、标题层级,以及规则与例外条款之间的关系。
取り込み時に、文書ID、施行日、部署、閲覧権限、見出し、規則と例外の関係を保持します。
A parser that drops a table column or separates a condition from its rule creates an evidence problem before a model is called.
如果解析器遗漏表格中的一列,或把适用条件与对应规则拆开,那么在调用模型之前就已经产生了证据问题。
表の列を落としたり、条件と規則を切り離したりする解析処理は、モデルを呼ぶ前に根拠の問題を作ります。
Begin with a baseline that searches authorized documents and displays source passages without generating a policy decision.
先建立一个基准方案:搜索有权访问的文档并显示来源段落,不生成对规定的判定。
まず、閲覧可能な文書を検索し、規定の判断を生成せず出典の文章を表示する比較基準から始めます。
Then compare generation against that baseline using questions requiring exact codes, Japanese paraphrases, policy exceptions, and unavailable evidence.
接着使用涉及精确代码、日语改述、规定例外和证据不可用的问题,将生成回答与该基准进行比较。
次に、正確なコード、日本語の言い換え、規定の例外、根拠不足を含む質問で、生成機能を基準と比較します。
Suppose a fictional 40-question trial finds the complete evidence for 34 questions, but produces supported answers for only 29.
假设一项包含 40 道问题的虚构试验,为其中 34 道找到了完整证据,却只为 29 道生成了有依据的回答。
架空の40問の試行で、34問は必要な根拠がそろったものの、裏付けのある回答は29問だったとします。
If those 29 successes are all among the 34 evidence-complete cases, there are six retrieval failures and five additional answer failures to investigate.
如果这 29 次成功都属于证据完整的 34 个案例,那么需要调查的就是 6 次检索失败,以及额外的 5 次回答失败。
29問の成功がすべて根拠のそろった34問に含まれるなら、調べるべき失敗は検索の6問と、追加の回答生成の5問です。
The assumptions matter: without case-level labels, aggregate counts alone cannot establish that exact decomposition.
这个假设很重要:如果没有逐案例标注,仅凭汇总数量无法确定上述精确拆分。
この前提は重要で、事例ごとのラベルがなければ、集計数だけからその内訳を確定することはできません。
Instrument the request with source versions, retrieved passage IDs, answer claims, model and prompt versions, and the final outcome.
为请求加入诊断记录,包括来源版本、检索到的段落 ID、回答中的各项说法、模型与提示词版本,以及最终结果。
リクエストには、出典の版、取得した文章ID、回答の主張、モデルとプロンプトの版、最終結果を記録します。
Avoid collecting unnecessary personal text in diagnostic logs, and define who can inspect those logs and when they expire.
避免在诊断日志中收集不必要的个人文本,并明确谁可以查看这些日志,以及日志何时到期删除。
診断ログには不要な個人の文章を集めず、誰が閲覧でき、いつ失効するかを定めます。
Before a release, verify that deleted or newly restricted documents stop appearing in both retrieval results and cached paths.
发布前,应确认被删除或新设访问限制的文档,不再通过检索结果或缓存路径出现。
リリース前に、削除または新たに制限した文書が、検索結果とキャッシュ経由の両方に出なくなることを確認します。
The fallback should return source search or human assistance when evidence is unavailable, with a named owner able to disable generation.
当证据不可用时,备用方案应提供来源搜索或人工协助,并由明确的负责人掌握停用生成功能的权限。
根拠が利用できない場合は、出典検索や人の支援へ戻せるようにし、生成を停止できる責任者を決めます。
The finished engineering artifact is an architecture with explicit data boundaries, an error breakdown, and a rollback plan.
最终工程交付物应包含具有明确数据边界的架构、错误分类分析和回滚计划。
エンジニアリング上の完成物は、明示したデータ境界、誤りの内訳、復旧計画を含む構成図です。
Key terms
- Retrieval-augmented generation: Combining retrieval of external information with generation conditioned on that information.
- Chunk: A selected portion of a document or other source used as a processing or retrieval unit.
- Metadata: Structured information describing an item, such as its source, date, language, version or permissions.
- Access control: Rules and enforcement mechanisms governing who can access resources or perform operations.
- Evaluation: A systematic assessment of a system against specified tasks, criteria and evidence.
- Rollback: Restoring a previous version or process after a problematic change.