AI English Shift · Lessons / E02

Context and retrieval systems in production

生产环境中的上下文与检索系统

Open the interactive lesson · 打开互动课程

Document ingestion is a data transformation pipeline, and every transformation can lose information that a later answer needs.

文档导入是一条数据转换流水线,每一次转换都可能丢失后续回答所需的信息。

文書の取り込みはデータ変換の流れであり、どの変換でも後の回答に必要な情報が失われる可能性があります。

PDF extraction may confuse columns, OCR may misread a number, and table flattening may disconnect a value from its heading.

PDF 文本提取可能混淆分栏,光学字符识别(OCR)可能读错数字,而把表格展平成文本则可能使数值与表头失去对应关系。

PDFの抽出で列が混ざり、OCRで数字を読み違え、表を平らな文章にすると値と見出しが離れることがあります。

Keep enough provenance to trace a retrieved passage back to its document, page or section, and extraction version.

应保留足够的来源信息,让检索到的段落能够追溯到原文档、所在页面或章节,以及文本提取版本。

取得した文章を文書、ページや節、抽出処理の版まで追えるだけの由来情報を保持します。

Chunking should preserve interpretable units, with parent headings or neighboring passages available when conditions span boundaries.

分块应保留可理解的内容单元;当条件跨越分块边界时,应能取得上级标题或相邻段落。

チャンクは解釈できる単位を保ち、条件が境界をまたぐ場合は上位見出しや隣接文章を利用できるようにします。

There is no universally optimal chunk size because the best unit depends on document structure, retrieval behavior, and the questions being asked.

不存在普遍最优的分块大小,因为最合适的单元取决于文档结构、检索表现和实际问题。

最適な単位は文書構造、検索動作、質問によるため、普遍的に最適なチャンクサイズはありません。

In a multi-tenant application, separate customers' access scopes before creating an evidence set for the model.

在多租户应用中,应先隔离不同客户的访问范围,再为模型组建证据集合。

複数顧客が使うアプリでは、モデル向けの根拠集合を作る前に、顧客ごとのアクセス範囲を分けます。

A highly relevant passage from the wrong tenant is an access failure, not a useful search result.

一段来自错误租户的文字,即使高度相关,也属于访问控制失败,而不是有用的搜索结果。

別の顧客の非常に関連する文章は、有用な検索結果ではなく、アクセス制御の失敗です。

When a source changes, record whether the index reflects the new content, and decide what happens to cached answers tied to the old version.

来源发生变化时,应记录索引是否已经反映新内容,并决定如何处理关联到旧版本的缓存回答。

出典が変わったら、索引への反映状態を記録し、旧版に結び付く回答キャッシュの扱いを決めます。

Deletion needs the same attention as insertion because a removed document can otherwise survive through derived chunks or caches.

删除需要获得与插入同等的关注,否则已删除的文档仍可能通过派生分块或缓存残留。

削除した文書が加工済みチャンクやキャッシュに残らないよう、追加と同じく削除にも注意が必要です。

Measure extraction quality, authorized evidence completeness, retrieval ranking, and answer faithfulness as distinct stages.

应把提取质量、授权范围内证据的完整性、检索排序,以及回答对证据的忠实程度,作为不同阶段分别衡量。

抽出品質、権限内の根拠の完全性、検索順位、回答の忠実性を別の段階として測定します。

Use a regression collection containing tables, exceptions, document updates, deleted items, and cross-tenant requests.

应建立一组回归测试案例,覆盖表格、例外条件、文档更新、已删除条目和跨租户请求。

表、例外、文書更新、削除済みの項目、顧客間をまたぐ要求を含む回帰用の事例集合を使います。

An expensive embedding model cannot compensate for a pipeline that strips away the source conditions or grants access to the wrong collection.

如果流水线丢掉了来源中的适用条件,或者错误地开放了其他文档集合的访问权限,再昂贵的嵌入模型也无法弥补这些问题。

高価な埋め込みモデルでも、出典の条件を失ったり、別の文書集合へのアクセスを許したりする取り込み処理は補えません。

Key terms