第275章 写完了~(第1/7页)
章节报错
23 检索增强生成技术
rag(retrieval-augnted neration)技术是一种结合了信息检索(retrieval)和文本生
成(neration)的自然语言处理(nlp)方法。核心思想是将传统的检索技术与现代的自然语言
生成技术相结合,以提高文本生成的准确性和相关性。它旨在通过从外部知识库中检索相关信息来
辅助大型语言模型(如 gpt 系列)生成更准确、可靠的回答。
在 rag 技术中,整个过程主要分为三个步骤如图 22 所示:索引( dexg)、检索
(retrieval)和生成(neration)。首先,索引步骤是将大量的文档或数据集合进行预处理,将
其分割成较小的块(chunk)并进行编码,然后存储在向量数据库中。这个过程的关键在于将非结
构化的文本数据转化为结构化的向量表示,以便于后续的检索和生成步骤。接下来是检索步骤,它
根据输入的查询或问题,从向量数据库中检索出与查询最相关的前 k 个 chunk。这一步依赖于高效