ChatGPT很强,但它不是万能。这篇文章用通俗语言讲清楚:RAG到底是什么、为什么它才是企业真正需要的AI技术,适合每一个想搞懂AI落地逻辑的人看看。al解说大师下载
RAG(Retrieval-Augmented Generation,检索增强生成)智能体和ai的区别
我们来详细拆解一下 RAG (检索增强生成) 的工作流程。这是一个将信息检索(IR) 与大语言模型(LLM) 的强大生成能力相结合的过程。ai无限制词,免费
其核心思想龙虾ai下载是:不要让LLM凭空想象,而是让它基于提供的“参考资料”来回答问题。
整个工作流程可以清晰地划分为两个主要阶段:索引ai无限制词,免费(Indexing) 和查询龙虾ai下载(Retrieval & Generation)。下图展示了这一过程的完整蓝图:
第一阶段:索引(Indexing) – “准备知识库”al工具
这个阶段是离线的,目的是将原始知识库处理成易于检索的格式。a1官方免费下载
1)加载(Loading)千问是个什么软件
输入:原始文档(PDF、Word、HTML、Markdown、数据库等)。即梦官网网页版
过程:使用文档加载器读取文件内容,并将其转换为纯文本格式。即梦官网网页版
输出:原始文本数据。agent智能体
2)分割(Splitting)al解说大师下载
输入:上一步得到的原始文本。龙虾ai下载
过程:使用文本分割器将长文本切分成更小的、有重叠的“块”(Chunks)。这是因为:ai智能找客户
- LLM有上下文长度限制,无法处理过长文本。
- 小块文本更易于精准检索,避免返回包含大量无关信息的大文档。
输出:多个文本块(Text chunks)。al工具
3)向量化(Embedding)豆包打开
输入:文本块。a1官方免费下载
过程:使用嵌入模型(Embedding Model) 将每个文本块转换为一个高维数值向量(Vector Embedding)。这个向量可以理解为该文本语义的数学表示,语义相似的文本其向量在空间中的距离也更近。viggle ai
输出:文本块对应的向量数组。百度ai虚拟聊天
4)存储(Storing)即梦官网网页版
输入:向量 + 原始的文本块(以及可选的元数据,如来源、标题等)。al工具
过程:将这些(向量, 文本, 元数据)对存储到向量数据库(Vector Database) 中。向量数据库专门为高效相似性搜索而设计。al解说大师下载
输出:一个准备好的、可供查询的向量知识库。百度ai虚拟聊天
第二阶段:查询(Retrieval & Generation) – “问答进行时”a1官方免费下载
这个阶段是在线、实时进行的,每当用户提出一个问题时触发。人工智能ia
1)查询输入(Query):人工智能ia
用户提出一个问题,例如:“公司今年的年假政策有什么主要变化?”ai的可怕之处
2)查询向量化(Query Embedding):百度ai虚拟聊天
使用第一阶段相同的嵌入模型,将用户的问题也转换为一个向量。千问是个什么软件
3)检索(Retrieval):ai智能找客户
过程:在向量数据库中,进行相似性搜索(Similarity Search)。算法(如k-NN)会计算查询向量与库中所有向量之间的“距离”,并找出距离最近(即语义最相似)的 Top-Kagent智能体个文本块。
在 RAG(检索增强生成)里,Top-K 指的是从海量文档中,根据与问题的相关性,筛选出最匹配的前 K 个片段。ai无限制词,免费
比如你问 “猫的饮食习惯”,系统会从文档中找相关内容,Top-K=3 就取最相关的 3 段。K 是可调整的参数,比如 K=5 就取前 5 个。人工智能ia
选多少合适?K 太小可能漏掉关键信息,太大则引入冗余内容,影响 AI 回答的准确性和效率。实际应用中需根据场景调试,平衡相关性和处理速度。智能体和ai的区别
1)输出:智能体和ai的区别最相关的几个文本片段(Contexts)。
2)增强(Augmentation):ai智能体十大龙头
过程:将用户的问题和检索到的相关文本片段组合成一个新的、增强后的提示(Prompt),交给LLM。ai无限制词,免费
提示示例:ai智能体十大龙头
“”” 请仅根据以下提供的上下文信息来回答问题。如果答案不在上下文中,请直接说“根据提供的信息,我无法回答这个问题”。即梦官网网页版
【上下文开始】 {这里插入检索到的Top-K个相关文本片段} 【上下文结束】百度ai虚拟聊天
问题:{用户的问题} 答案: “””商汤科技
3)生成(Generation):千问是个什么软件
过程:LLM接收到这个增强后的提示后,会基于提供的上下文(而不是其内部可能过时或不准确的知识)来生成答案。商汤科技
输出:一个准确、有据可循的最终答案。al解说大师下载
总结与类比ai开源什么意思
你可以把RAG的工作流程想象成一个开卷考试:al工具
- 索引阶段:就像你把所有的教科书、笔记和资料(知识库)做好标签、目录和索引(向量化并存入数据库),方便快速查找。
- 查询与生成阶段:当考试时遇到一个问题(用户查询),你会先去翻看你的索引,找到相关的章节和页面(检索),然后基于这些参考资料(上下文)组织你的答案(生成)。
这种方式有效解决了LLM的“幻觉”问题,提高了答案的可信度,并且可以通过更新知识库百度ai虚拟聊天来让LLM获取最新知识,而无需重新训练模型,成本极低。
RAG优化技巧a1官方免费下载
1. 召回源-多路召回(稀疏召回、语义召回、字面召回)ai无限制词,免费
截断和召回分数的对齐问题-采用的召回后加一重排序的阶段(精简召回数、提升召回质量)智能体和ai的区别
embedding模型ai无限制词,免费、重排序模型、生成模型-根据系统作答-针对性微调
2. RAG评测智能体和ai的区别
1、检索智能体和ai的区别-MRR平均倒排率、top-k(Hits Rate)命中率、NDCG排序指标
2、生成千问是个什么软件
- 准确率(量化指标:Rouge-L文本相似度、关键词重合度)
- 多样性
- 人工评估 对模型回答进行质量、准确性、连贯性的评分
3. 如何做RAG项目(AI训练师)a1官方免费下载
- 由于标注内容的复杂程度,通过目前优质大模型的生成能力进行参考答案的生成,通过筛选以及改写答案,快速提供高质量的回答。
- 先生成3个答案,通过对3个答案的筛选以及基础之上的改写,进行高质量答案的产出。
千问是个什么软件
作者:阿毅sunyi百度ai虚拟聊天