AI Agent在问答与排障中的实践探索人工智能时代已然到来，它不仅深刻地改变了我们的日常生活，比如通过智能助手安排日程

发布时间：2024-12-03 21:10

AI语音助手如 Siri 和 Alexa 已深入到我们的日常生活中 #生活知识# #生活感悟# #科技生活变迁# #人工智能影响#

文章探讨了 AI Agent 在问答与排障中的实践，包括基于 RAG 的知识问答实践中的流程、挑战及解决办法，如构建高质量知识库、增强检索能力、利用好提示词等；基于 Function call 的排障助手实践中面临多轮调用和单一智能体局限性等问题，提出多智能体架构。最后展望了 AI Agent 在未来工作场景中的期待。

关联问题: RAG怎样优化数据质量多智能体如何应用 AI Agent怎样规划任务

前言

人工智能时代已然到来，它不仅深刻地改变了我们的日常生活，比如通过智能助手安排日程、利用推荐系统享受个性化服务，还极大地推动了各行各业的创新与发展。从医疗健康到环境保护，从智能制造到金融服务，AI的应用正在不断拓宽边界，提升效率与精准度。

什么是 AI Agent？

根据丹尼尔·卡尼曼的著作《思考，快与慢》，人类的思维可以分为两大系统：系统1和系统2。系统1负责直觉式的快速思考，这种思考往往是无意识的；而系统2则擅长进行有意识的逻辑推理和主动控制。

在探讨大型模型的思维能力时，我们首先可以观察到，这些大模型可能具备了类似人类的分析问题能力，它们能够理解、分析和解决复杂问题。进一步地，人类与动物的一个重要区别在于人类擅长创造和使用工具。随着大模型认知能力的不断提升，当它们遇到自身不擅长的领域时，这些大模型可能会展现出一种类似于人脑使用工具的能力——即寻找并利用适当的工具来解决问题，而不是直接依靠自身能力去解决。

基于RAG的知识问答实践

RAG核心流程 & 实践挑战

问答助手：基于RAG技术实现问答助手，特别是针对测试环境场景的一些常见问题，回答失败原因以及解决思路

RAG（Retrieval-Augmented Generation）结合检索（Retrieval）和生成（Generation）的AI模型架构

初级RAG主要包含以下几个流程：

1. 建立索引：数据清洗并分块，将分块后的知识通过Embedding模型产出语义向量并建立索引；

2. 检索：通过用户query使用相同的Embedding模型，检索上下文；

3. 生成：将给定问题和相关文档合并为新的提示，由LLM基于提供的信息回答问题。

RAG通过检索现有大量知识结合强大的生成模型，为复杂的问答带来全新的解决方案，而在产品建设过程中遇到诸多挑战：

1. 数据质量差导致检索效果差：检索阶段的输出影响生成阶段的输入和最终的输出质量。RAG数据库中存在大量的错误信息并检索到，可能导致模型生成的错误，即使在检索阶段做大量工作，可能对结果的影响也微乎其微。

2. 数据向量化的信息缺失：数据向量化缺失可能会导致一定程度的信息损失，文本数据的复杂性和多样性很难用有限的向量来完全表达，导致向量化后可能会缺失一些文本数据的细节和特征，从而影响文档检索的准确率。

3. 大模型生成效果差：没有利用好提示词，导致大模型回答效果不尽人意。

构建高质量知识库

在构建知识库的时候，因为直接使用了未经过处理的记录表格作为知识库输入，发现RAG回答效果很差

结构化知识库：

1.调整知识库的结构：将知识库的内容简化为（Q问题，A解答），避免噪声干扰

2.文档分割策略：按行分割，保证每行的QA记录能够独立分割开来

增强检索能力

在召回测试当中，一些极低分数的分段文本知识也会被召回，就会导致回答的效果下降

优化迭代检索参数

1. 确定检索方式

全文检索：工作原理是通过在文档中进行关键词匹配，缺乏对语义的理解

向量检索：通过计算向量距离，实现语义匹配检索。当查询语义比较复杂或模糊时，向量检索无法准确理解用户的意图，会导致准确率降低

混合检索：结合了全文搜索和向量搜索的优势

2. 确定Rerank（重排序）模型参数

TOPK：需要检索到检索分数排名多少的分段结果

分数阈值：只召回多少检索分数以上的结果

多级检索，提升召回准确率

有时候因为提问的问题其实非常的简短，仅仅依靠问题的嵌入匹配，召回分数会比较低，最好的方式是能够先通过对问题做向量检索

一级检索：只针对问题进行检索；

二级检索：检索响应的QA知识文本分段；

利用好提示词

提示工程 (Promot Enoineeing) 当我们能够检索到足够准确的文本分段之后，接下来的任务就是引导大模型生成符合预期的回答，在这一过程中，利用好提示词显得非常重要。如下所示，是一个提示词框架以及一个提示词示例（引导大模型帮助解析json字符串的字段），可以让大模型得到更加清晰的指令，按照我们的预期采取行动