AI大模型应用开发-用LangChain构建带Agen流程的RAG系统
随着大模型(LLM)能力越来越强,RAG(Retrieval Augmented Generation,检索增强生成)技术成为增强大模型知识准确性的关键手段。
通过检索实时数据、外部文档,模型能回答更多基于事实的问题,降低“幻觉”概率。
而 LangChain 的 LangGraph 能将 LLM、RAG、工具调用(Tools)整合成一个智能 Agent 流程图,极大提升了问答系统的动态能力。
本文通过一个完整示例,展示如何用 LangChain 构建一个「RAG + Agent」的问答系统,代码可直接复用,帮助大家快速落地智能应用。
工程结构
llm_env.py # 初始化 LLM
rag_agent.py # 结合 RAG 与 Agent 的主逻辑
初始化 LLM
首先通过 llm_env.py 初始化一个 LLM 模型对象,供整个流程使用:
from langchain.chat_models import init_chat_model
llm = init_chat_model("gpt-4o-mini", model_provider="openai")
RAG + Agent 系统搭建
导入依赖
import os
import sys
import time
sys.path.append(os.getcwd())
from llm_set import llm_env
from langchain.embeddings import OpenAIEmbeddings
from langchain_postgres import PGVector
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langgraph.graph import MessagesState, StateGraph
from langchain_core.tools import tool
from langchain_core.messages import HumanMessage, SystemMessage
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.graph import END
from langgraph.checkpoint.postgres import PostgresSaver
初始化 LLM 与 Embedding
llm = llm_env.llm
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
初始化向量数据库
vector_store = PGVector(
embeddings=embeddings,
collection_name="my_rag_agent_docs",
connection="postgresql+psycopg2://postgres:123456@localhost:5433/langchainvector",
)
加载网页文档
url = "https://www.cnblogs.com/chenyishi/p/18926783"
loader = WebBaseLoader(
web_paths=(url,),
)
docs = loader.load()
for doc in docs:
doc.metadata["source"] = url
文本分割 & 入库
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=50)
all_splits = text_splitter.split_documents(docs)
existing = vector_store.similarity_search(url, k=1, filter={"source": url})
if not existing:
_ = vector_store.add_documents(documents=all_splits)
print("文档向量化完成")
定义 RAG 检索工具
通过 @tool 装饰器,定义一个文档检索工具,供 Agent 动态调用:
@tool(response_format="content_and_artifact")
def retrieve(query: str) -> tuple[str, dict]:
"""Retrieve relevant documents from the vector store."""
retrieved_docs = vector_store.similarity_search(query, k=2)
if not retrieved_docs:
return "No relevant documents found.", {}
return "\n\n".join(
(f"Source: {doc.metadata}\n" f"Content: {doc.page_content}")
for doc in retrieved_docs
), retrieved_docs
定义 Agent Graph 节点
LLM 调用工具节点
def query_or_respond(state: MessagesState):
llm_with_tools = llm.bind_tools([retrieve])
response = llm_with_tools.invoke(state["messages"])
return {"messages": [response]}
工具节点
tools = ToolNode([retrieve])
生成响应节点
def generate(state: MessagesState):
recent_tool_messages = []
for message in reversed(state["messages"]):
if message.type == "tool":
recent_tool_messages.append(message)
else:
break
tool_messages = recent_tool_messages[::-1]
system_message_content = "\n\n".join(doc.content for doc in tool_messages)
conversation_messages = [
message
for message in state["messages"]
if message.type in ("human", "system")
or (message.type == "ai" and not message.tool_calls)
]
prompt = [SystemMessage(system_message_content)] + conversation_messages
response = llm.invoke(prompt)
return {"messages": [response]}
组装 Agent 流程图
graph_builder = StateGraph(MessagesState)
graph_builder.add_node(query_or_respond)
graph_builder.add_node(tools)
graph_builder.add_node(generate)
graph_builder.set_entry_point("query_or_respond")
graph_builder.add_conditional_edges(
"query_or_respond",
tools_condition,
path_map={END: END, "tools": "tools"},
)
graph_builder.add_edge("tools", "generate")
graph_builder.add_edge("generate", END)
启用 Checkpoint & 运行流程
数据库存储器
DB_URI = "postgresql://postgres:123456@localhost:5433/langchaindemo?sslmode=disable"
with PostgresSaver.from_conn_string(DB_URI) as checkpointer:
checkpointer.setup()
graph = graph_builder.compile(checkpointer=checkpointer)
启动交互循环
input_thread_id = input("输入thread_id:")
time_str = time.strftime("%Y%m%d", time.localtime())
config = {"configurable": {"thread_id": f"rag-{time_str}-demo-{input_thread_id}"}}
print("输入问题,输入 exit 退出。")
while True:
query = input("你: ")
if query.strip().lower() == "exit":
break
response = graph.invoke({"messages": [HumanMessage(content=query)]}, config=config)
print(response)
总结
本文完整展示了如何用 LangChain + LangGraph,结合:
LLM(大模型)
Embedding 检索(RAG)
Agent 动态调用工具
流程图编排
Checkpoint 存储
构建一个智能问答系统。通过将工具(RAG 检索)和 Agent 机制结合,可以让 LLM 在需要的时候 自主调用检索能力,有效增强对知识的引用能力,解决“幻觉”问题,具备很好的落地应用价值。
AI大模型应用开发-用LangChain构建带Agen流程的RAG系统的更多相关文章
- AI大模型学习了解
# 百度文心 上线时间:2019年3月 官方介绍:https://wenxin.baidu.com/ 发布地点: 参考资料: 2600亿!全球最大中文单体模型鹏城-百度·文心发布 # 华为盘古 上线时 ...
- 华为高级研究员谢凌曦:下一代AI将走向何方?盘古大模型探路之旅
摘要:为了更深入理解千亿参数的盘古大模型,华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦.谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的"前世今生",以及它背后的艰难 ...
- 保姆级教程:用GPU云主机搭建AI大语言模型并用Flask封装成API,实现用户与模型对话
导读 在当今的人工智能时代,大型AI模型已成为获得人工智能应用程序的关键.但是,这些巨大的模型需要庞大的计算资源和存储空间,因此搭建这些模型并对它们进行交互需要强大的计算能力,这通常需要使用云计算服务 ...
- 无插件的大模型浏览器Autodesk Viewer开发培训-武汉-2014年8月28日 9:00 – 12:00
武汉附近的同学们有福了,这是全球第一次关于Autodesk viewer的教室培训. :) 你可能已经在各种场合听过或看过Autodesk最新推出的大模型浏览器,这是无需插件的浏览器模型,支持几十种数 ...
- zz独家专访AI大神贾扬清:我为什么选择加入阿里巴巴?
独家专访AI大神贾扬清:我为什么选择加入阿里巴巴? Natalie.Cai 拥有的都是侥幸,失去的都是人生 关注她 5 人赞同了该文章 本文由 「AI前线」原创,原文链接:独家专访AI大神贾扬清:我 ...
- DeepSpeed Chat: 一键式RLHF训练,让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeed Chat: 一键式RLHF训练,让你的类ChatGPT千亿大模型提速省钱15倍 1. 概述 近日来,ChatGPT及类似模型引发了人工智能(AI)领域的一场风潮. 这场风潮对数字世 ...
- [web建站] 极客WEB大前端专家级开发工程师培训视频教程
极客WEB大前端专家级开发工程师培训视频教程 教程下载地址: http://www.fu83.cn/thread-355-1-1.html 课程目录:1.走进前端工程师的世界HTML51.HTML5 ...
- HBase实践案例:知乎 AI 用户模型服务性能优化实践
用户模型简介 知乎 AI 用户模型服务于知乎两亿多用户,主要为首页.推荐.广告.知识服务.想法.关注页等业务场景提供数据和服务, 例如首页个性化 Feed 的召回和排序.相关回答等用到的用户长期兴趣特 ...
- 搭乘“AI大数据”快车,肌肤管家,助力美业数字化发展
经过疫情的发酵,加速推动各行各业进入数据时代的步伐.美业,一个通过自身技术.产品让用户变美的行业,在AI大数据的加持下表现尤为突出. 对于美妆护肤企业来说,一边是进入存量市场,一边是疫后的复苏期,一边 ...
- 千亿参数开源大模型 BLOOM 背后的技术
假设你现在有了数据,也搞到了预算,一切就绪,准备开始训练一个大模型,一显身手了,"一朝看尽长安花"似乎近在眼前 -- 且慢!训练可不仅仅像这两个字的发音那么简单,看看 BLOOM ...
随机推荐
- 面试题-Java虚拟机
前言 Java虚拟机部分的题目,是我根据Java Guide的面试突击版本V3.0再整理出来的,其中,我选择了一些比较重要的问题,并重新做出相应回答,并添加了一些比较重要的问题,希望对大家起到一定的帮 ...
- 【硬件】认识和选购DDR4内存
2.3 认识和选购DDR4内存 内存又称为主存或内存储器,用于暂时存放CPU的运算数据和与硬盘等外部存储器交换的数据.在电脑工作过程中,CPU会把需要运算的数据调到内存中进行运算,运算完成后再将结果传 ...
- Git Bash 无法输入中文
场景重现 有个小伙伴的电脑上 Git Bash 里死活无法输入中文, 导致 git 提交信息没法用中文写... git commit -m "无法输入中文" 解决办法 在 Git ...
- CSS文本超出省略
语法: text-overflow:clip|ellipsis|"任意字符" <!DOCTYPE html> <html> <head> < ...
- kubernetes学习之CKA认证
最近接触了很多kubernetes应用场景,学习了不少kubernetes的知识,所以想着官方认证一下CKA.不得不感叹:云时代真的来了. K8s的专业技术认证主要有以下几种: CKA(Kuberne ...
- Java8 Lambda Collection 的常见用法
import cn.hutool.core.collection.CollUtil; import cn.hutool.core.collection.ListUtil; import cn.huto ...
- 经过几天的努力Biwen.AutoClassGen终于实现了DTO复杂属性的生成
前言 距写上一篇 https://www.cnblogs.com/vipwan/p/18535459 生成DTO已经有一段时间了, 最初没有考虑复杂二级属性嵌套的实现,而是直接使用排除使用自定义的方式 ...
- eolink对数据进行四舍五入处理
下图"BalanceAmount"返回值显示小数点2位以后的值,这样就与预计匹配值不等导致脚本错误 对这个值进行四舍五入处理,比如返回值变成整数 var num = eo.env. ...
- mac系统安装GNU-sed
经过网上查资料,发现 由于 mac 系统与 linux 系统的差异,mac自带的sed命令,因为其是基于bsd,所以与常用的gnu不一样,安装gnu-sed 可正常使用: 1.brew install ...
- 关于php里怎么把字符串‘false’转成boolean的false
都知道php里类型转换常用的是settype($str,'boolean')和(bool)$str 但是,他们将字符串'false'和'true'转成boolean后都是true,可能这不是我们需要的 ...