使用LangChain和LangGraph大幅提升RAG效果

开发运维 2024-03-26 LOVEHL^ˇ^ 手机阅读

一、简介

LangGraph是LangChain、LangServe和LangSmith系列的最新成员，旨在使用LLM构建生成式人工智能应用程序。请记住，所有这些都是独立的包，必须单独进行pip安装。

在深入学习LangGraph之前，需要了解LangChain的两个主要概念。

1. 链：围绕LLM编写的程序，用于执行任务，例如自动SQL编写或NER提取链等。请注意，链不能用于任何其他任务（甚至不能用于一般用例），如果尝试这样做，可能会损坏链。链中要遵循的步骤是预定义的，不可灵活调整。

2. 代理：链的更加灵活版本，代理通常是启用第三方工具（例如谷歌搜索、YouTube）的LLM，由LLM本身决定下一步如何解决给定的查询。

现在，当处理现实世界的问题时，一个常见的问题是希望找到介于链和代理之间的解决方案。即不像链那样硬编码，但也不像代理那样完全由LLM驱动。

二、LangGraph

LangGraph是以LangChain为核心，用于创建工作流程中的循环图的工具。因此，我们假设以下示例：

你希望在知识库上搭建一个基于RAG的检索系统。现在，你希望引入这样一种情况：如果RAG的输出未满足特定质量要求，代理/链应该再次检索数据，但这次是自行更改提示。并且重复此过程，直到达到质量阈值为止。

使用LangGraph可以实现这种循环逻辑。这只是一个示例，使用LangGraph还可以做更多事情。

注：可以将其视为向链中引入循环逻辑，使其成为循环链。

  • LangGraph对于构建Autogen或MetaGPT等多代理应用程序至关重要。

顾名思义，LangGraph具有一般图形所具有的所有组件，例如节点、边等，接下来通过一个示例来了解。

三、使用LangGraph改善RAG

在此示例中，希望将RAG系统在数据库中的最终输出减少到不超过30个字符。如果输出长度大于30个字符，则希望引入循环，使用不同的提示再次尝试，直到长度小于30个字符为止。这是一个演示目的的基本逻辑。你甚至可以实现复杂的逻辑来改善RAG结果。

我们将创建的图形如下所示。

图片图片

此处使用的版本为 langchain===0.0.349， openai===1.3.8， langgraph===0.0.26。

3.1 首先，让我们导入重要的内容并初始化LLM。这里使用的是OpenAI API，但你也可以使用其他LLM。

from typing import Dict, TypedDict, Optional
from langgraph.graph import StateGraph, END
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.embeddings.openai import OpenAIEmbeddings

llm = OpenAI(openai_api_key='your API')

接下来，我们将定义一个StateGraph。

class GraphState(TypedDict):
    question: Optional[str] = None
    classification: Optional[str] = None
    response: Optional[str] = None
    length: Optional[int] = None
    greeting: Optional[str] = None

workflow = StateGraph(GraphState)

什么是StateGraph？

StateGraph是任何LangGraph流程的核心，它存储了在执行工作流程时我们将存储的各种变量的状态。在本例中，我们有5个变量，其值在执行图形时将进行更新，并将与所有边和节点共享。

3.2 接下来，让我们从现有向量数据库中初始化一个RAG检索链。代码已在以下视频中进行了解释。

def retriever_qa_creation():
        embeddings = OpenAIEmbeddings()
        db = Chroma(embedding_functinotallow=embeddings,persist_directory='/database',collection_name='details')
        qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever())
        return qa

rag_chain = retriever_qa_creation()

3.3 接下来，我们将向该图形添加节点。

def classify(question):
    return llm("classify intent of given input as greeting or not_greeting. Output just the class.Input:{}".format(question)).strip()

def classify_input_node(state):
    question = state.get('question', '').strip()
    classification = classify(question) 
    return {"classification": classification}

def handle_greeting_node(state):
    return {"greeting": "Hello! How can I help you today?"}

def handle_RAG(state):
    question = state.get('question', '').strip()
    prompt = question
    if state.get("length")30，使用第二个提示符。
由于第二个条件边界，移至bye。
END。
如果没有使用LangGraph：
rag_chain.run("Mehul developed which projects?")

# 输出
"Mehul developed projects like ABC, XYZ, QWERTY. Not only these, he has major contribution in many other projects as well at OOO organization"


3.7 下一个输入。


app.invoke({'question':'Hello bot','length':0})

# 输出
{'question': 'Hello bot',
 'classification': 'greeting',
 'response': None,
 'length': 0,
 'greeting': 'Hello! How can I help you today?'}


这里的流程会更简单。


classify_input: 情感将为greeting。


由于第一个条件边界，移至handle_greeting。


END。


虽然我在这里应用的条件相当简单，但通过添加更复杂的条件，这个框架可以很容易地用于改进你的结果。