LangChain：大语言模型的新篇章

一、引言

近期,大型语言模型(LLM)如GPT系列模型引领了人工智能领域的一场技术革命。开发者们都在利用这些LLM进行各种尝试,虽然已经产生了许多有趣的应用,但是单独使用这些LLM往往难以构建功能强大的实用应用。

LangChain通过将大型语言模型与其他知识库、计算逻辑相结合，实现了功能更加强大的人工智能应用。简单来说，个人理解LangChain可以被视为开源版的GPT插件，它提供了丰富的大语言模型工具，可以在开源模型的基础上快速增强模型的能力。

在此，我总结了最近对LangChain的学习内容，希望能与更多的朋友一起交流。LangChain使得语言技术的运用更加活跃多元，它有望在人工智能领域发挥重要作用，推动我们工作效率的变革。我们正处在人工智能爆发的前夜，积极拥抱新技术将会带来全新的体验。

二、介绍

什么是LangChain？

LangChain产生源于Harrison与领域内的一些人交谈，这些人正在构建复杂的LLM应用，他在开发方式上看到了一些可以抽象的部分。一个应用可能需要多次提示LLM并解析其输出，因此需要编写大量的复制粘贴。

LangChain使这个开发过程更加简单。一经推出后，在社区被广泛采纳，不仅有众多用户，还有许多贡献者参与开源工作。

主要特性：

1.数据感知：能够将语言模型与其他数据源进行连接。 数据的读取和处理

2.代理性：允许语言模型与其环境进行交互。可以通过写工具的方式做各种事情，数据的写入更新。 我理解是对数据的更新写入

主要价值：

1、将需要开发LLM应用所需要的功能进行组件化，并且提供了很多工具，方便使用，开箱即用。

2、有一些现成的可以完整特定功能的链，也可以理解为提高了工具方便使用，不仅有工具也封装了一些现成的产品场景。

LangChain的主要模块？

这一部分我第一次接触在4月份，那个时候LangChain在v0.0.6x的版本，最近新增了一些功能，当然最近新增的功能看起来更加的合理，往好的方向发展，但是主要模块变化不大。

三、LangChain主要概念与示例

以下核心部分模块，都有对应的实践代码放在本仓库中，执行代码需要做的一些准备：

• 能访问外网
• 模型使用：申请OpenAPI的Key、申请HuggingFace的Key.
• Google搜素工具：申请SERPAPI。serpapi.com/
• 模型调试：注册下WandB账号，复制下key: wandb.ai/site

OPENAI_API_KEY=
HUG_API_KEY=
SERPAPI_API_KEY=
WANDB_API_KEY=

另外本次案例，一些比较重要的模块安装：

pip install openai python-dotenv langchain google-search-results tiktoken sentence_transformers chromadb redis faiss-cpu playwright wandb langflow

Model I/O

和大模型交互的部分，LangChain为我们抽象了三个组件，模型输入、模型、模型输出解析器：

Model

LangChain的一个核心价值就是它提供了标准的模型接口；然后我们可以自由的切换不同的模型，当前主要有两种类型的模型，LLMs（语言模型）和Chat Models（聊天模型）.说到模型，大家就理解模型就是ChatGPT就可以。单纯的模型只能生成文本内容。

• LLMs：这类模型接受一个文本字符串作为输入，然后返回一个文本字符串作为输出。主要用于文本生成任务
• Chat Models：将聊天消息列表作为输入，并返回一个聊天消息,通常这些消息会标明语言的角色（通常是"System"、"AI"或"Human"），这类模型是基于语言模型的，但是它们被专门调整用于进行对话。

Prompt

面向模型编程，其实就是写Prompt。 Prompt是模型的输入，高质量的Prompt对于充分发挥AI的能力至关重要。LangChain提供了两个工具：

• Prompt templates：参数化模板。
• Example selectors: 动态的选择在Prompt中的例子

Output Parsers

语言模型输出的是文本。但很多时候，我们想要获得更结构化的信息。输出解析器可以帮助我们结构化语言模型的输出。

输出解析器有两个主要方法：

• “获取格式说明(Get format instructions)”：返回一个字符串，告诉语言模型输出应该输出什么格式
• “解析(Parse)”：接受一个字符串（假定为语言模型的响应），并将其解析为某种结构。

Data Connection

代码案例可以在仓库中看到。

Chains

Chain是一种用于构建复杂LLM应用的工具，可以将多个语言模型（LLMs）或其他组件链接在一起。 Chain基本的接口包括一个内存（memory）属性，一个回调（callbacks）属性，以及一个__call__方法，这个方法接受输入，返回一个字典。目前内置的几种常用Chain：

• LLMChain：这是一个简单的链，由PromptTemplate和LLM组成，它使用提供的输入键值格式化提示模板，将格式化的字符串传递给LLM，并返回LLM的输出。

• RouterChain：一种创建动态选择给定输入使用的下一个链的链的范例。路由链由两部分组成：RouterChain本身（负责选择要调用的下一个链）和目标链（路由链可以路由到的链）。

• Sequential Chains:

  • SequentialChain：允许有多个输入/输出。顺序链允许你连接多个链并将它们组合成执行某些特定场景的管道。
  • SimpleSequentialChain：每个步骤都有一个单一的输入/输出，一个步骤的输出是下一个步骤的输入。

LangChain也已经内置了一些专门用作特定功能的Chain，在处理数据上定义的几种不同形式的Chain_Type。

Memory

Chains和Agents默认是无状态的，也就是每次对话都是独立的。但是在某些应用中，如聊天机器人，记住之前的交互是至关重要的，无论是短期还是长期。这就是Memory的作用。

LangChain也提供一些不同类型的Memory，方便用在不同的场景中，用在Chain或者Agent中；

Agent

Aagent的核心思想是使用语言模型（LLM）来选择要执行的一系列动作。在链（chains）中，动作序列是硬编码的（在代码中）。在agents中，语言模型被用作推理引擎，以确定要执行哪些动作以及执行的顺序。 几个关键组件：

• Agent：这是负责决定下一步要采取什么行动的类。
• Tools：Tools是agent调用的函数。
• Toolkits：用于完成特定目标所需的工具组。一个toolkit通常包含3-5个工具。
• AgentExecutor：AgentExecutor是agent的运行时环境。这是实际调用agent并执行其选择的动作的部分。

Agent根据LLM判断应该采用那个Tool，然后调用Tool，再向用户输出响应。

有两种类型的Agent：

在初始化Agent的时候，指定Agent的Type，关于agent的Type。主要会有Action的Agent比较多

initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

一些Action Agent的类型：

Debug

LangChain是一个方便开发大语言模型（LLM）应用和代理（Agents）的工具。然而，将LLM应用部署到生产环境可能会遇到许多困难。需要对你的提示（prompts）、链（chains）和其他组件进行大量的定制和迭代，才能创建出高质量的产品。

最简单的调试方式：设置langchain.debug 和 langchain.verbose

LangChain官方推出了LangSmith：用于更方便的构建生产级别的LLM应用。它允许您调试、测试、评估和监控基于任何LLM框架构建的链和智能代理，并与LangChain无缝集成 除了LangSmith，还有另外一个工具WanDB用于方便我们调试大模型的应用。

关于WanDB

• 1、注册账号，新建项目，记住apiKey；
• 2、两种使用方式： 在环境变量中设置os.environ["LANGCHAIN_WANDB_TRACING"] = "true” 使用wandb_tracing_enabled()追踪特定块的代码
• 3、登录WanDB后台查看链路

有时候写LLM应用，发现返回的不符合预期，可以从这里看到输入的Prompt，了解每个过程； 或者想要学习专家们是如何写Prompt的都可以在这里看到 

四、LangChain应用案例

LangChain生成图片

实现了一个基于语言模型的文本生成图片工具，调用不同的工具函数来最终生成图片。主要提供了以下几个工具：

import base64
import json
import os
from io import BytesIO

import requests
from PIL import Image
from pydantic import BaseModel, Field

from langchain.agents import AgentType, initialize_agent, load_tools
from langchain.chat_models import ChatOpenAI
from langchain.llms import OpenAI
from langchain.tools import BaseTool, StructuredTool, Tool, tool
from langchain import LLMMathChain, SerpAPIWrapper


def generate_image(prompt: str) -> str:
    """
    根据提示词生成对应的图片

    Args:
        prompt (str): 英文提示词

    Returns:
        str: 图片的路径
    """
    url = "http://127.0.0.1:7860/sdapi/v1/txt2img"
    headers = {
        "accept": "application/json",
        "Content-Type": "application/json"
    }
    data = {
        "prompt": prompt,
        "negative_prompt": "(worst quality:2), (low quality:2),disfigured, ugly, old, wrong finger",
        "steps": 20,
        "sampler_index": "Euler a",
        "sd_model_checkpoint": "cheeseDaddys_35.safetensors [98084dd1db]",
        # "sd_model_checkpoint": "anything-v3-fp16-pruned.safetensors [d1facd9a2b]",
        "batch_size": 1,
        "restore_faces": True
    }

    response = requests.post(url, headers=headers, data=json.dumps(data))

    if response.status_code == 200:
        response_data = response.json()
        images = response_data['images']

        for index, image_data in enumerate(images):
            img_data = base64.b64decode(image_data)
            img = Image.open(BytesIO(img_data))
            file_name = f"image_{index}.png"
            file_path = os.path.join(os.getcwd(), file_name)
            img.save(file_path)
            print(f"Generated image saved at {file_path}")
            return file_path
    else:
        print(f"Request failed with status code {response.status_code}")


def random_poem(arg: str) -> str:
    """
    随机返回中文的诗词

    Returns:
        str: 随机的中文诗词
    """
    llm = OpenAI(temperature=0.9)
    text = """
        能否帮我从中国的诗词数据库中随机挑选一首诗给我，希望是有风景，有画面的诗：
        比如：山重水复疑无路，柳暗花明又一村。
    """
    return llm(text)


def prompt_generate(idea: str) -> str:
    """
    生成图片需要对应的英文提示词

    Args:
        idea (str): 中文提示词

    Returns:
        str: 英文提示词
    """
    llm = OpenAI(temperature=0, max_tokens=2048)
    res = llm(f"""
    Stable Diffusion is an AI art generation model similar to DALLE-2.
    Below is a list of prompts that can be used to generate images with Stable Diffusion:

    - portait of a homer simpson archer shooting arrow at forest monster, front game card, drark, marvel comics, dark, intricate, highly detailed, smooth, artstation, digital illustration by ruan jia and mandy jurgens and artgerm and wayne barlowe and greg rutkowski and zdislav beksinski
    - pirate, concept art, deep focus, fantasy, intricate, highly detailed, digital painting, artstation, matte, sharp focus, illustration, art by magali villeneuve, chippy, ryan yee, rk post, clint cearley, daniel ljunggren, zoltan boros, gabor szikszai, howard lyon, steve argyle, winona nelson
    - ghost inside a hunted room, art by lois van baarle and loish and ross tran and rossdraws and sam yang and samdoesarts and artgerm, digital art, highly detailed, intricate, sharp focus, Trending on Artstation HQ, deviantart, unreal engine 5, 4K UHD image
    - red dead redemption 2, cinematic view, epic sky, detailed, concept art, low angle, high detail, warm lighting, volumetric, godrays, vivid, beautiful, trending on artstation, by jordan grimmer, huge scene, grass, art greg rutkowski
    - a fantasy style portrait painting of rachel lane / alison brie hybrid in the style of francois boucher oil painting unreal 5 daz. rpg portrait, extremely detailed artgerm greg rutkowski alphonse mucha greg hildebrandt tim hildebrandt
    - athena, greek goddess, claudia black, art by artgerm and greg rutkowski and magali villeneuve, bronze greek armor, owl crown, d & d, fantasy, intricate, portrait, highly detailed, headshot, digital painting, trending on artstation, concept art, sharp focus, illustration
    - closeup portrait shot of a large strong female biomechanic woman in a scenic scifi environment, intricate, elegant, highly detailed, centered, digital painting, artstation, concept art, smooth, sharp focus, warframe, illustration, thomas kinkade, tomasz alen kopera, peter mohrbacher, donato giancola, leyendecker, boris vallejo
    - ultra realistic illustration of steve urkle as the hulk, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha

    I want you to write me a list of detailed prompts exactly about the idea written after IDEA. Follow the structure of the example prompts. This means a very short description of the scene, followed by modifiers divided by commas to alter the mood, style, lighting, and more.

    IDEA: {idea}""")
    return res


class PromptGenerateInput(BaseModel):
    """
    生成英文提示词所需的输入模型类
    """
    idea: str = Field()


class GenerateImageInput(BaseModel):
    """
    生成图片所需的输入模型类
    """
    prompt: str = Field(description="英文提示词")


tools = [
    Tool.from_function(
        func=random_poem,
        name="诗歌获取",
        description="随机返回中文的诗词"
    ),
    Tool.from_function(
        func=prompt_generate,
        name="提示词生成",
        description="生成图片需要对应的英文提示词，当前工具可以将输入转换为英文提示词，以便方便生成",
        args_schema=PromptGenerateInput
    ),
    Tool.from_function(
        func=generate_image,
        name="图片生成",
        description="根据提示词生成对应的图片，提示词需要是英文的，返回是图片的路径",
        args_schema=GenerateImageInput
    ),
]


def main():
    """
    主函数，初始化代理并执行对话
    """
    llm = OpenAI(temperature=0)
    agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
    agent.run("帮我生成一张诗词的图片?")


if __name__ == '__main__':
    main()

LangChain做答疑

import os
from langchain.chains import RetrievalQA
from langchain.document_loaders import TextLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.indexes import VectorstoreIndexCreator
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.llms import OpenAI

# 设置代理
os.environ['HTTP_PROXY'] = 'socks5h://127.0.0.1:13659'
os.environ['HTTPS_PROXY'] = 'socks5h://127.0.0.1:13659'

# 创建文本加载器
loader = TextLoader('/Users/aihe/Downloads/demo.txt', encoding='utf8')

# 加载文档
documents = loader.load()

# 文本分块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

# 计算嵌入向量
embeddings = OpenAIEmbeddings()

# 创建向量库
db = Chroma.from_documents(texts, embeddings)

# 将向量库转换为检索器
retriever = db.as_retriever()

# 创建检索问答系统
qa = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type="stuff", retriever=retriever)

# 运行问题答案检索
query = "如何申请租户?"
print(qa.run(query))

print(qa.run("能否说明下你可以提供的功能？"))

Langchain输出结构化JSON数据

import requests
from langchain.agents import AgentType, initialize_agent
from langchain.chat_models import ChatOpenAI
from langchain.tools import StructuredTool
from pydantic import BaseModel, Field


def post_message(type: str, param: dict) -> str:
    """
     当需要生成人群、分析画像、咨询问题时，使用如下的指示：url 固定为：http://localhost:3001/
     如果请求是生成人群，请求的type为crowd; 如果请求是分析画像，请求的type为analyze; 如果是其他或者答疑，请求的type为question;
     请求body的param把用户指定的条件传进来即可
     """
    result = requests.post("http://localhost:3001/", json={"type": type, "param": param})
    return f"Status: {result.status_code} - {result.text}"


class PostInput(BaseModel):
    # body: dict = Field(description="""格式:{"type":"","param":{}}""")
    type: str = Field(description="请求的类型，人群为crowd,画像为analyze")
    param: dict = Field(description="请求的具体描述")


llm = ChatOpenAI(temperature=0)
tools = [
    StructuredTool.from_function(post_message)
]
agent = initialize_agent(tools, llm, agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("我想生成一个性别为男并且在180天访问过淘特的人群?")

LangChain做一款自己的聊天机器人

原本做聊天机器人，需要一些前端代码，但是已经有相应的开源工具，帮我们把LangChian的各种组件做了可视化，直接拖拽即可，我们直接使用LangFlow；

pip install langflow

然后运行命令：

langfow

在界面上配置LangChain的三个组件：在最右下角是对应的聊天窗口，输入下openai的key

开始聊天验证下我们的配置：

全程基本上不用怎么写代码，只需要了解LangChain的组件是做什么的，基本上就可以搭出一款简单的聊天机器人。

其它的LangChain组件代理，内存，数据索引也是都可以使用的。

其它案例

可以参考本仓库的practice目录

其它可以尝试的应用：

• 关键信息提取，答疑
• 信息结构化：自动填表单
• 推荐、检索和加工。

五、LangChain的未来展望

LangChain为构建基于大型语言模型的应用提供了一个强大的框架，将逐步的运用到各个领域中，如，智能客服、文本生成、知识图谱构建等。随着更多的工具和资源与LangChain进行集成，大语言模型对人的生产力将会有更大的提升。

大模型正处于持续的演进和发展阶段。近期关于大模型的新闻和研究成果层出不穷，这让人联想到早期的芯片技术，其发展方向多样且不断进步。可以预见到的大模型可能的发展：

在LangChain方面：

1.LangChain社区活跃度高，生态系统持续完善，提供了越来越多的工具和资源，使我们能更方便地构建大模型应用，这有点像早期的App生态系统。

2.随着大模型的发展，我们将看到更多个性化和定制化的应用，这些应用将跨平台运行，并可能为每个人提供个性化的模型。

3.大模型将融入各种业务中，提升我们的工作效率和产品使用体验。在未来，每个人都可能拥有自己的AI助理。

应用场景构思：

六、总结

本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。

展望未来，LangChain有望在各个领域发挥巨大作用，促进我们工作效率的变革。我们正处于AI爆发的前夜，积极拥抱新技术将会带来完全不同的感觉。

参考资料：

本文档演示的代码案例都可以在这个Git仓库自己运行：

• github.com/aihes/LangC…