Fast API + LangServe快速搭建 LLM 后台

如果快速搭建一个 LLM 后台 API，使前端可以快速接入 LLM API。LangChain 或者 LlamaIndex 架构都可以快速集成各种大语言模型，本文将讲述如何通过 Fast API + LangServe 快速的搭建一个后台 Rest API 服务。LLM 这些框架现在主打一个就是快速，不用很多代码就可以完成。

安装依赖

创建 requirements.txt 包含一下类库，大语言模型，我主要使用 Aliyun、Google 或者 Ollama 的，可以根据自己的情况自行替换。pydantic 使用 1.10.13 版本，主要是针对 FastAPI 的一个问题，https://github.com/tiangolo/fastapi/issues/10360，如果不使用 invoke、stream 在 Swagger 中不会生成。

langchain
langchain_community
langserve
fastapi
uvicorn
python-dotenv
langchain-google-genai
dashscope
sse_starlette
pydantic==1.10.13

服务端代码

from fastapi import FastAPI
from langchain.prompts import ChatPromptTemplate
from langchain.chat_models import ChatOpenAI
from langserve import add_routes
import uvicorn
import os
from langchain_community.llms.ollama import Ollama
from langchain_community.llms.tongyi import Tongyi
from langchain_community.chat_models import ChatTongyi
from dotenv import load_dotenv
load_dotenv()app = FastAPI(title="Langchain LLM API",version="1.0",description="A Multi-LLM API with Langchain"
)llm = ChatTongyi(model_name="llama3.1-70b-instruct")prompt2 = ChatPromptTemplate.from_template("Write me a poem about {topic} for a 5-year-old child with 100 words")# Create API Routes with Langchain Pipelines
add_routes(app, prompt2 | llm, path="/poem")if __name__ == "__main__":uvicorn.run(app, host="localhost", port=8000)

运行并测试

运行程序，通过 /docs 进入 swagger 页面进行测试
http://localhost:8000/docs

总结

Langchain 整个技术栈使用起来都很方便，无论是接入模型、监控还是对外服务，如果需要监控提示词，可以接入 LangSmith。