【LangChain专栏】LangChain 调用Ollama本地大模型

作者：ZWZhangYu
文章目录

一、什么是Ollama？二、环境准备

1．安装Ollama2．安装Python 依赖

三、LangChain 调用 Ollama

1．基础调用示例2．使用Chat模型方式

四、结合PromptTemplate 使用五、构建一个简单对话接口（FastAPI）六、常见问题

1．模型响应慢怎么办？2．如何查看已安装模型？3.mac m1安装ollama安装包dmg失败

随着本地大模型生态逐渐成熟，越来越多开发者开始使用本地部署的模型来构建 AI 应用。相比调用云端 API，本地模型具备：
• 数据隐私可控
• 无需外网依赖
• 成本更低
• 可定制化强 一、什么是Ollama？

Ollama 是一个本地运行大语言模型的工具，支持一键下载并运行模型，如：
• Llama 3
• Mistral
• Qwen
特点：
• 安装简单（支持 macOS / Linux / Windows）
• 支持 REST API
• 支持模型管理与自定义 Modelfile
• 资源占用相对可控
二、环境准备

1．安装Ollama

官网下载安装即可，安装完成后验证：
ollama --version下载模型：
ollama pull llama3 启动模型：
ollama run llama3 若能正常对话，说明模型运行成功。
2．安装Python 依赖

1. pip install langchain langchain-community langchain-core

复制代码

如果需要 Web API：

1. pip install fastapi uvicorn

复制代码

三、LangChain 调用 Ollama

1．基础调用示例

1. from langchain_community.llms import Ollama
3. llm = Ollama(model="qwen3:4b")
5. response = llm.invoke("请用一句话介绍人工智能")
6. print(response)

复制代码

执行后，LangChain 会调用本地 Ollama 服务，并返回模型生成结果。
2．使用Chat模型方式

1. from langchain_community.chat_models import ChatOllama
2. from langchain_core.messages import HumanMessage
4. chat = ChatOllama(model="qwen3:4b")
6. response = chat.invoke([
7.     HumanMessage(content="帮我写一段Java代码实现冒泡排序")])
9. print(response.content)

复制代码

适合多轮对话场景。
四、结合PromptTemplate 使用

1. from langchain_classic.chains.llm import LLMChain
2. from langchain_community.llms import Ollama
3. from langchain_core.prompts import PromptTemplate
5. template ="""
6. 你是一名专业程序员，请回答以下问题：
7. 问题：{question}"""
9. prompt = PromptTemplate(input_variables=["question"],
10.     template=template
11. )
13. llm = Ollama(model="qwen3:4b")
15. chain = LLMChain(llm=llm, prompt=prompt)
17. result = chain.invoke({"question":"什么是线程安全？"})
18. print(result["text"])

复制代码

五、构建一个简单对话接口（FastAPI）

1. from fastapi import FastAPI
2. from langchain_community.chat_models import ChatOllama
3. from langchain_core.messages import HumanMessage
5. app = FastAPI()
7. chat = ChatOllama(model="llama3")
9. @app.post("/chat")
10. def chat_api(question: str):
11.     response = chat.invoke([HumanMessage(content=question)])return{"answer": response.content}

复制代码

启动：

1. uvicorn main:app --reload

复制代码

访问：

1. POST http://localhost:8000/chat

复制代码

即可调用本地大模型接口。
六、常见问题

1．模型响应慢怎么办？

优化方式：
• 选择参数较小的模型（如 7B）
• 使用量化模型（Q4/Q8）
• 增加内存
• 调整 num_ctx
2．如何查看已安装模型？

1. ollama list

复制代码

3.mac m1安装ollama安装包dmg失败

当前版本不支持m1架构，可切换到其他版本安装
https://github.com/ollama/ollama/releases

原文地址：https://blog.csdn.net/octopus21/article/details/158239124