AI创想

标题: 大语言模型本地部署(一) [打印本页]

作者: admin 时间: 2024-3-17 22:56
标题: 大语言模型本地部署(一)
安装 Ollama
https://ollama.com/download
目前ollama只支持macOS和Linux, Windows平台。ollama。

(, 下载次数: 0)

要运行Llama2，只需在终端中执行命令 ollama run llama2 。执行此命令后，Llama2模型将被自动下载:

除了Llama2模型，Ollama还支持多种模型。您可以通过访问模型存储库来探索模型的全面列表。

模型库
https://ollama.com/library

(, 下载次数: 0)

注意:运行3B机型至少应该有8gb内存，运行7B机型至少应该有16gb内存，运行13B机型至少应该有32gb内存。

成功下载模型后，您可以与llama2模型进行交互:

如果不希望直接在终端中与大型语言模型交互，可以使用命令 ollama serve 启动本地服务器。一旦这个命令成功运行，你就可以通过REST API与本地语言模型进行交互:

启动本地服务器 ollama serve

curl http://localhost:11434/api/generate -d '{

"model": "llama2",

"prompt":"Why is the sky blue?"

欢迎光临 AI创想 (http://llms-ai.com/)