请选择 进入手机版 | 继续访问电脑版
开启左侧

大语言模型本地部署(一)

[复制链接]
admin 发表于 2024-3-17 22:56:21 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
安装 Ollama
https://ollama.com/download
目前ollama只支持macOS和Linux, Windows平台。ollama。


52.jpg

要运行Llama2,只需在终端中执行命令 ollama run llama2 。执行此命令后,Llama2模型将被自动下载:



除了Llama2模型,Ollama还支持多种模型。您可以通过访问模型存储库来探索模型的全面列表。


模型库
https://ollama.com/library

53.jpg


注意:运行3B机型至少应该有8gb内存,运行7B机型至少应该有16gb内存,运行13B机型至少应该有32gb内存。

成功下载模型后,您可以与llama2模型进行交互:



如果不希望直接在终端中与大型语言模型交互,可以使用命令 ollama serve 启动本地服务器。一旦这个命令成功运行,你就可以通过REST API与本地语言模型进行交互:​​​​​​​

启动本地服务器  ollama serve

curl http://localhost:11434/api/generate -d '{

  "model": "llama2",

  "prompt":"Why is the sky blue?"


}'


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注0

粉丝0

帖子36

发布主题
阅读排行更多+

Powered by Discuz! X3.4© 2001-2013 Discuz Team.( 京ICP备17022993号-3 )