Ollama本地部署大模型

本地部署的几种方式：Ollama、GPT4ALL等。
Ollama

1. a. https://ollama.com/download
2. b. 一个开源的轻量级LLM服务框架，专注于本地推理能力的实现
3. c. 模型支持范围：受限于Ollama官方支持的模型https://ollama.com/search
4. d. 硬件依赖性：性能受限于本地计算资源
5. e. 安装：
6.     i. 链接下载，安装后。
7.     ii. 常用指令：
8.         (1) 查看本地已下载模型：
9.             ① ollama list
10.         (2) 下载模型：
11.             ① ollama run llama3.2
12.             ② ollama run deepseek-r1:7b   
13.                 1) mac pro 16G可以带起来
14.         (3) 查看环境：
15.             ① ollama serve
16. f. 安装Open-WebUI体验网页交互
17.     i. 安装Open-webui.两种方式:
18.         (1) python3.11以上
19.             ① pip install open-webui
20.             ② open-webui serve
21.             ③ http://localhost:8080
22.         (2) docker:
23.             ① docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
24.             ② http://localhost:3000/
25. g. 使用Ollama+开发框架本地运行大模型：
26.     i. 后面用enio开发框架，访问本地部署链接，进行测试。

复制代码

GPT4ALL

1. a. https://www.nomic.ai/gpt4all
2. b. Nomic开发的一个综合性框架，它既包含了模型系列，也提供了完整的本地训练和部署生态系统。

复制代码

vLLM

1. a. https://github.com/vllm-project/vllm
2. b. 最新文档：https://docs.vllm.ai/en/stable/
3. c. 面向生产环境的高性能推理框架，支持多GPU分布式推理，适合企业级API服务。

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！