如何本地部署Deepseek大模型

本地部署Deepseek大模型

1、下载Ollama

去ollama官网https://ollama.com/ 下载可执行程序，可选macos、linux和Windows版本下载

下载之后如果点击直接安装(install)默认会安装在C盘.

在可执行程序目录级下打开终端窗口执行（这个是更改安装路径）

1. OllamaSetup.exe /DIR=D:\Ollama
3. ##OllamaSetup.exe: 这是一个安装程序的执行文件，通常用于安装 Ollama 软件。
4. ##/DIR=D:\Ollama: 这是命令行参数，告诉安装程序将 Ollama 安装到 D 盘的 Ollama 文件夹中。如果指定的目录不存在，安装程序通常会创建该文件夹

复制代码

安装成功显示

2、大模型下载和卸载

同样是在Ollama官网上选择Models

点击对应的Deepseek-r1可以看到对应版本的模型

点击对应 模型，即可展示对应的部署命令

模型参数规模典型用途CPU 建议GPU 建议内存建议 (RAM)磁盘空间建议适用场景1.5b (15亿)小型推理、轻量级任务4核以上 (Intel i5 / AMD Ryzen 5)可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)8GB10GB 以上 SSD小型 NLP 任务、文本生成、简单分类7b (70亿)中等推理、通用任务6核以上 (Intel i7 / AMD Ryzen 7)中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)16GB20GB 以上 SSD中等规模 NLP、对话系统、文本分析14b (140亿)中大型推理、复杂任务8核以上 (Intel i9 / AMD Ryzen 9)高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)32GB50GB 以上 SSD复杂 NLP、多轮对话、知识问答32b (320亿)大型推理、高性能任务12核以上 (Intel Xeon / AMD Threadripper)高性能 GPU (如 NVIDIA A100, 40GB 显存)64GB100GB 以上 SSD大规模 NLP、多模态任务、研究用途70b (700亿)超大规模推理、研究任务16核以上 (服务器级 CPU)多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)128GB200GB 以上 SSD超大规模模型、研究、企业级应用671b (6710亿)超大规模训练、企业级任务服务器级 CPU (如 AMD EPYC / Intel Xeon)多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)256GB 或更高1TB 以上 NVMe SSD超大规模训练、企业级 AI 平台总结：配置越高，可部署的模型模型参数规模越大（通俗点讲就是硬件性能越好，问的问题可以更加复杂，回答的越精准）
在cmd命令行下复制前面的命令即可进行模型下载，如果下载速度慢，Ctrl + C，终止进程再次进行安装。

下载完之后就可以，进行模型使用了。
关于Ollama的使用，需要知道以下命令即可

1. ## 安装模型/启动模型（后面就是模型名称）
2. ollama run deepseek-r1:7b
4. ## 卸载模型
5. ollama rm deepseek-r1:7b
7. ## 查看模型
8. ollama list

复制代码

拓展

如果不喜欢上述命令行的提问方式，可以下载Chatbox AI 可视化工具https://chatboxai.app/zh
登录进来之后，软件会提示使用什么AI模型，这里选择使用自己的API Key 或本地模型 ，然后选择Ollama，点击获取即可得到本地部署模型

最终效果：

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！