大模型本地部署搭建【ollama + deepseek + dify】

下载地址：https://ollama.com/download
或github下载：https://github.com/ollama/ollama/releases/tag/v0.5.7

• win +R 输入cmd打开命令行
  
• 输入 ollama 命令
  
• 使用ollama list命令查看有哪些大模型可以使用。
  

1、打开环境变量配置界面
2、在用户变量中添加两个变量

• OLLAMA_HOST ：0.0.0.0:11434 【用于本机访问，知识库是运行在一个虚拟机docker中的，需要一个穿透】
  
• OLLAMA_MODELS ：F:\OllamaModels 【大模型默认下载在C盘，修改大模型保存地址！】
  

1、打开cmd命令行，将官网中的命令复制到其中运行，例如：
ollama run deepseek-r1:1.5b 这个命令是直接运行的，推出需要使用/bye命令
2、使用ollama list命令查看刚刚下载好的大模型

• 下载安装docker 桌面版
  
  
  
  • 下载地址：https://www.docker.com/products/docker-desktop/
    
  
  
• 安装过程一路下一步即可，打开cmd命令行输入docker检测是否安装
  
• 修改docker国内镜像
  
  
  
  • 打开docker软件 -> 不用登录 -> 左上角设置 -> Docker Engine
    
    
    
    • 1. {
      2.   "builder": {
      3.     "gc": {
      4.       "defaultKeepStorage": "20GB",
      5.       "enabled": true
      6.     }
      7.   },
      8.   "experimental": false,
      9.   "registry-mirrors": [
      10.     "https://hub.rat.dev"
      11.   ]
      12. }

      复制代码
    
    
  
  

• 选择一个目录，不要有中文
  
• 执行克隆命令：
  git clone https://github.com/langgenius/dify.git
  cd dify/docker  
  
• 配置环境变量
  copy .env.example  .env  
  
• docker compose方式启动
  docker compose -f docker-compose.yaml up -d
  
• 关闭命令
  docker compose stop