DeepSeek 多模态模型 Janus-Pro 本地部署

屠焘 · 2025-6-5 10:12:30

一、概述

Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立的路径，同时仍然使用单一的、统一的变压器架构进行处理，该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型，并且匹配或超过了特定任务模型的性能。
代码链接：https://github.com/deepseek-ai/Janus
模型链接：https://modelscope.cn/collections/Janus-Pro-0f5e48f6b96047
体验页面：https://modelscope.cn/studios/AI-ModelScope/Janus-Pro-7B

二、虚拟环境

环境说明

本文使用WSL2运行的ubuntu系统来进行演示，参考链接：https://www.cnblogs.com/xiao987334176/p/18864140
创建虚拟环境

conda create --name vll-Janus-Pro-7B python=3.12.7

复制代码

激活虚拟环境，执行命令：

conda activate vll-Janus-Pro-7B

复制代码

查看CUDA版本，执行命令：

# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Wed_Jan_15_19:20:09_PST_2025
Cuda compilation tools, release 12.8, V12.8.61
Build cuda_12.8.r12.8/compiler.35404655_0

复制代码

三、安装Janus-Pro

硬件要求

显存至少8G以上，推荐16G
内存，至少16G以上，推荐32G
CPU，最低4核，推荐8核
硬盘，最好50G，推荐500G

以上条件，我已经满足了
显卡，RTX 5080，显存16G
内存，64G，DDR5
cpu，24核32线程
硬盘，2TB固态硬盘
安装

创建项目目录

mkdir vllm
cd vllm

复制代码

克隆代码

git clone https://github.com/deepseek-ai/Janus

复制代码

安装依赖包，注意：这里要手动安装pytorch，指定版本。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

复制代码

安装其他依赖组件

pip3 install transformers attrdict einops timm

复制代码

下载模型
可以用modelscope下载，安装modelscope，命令如下：

pip install modelscope
modelscope download --model deepseek-ai/Janus-Pro-7B

复制代码

效果如下：
[code]# modelscope download --model deepseek-ai/Janus-Pro-7BDownloading Model from https://www.modelscope.cn to directory: /root/.cache/modelscope/hub/models/deepseek-ai/Janus-Pro-7BDownloading [config.json]: 100%|███████████████████████████████████████████████████| 1.42k/1.42k [00:00

账号		自动登录	找回密码
密码			立即注册