DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载

人工智能 新闻
Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

本文经AIGC Studio公众号授权转载,转载请联系出处。

今天给大家介绍DeepSeek发布的Janus-Pro模型的ComfyUI实践教程,包含ComfyUI安装,模型下载,工作流下载等,欢迎大家一起交流学习,也欢迎添加公众号小助手加入读者交流群,一起探索AIGC好玩的应用。

Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

ComfyUI 的 Janus-Pro 节点是一个统一的多模态理解和生成框架。

安装方法

1. 通过 ComfyUI Manager 安装(推荐)

  • 安装 ComfyUI-Manager
  • 在管理器中搜索 "Janus-Pro"
  • 点击安装

2. 手动安装

将此仓库克隆到你的 ComfyUI 的 custom_nodes 文件夹中:

cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

安装所需依赖: Windows系统:

# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
# 使用ComfyUI的Python环境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt

# 或者使用你的环境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt

安装注意

如果你遇到安装问题可以从一下几个方面排查问题:

  • 确保已安装 git
  • 尝试更新 pip:
python -m pip install --upgrade pip
  • 如果使用代理,确保 git 可以访问 GitHub
  • 确保使用的是与 ComfyUI 相同的 Python 环境

模型下载

  • 将模型文件放在 ComfyUI/models/Janus-Pro 文件夹中:
  • 在 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹
  • 从 Hugging Face 下载模型:
  • Janus-Pro-1B:https://huggingface.co/deepseek-ai/Janus-Pro-1B
  • Janus-Pro-7B:https://huggingface.co/deepseek-ai/Janus-Pro-7B
  • 将模型解压到各自的文件夹中:
ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/

工作流下载

需要的小伙伴可以在公众号发送以下内容获取工工作流:

DeepSeek工作流

这个工作流节点包含了图像描述和图像生成

  • 在序号1 选择 1B 或者 7B 模型
  • 在序号2 上传你需要用于 Janus Pro 解读的图片
  • 在序号3 可以调整用于图片描述的 Prompt, - 我测试过中文、英文、日语输入都没有问题,但是如果你需要特定语言的输出,请你在 prompt 中声明,类似 请使用日语输出 这样的要求
  • 序号4 是一个展示 文本的节点,我这里使用的是ComfyUI-Custom-Scripts 插件中的 Show Text 节点
  • 在序号5 中输入用于图像生成的 prompt
责任编辑:张燕妮 来源: AIGC Studio
相关推荐

2025-02-07 11:00:00

模型开源AI

2025-01-08 08:21:16

2023-09-29 22:31:25

高斯混合模型机器学习

2023-06-06 14:09:32

模型开源

2024-09-10 12:11:18

2024-08-30 15:19:22

2024-11-11 15:11:23

2024-01-22 13:59:00

模型训练

2024-11-22 08:22:58

2024-10-22 13:33:48

2024-12-30 00:01:00

多模态大模型Python

2024-12-18 18:57:58

2024-11-13 09:39:13

2024-10-25 14:30:00

模型AI

2024-05-17 16:02:00

2023-08-14 07:20:10

2024-09-25 14:53:00

2024-12-09 08:15:43

2024-03-25 12:30:18

AI训练开源
点赞
收藏

51CTO技术栈公众号