今天在 GitHub Trending 上看到一个有意思的项目：ComfyUI，它是目前最强大、最模块化的 AI 内容创作引擎，通过可视化节点图让用户对模型、参数和输出拥有完全的控制权。

一、项目概述

ComfyUI 是由 Comfy-Org 团队维护的开源 AI 生成引擎，核心定位是为视觉专业人士提供完全可控的 AI 内容创作工具。与 Midjourney 等封闭式的 AI 作图工具不同，ComfyUI 的核心哲学是**“每一个模型、每一个参数、每一个输出都要由用户掌控”**。

核心特性一览：

  • 🖼️ 多模态生成：原生支持图像、视频、3D 模型、音频和文本生成
  • 🔗 可视化节点图：通过拖拽节点构建复杂工作流，无需写一行代码
  • ⚡ 高效执行：异步队列、局部图重执行、智能显存管理、模型卸载
  • 🖥️ 跨平台：支持 Windows、Linux、macOS，NVIDIA / AMD / Intel / Apple Silicon / Ascend / 寒武纪 / 燧原等多种硬件
  • 🔌 高度可扩展：支持自定义节点、LoRA、ControlNet、完整 Checkpoint 分层加载
  • 🌐 API 节点：集成 Nano Banana、Seedance、Hunyuan3D 等优质闭源 API
  • 📦 完全离线运行：核心组件不主动联网，可禁用 API 节点实现纯离线

支持的模型生态极为丰富：

类别代表模型
图生图Stable Diffusion 1.5/SDXL/SD3.5, Flux.1/Flux.2, Hunyuan Image 2.1, HiDream, Ideogram 4, PixelDiT 等
图像编辑Flux Kontext, Qwen Image Edit, OmniGen2, Boogu, JoyImage Edit 等
视频生成Wan 2.1/2.2, LTX-Video 2, HunyuanVideo 1.5, CogVideoX, Cosmos Predict2, SCAIL 2, Mochi 等
音频生成ACE-Step 1.5, Stable Audio 3, MiniMax H3
3D/视觉Hunyuan3D 2.1, TripoSplat, SeedVR2, Depth Anything 3, SAM 3, RT-DETRv4 等
文本生成Gemma 3/4, Qwen3, Qwen3.5, Qwen3-VL 等

二、技术原理

2.1 节点图执行引擎

ComfyUI 的核心是一个图执行引擎。每个节点代表一个操作（加载模型、文本编码、采样、VAE 解码等），节点之间的连线定义了数据流向。执行时，系统会自动分析依赖图，只执行有实际输出的节点分支，并利用增量执行（Partial Graph Re-execution）技术——重复提交相同图时仅执行有变化的部分。

核心代码片段（来自 execution.py）展示了这一执行逻辑：

# 只执行有实际输出的节点
# 只有输入发生变化的部分才会重新执行
# 重复提交同一图时，只有第一次会被执行
# 如果只改变了最后一部分，只有该部分及其依赖会被执行

2.2 显存优化：cuda_malloc

ComfyUI 内置了智能显存管理机制。在 NVIDIA 20 系列及以上显卡上，默认启用 cudaMallocAsync 显存分配器，通过 PYTORCH_CUDA_ALLOC_CONF 环境变量配置：

os.environ['PYTORCH_CUDA_ALLOC_CONF'] = "backend:cudaMallocAsync"

自动检测 GPU 型号，对老旧显卡（如 GTX 1650、Tesla M4 等）进行黑名单规避，确保稳定运行。

2.3 模型热加载与分层管理

ComfyUI 支持从 Checkpoint 中单独加载模型权重（UNet、VAE、CLIP 编码器），配合模型卸载（Model Offloading）机制，在显存不足时自动将不活跃的模型卸载到 RAM：

# 支持加载完整 Checkpoint 或单独的分层权重
# VAEs, Text Encoders, LoRAs, ControlNets, Adapters, Upscalers

2.4 多后端硬件支持

代码中内置了对 NVIDIA CUDA、AMD ROCm、Intel XPU、Apple Silicon（Metal）、Ascend NPU、Cambricon MLU、Iluvatar Corex 等多种硬件后端的安装命令和运行时适配：

# NVIDIA
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130

# AMD (Linux)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.2

# Intel XPU
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/xpu

三、安装与快速开始

3.1 环境要求

  • Python 3.12 或 3.13（3.14 部分自定义节点可能不兼容）
  • PyTorch（推荐最新稳定版）
  • GPU：NVIDIA RTX 20 系列及以上（CUDA 13.0+）/ AMD RDNA 3+ / Apple Silicon M1+

3.2 安装方式

方式一：桌面应用（推荐新手）

访问 comfy.org/download，下载 Windows/macOS 桌面客户端，一键安装。

方式二：Windows 便携版

下载解压即用，适合有 NVIDIA 显卡的用户：

# 直接下载（NVIDIA）
curl -L https://github.com/comfyanonymous/ComfyUI/releases/latest/download/ComfyUI_windows_portable_nvidia.7z -o ComfyUI.7z
7z x ComfyUI.7z
cd ComfyUI && ./run.bat

方式三：命令行安装（跨平台）

pip install comfy-cli
comfy install

方式四：手动安装（开发者）

git clone https://github.com/Comfy-Org/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
python main.py

3.3 安装 ComfyUI-Manager（推荐）

Manager 是必装扩展，支持一键安装、更新、管理自定义节点：

# 在 ComfyUI 目录中
pip install -r manager_requirements.txt
# 启动时加 --enable-manager 标志
python main.py --enable-manager

四、使用方法与实战

4.1 基础工作流

首次打开 ComfyUI 后，默认会有一个空白画布。右键点击画布打开节点搜索面板，搜索需要的节点并添加到画布上：

CLIP Text Encode (Prompt) → KSampler (采样器) → VAE Decode → Save Image
         ↑                      ↑                    ↑
    Load Checkpoint         Empty Latent         VAE (from Checkpoint)
  • Load Checkpoint：加载 SD 模型
  • CLIP Text Encode：输入正向/负向提示词
  • KSampler：设置采样步数、CFG、种子等参数
  • VAE Decode：将潜在空间解码为图像
  • Save Image：保存输出

4.2 快捷键速查

快捷键功能
Ctrl + Enter队列生成当前图
Ctrl + Shift + Enter优先队列（插队）
Ctrl + Z / Y撤销 / 重做
Ctrl + S保存工作流
Space + 拖拽平移画布
Alt + +/-缩放画布
双击左键打开节点搜索面板
Ctrl + G将选中节点分组

4.3 App Mode 与工作流模板

ComfyUI 9.x 版本引入了 App Mode，支持将复杂的工作流包装成简洁的单页面应用，普通用户只需填写几个参数即可使用。官方提供了大量模板工作流，涵盖文生图、图生图、视频生成等常见场景。

4.4 跨 UI 共享模型

如果已安装其他 SD UI（如 Automatic1111），可以通过 extra_model_paths.yaml 共享模型，无需重复下载：

# extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml
a1111:
  base_path: /path/to/stable-diffusion-webui

4.5 从生成图片恢复完整工作流

ComfyUI 的一个强大特性：将生成的 PNG 拖入界面即可自动恢复完整工作流（包括所有节点连接和随机种子），方便复现和分享。

五、常见问题与解决方案

Q1: 启动报错 “Torch not compiled with CUDA enabled”

原因：PyTorch 安装时未包含 CUDA 支持。
解决：

pip uninstall torch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130

Q2: 显存不足（CUDA Out of Memory）

解决方案：

  1. 开启模型卸载：设置 → Settings → Model Management → Model Auto-Switching
  2. 降低采样步数或图像分辨率
  3. 使用量化模型（FP16 而非 FP32）

Q3: 预览图模糊

原因：默认使用低分辨率的 TAESD 预览。
解决：下载 taesd_decoder.pth 等文件放入 models/vae_approx，然后：

python main.py --preview-method taesd

Q4: 自定义节点安装失败

解决：确保先安装 ComfyUI-Manager，并通过 Manager 安装自定义节点（而非手动 pip install），Manager 会自动处理兼容性。

Q5: AMD 显卡在 Windows 上运行卡顿

AMD 在 Windows 上的 ROCm 支持目前仍为实验阶段，仅支持 RDNA 3 及以上（如 RX 7000 系列）。旧卡建议使用 PyTorch XPU 版本。

Q6: 提示词权重语法

ComfyUI 支持类似 AUTOMATIC1111 的加权语法：

(good code:1.2)   # 增强权重
(bad code:0.8)    # 降低权重
(best:1.1)        # 默认括号权重系数

使用 \\( 可以转义字面意义的括号。

六、总结

ComfyUI 凭借其模块化架构、广泛的模型支持和高度可定制的工作流，已经成为 AI 创作者的首选工具之一。它不只是一个 GUI，更是一套完整的 AI 内容创作操作系统——从图像、视频、3D 到音频，覆盖了当前生成式 AI 的所有主流模态。

如果你追求对 AI 生成过程的完全掌控，不想受制于云端服务的限制，ComfyUI 无疑是最值得投入的开源项目。建议从桌面客户端或便携版开始体验，再逐步深入到自定义节点和 API 集成。

🔗 项目地址：github.com/Comfy-Org/ComfyUI
🌐 官网：comfy.org
📦 下载桌面版：comfy.org/download