高级 AI：ComfyUI
OpenShot 可以连接到本地 ComfyUI 服务器并从项目文件和时间线上下文菜单运行 AI 工作流程。本页介绍了这些工具是什么、它们需要什么硬件以及内置工作流程模板的位置。
警告
OpenShot 中的 AI 功能是**实验性的**，需要**高端工作站**。
这些工具**不推荐**用于笔记本电脑、中端台式机或预算系统。
您必须运行本地的 ComfyUI 服务器。
您应预期模型下载、设置工作和工作流程故障排除。
最低推荐硬件
组件 |
推荐 |
|---|---|
GPU |
NVIDIA 5070 12GB 或更高（强烈推荐 16-24GB VRAM） |
CPU |
Ryzen 9 5900 级别 CPU（或同等高频多核） |
系统内存 |
64GB 内存或更多 |
存储 |
200GB 可用空间用于模型、缓存和生成的输出 |
经验 |
熟悉 ComfyUI 图表、模型和节点依赖 |
如果您的系统低于这些水平，任务将停滞、失败并产生不稳定的结果。如果您的 GPU 显存为 8GB 或更少，运行这些模型时将耗尽内存。
安装与设置
在尝试 OpenShot 中的任何 AI 工作流程之前，请使用此快速设置路径：
安装 ComfyUI 并确认其正确启动。
安装所需的自定义节点（如下所列）。
下载所需的模型文件（如下所列）到对应的模型文件夹。
启动 ComfyUI，然后打开 Edit->Preferences->Advanced 并设置 ComfyUI URL。
点击 检查 以确认 OpenShot 能连接到服务器。
有关完整的逐步服务器设置指南，请参阅 OpenShot 维基：ComfyUI：高级 AI 设置指南。
有关完整的 ComfyUI 安装详情，请参阅官方仓库：ComfyUI on GitHub。
必需的自定义节点
必需的模型 / 文件
ComfyUI/models/diffusion_models/wan2.1_vace_1.3B_fp16.safetensorsComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pthComfyUI/models/checkpoints/sd_xl_base_1.0.safetensorsComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensorsComfyUI/models/checkpoints/stable-audio-open-1.0.safetensorsComfyUI/models/clip_vision/clip_vision_g.safetensorsComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensorsComfyUI/models/grounding-dino/groundingdino_swint_ogc.pthComfyUI/models/sam2/sam2.1_hiera_base_plus.ptComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensorsComfyUI/models/sam2/sam2.1_hiera_small.ptComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensorsComfyUI/models/sam2/sam2.1_hiera_tiny.ptComfyUI/models/sam2/sam2_hiera_small.ptComfyUI/models/stt/whisper/large-v3.ptComfyUI/models/stt/whisper/medium.ptComfyUI/models/text_encoders/t5-base.safetensorsComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensorsComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.ptComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensorsComfyUI/models/vae/wan_2.1_vae.safetensorsComfyUI/models/vae/wan2.2_vae.safetensorsComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth
用户在 OpenShot 中看到的内容
当 ComfyUI 可用时，OpenShot 会在上下文菜单中显示 AI 工具：
使用 AI 创建 用于创建新资产
使用 AI 增强（图像） 用于处理图像资产
使用 AI 增强（视频） 用于处理视频资产
生成的文件会添加到 项目文件，并显示进度文本和队列徽章。输出文件保存在 .openshot_qt/comfyui-output/ 目录下。
启动一个**新项目**或打开一个**现有项目**时，会清除临时的 .openshot_qt AI 工作文件夹，让您从干净的状态开始。已保存的项目不会受到影响，之前复制到 PROJECTNAME_Assets 文件夹中的任何资源仍保留在该项目目录中。
如果 ComfyUI 不可用，OpenShot 将禁用 AI 菜单。在 Edit->Preferences->Advanced 中配置服务器 URL，然后使用 Check 按钮测试连接。
工作流程模板
OpenShot 从 comfyui/ 读取内置模板。它还从 ~/.openshot_qt/comfyui/ 加载自定义用户模板。
添加您自己的工作流程：
在 ComfyUI 中，打开您想使用的工作流程标签页。
选择 导出（API），将工作流程保存为
*.json文件。将该 JSON 文件复制到
~/.openshot_qt/comfyui/目录。重启 OpenShot，或在需要时重新打开项目。
OpenShot 会自动加载该工作流程并在相应的 AI 菜单中显示。当您从 OpenShot 触发它时，所选的源文件会传入工作流程，工作流程最终输出节点的结果会导入回 项目文件。
OpenShot 还会写入 .openshot_qt/comfyui/debug.json 负载，供高级用户检查发送给 ComfyUI 的精确请求。
AI 操作对话框
使用 AI 创建 和 使用 AI 增强 都会打开相同的生成对话框。
此对话框的重要性：
它将所有 AI 输入集中在一个地方。
它在排队任务前验证必填字段。
它允许您在耗时运行前设置跟踪提示。
您可以在对话框中执行的操作：
选择工作流程/操作。
输入提示文本。
预览所选源文件（用于增强工作流程）。
设置生成媒体的输出名称。
在 参考 标签中选择一个参考图像，适用于需要参考图像的工作流程。
为跟踪工作流程提供跟踪点/矩形。
点击 生成 开始任务，或点击 取消 关闭。
跟踪（蒙版、模糊、高亮）
跟踪工作流程（模糊...、高亮...、蒙版...）使用区域屏幕，您可以标记包含和忽略的部分。
重要原因
跟踪帮助您的效果随着时间保持附着于移动的主体。例如，您可以模糊脸部、高亮球员，或生成一个干净的蒙版，跟随同一对象跨越多帧。
跟踪图标
图标 / 标记 |
含义 |
|---|---|
蓝点 |
正向跟踪坐标（前景/主体种子点）。 |
红点 |
负向跟踪坐标（背景/排除种子点）。 |
蓝色矩形 |
正向区域种子（广泛主体提示）。 |
红色矩形 |
负向区域种子（广泛排除提示）。 |
删除图标 |
清除所有当前跟踪种子（点/矩形）并重新开始。 |
跟踪工作原理
OpenShot 将您的正负标记作为种子坐标发送到跟踪模型，该模型为主体构建遮罩并随时间跟踪。更好的种子通常会产生更干净的遮罩和更少的漂移。此工作流程使用 SAM2 (Segment Anything Model 2)。
使用方法
选择主体清晰可见的帧。
在主体上放置一个蓝点开始。
仅在需要时在附近背景添加红点。
需要更快的广泛选择时添加矩形。
当运动/形状变化时，在其他帧重复操作。
随时间调整（帧滑块）：
移动帧滑块到剪辑中的不同时间点。
在跟踪开始漂移的帧上添加或调整点/矩形。
仅在需要时使用额外的种子点，尤其是在遮挡、快速运动或重大形状变化时。
蒙版预览输出（来自此跟踪过程）：
最佳实践
先使用一个短的测试剪辑。
从简单开始：通常一个蓝点就足够了。
仅在跟踪失败的地方添加更多点。
如有需要，添加更细致的正负点和矩形集合。
保持正负点清晰分开。
如果跟踪变得混乱，使用删除图标并用更干净的种子重新开始。
任务队列、进度和取消
点击 生成 后，请求将排队并在 OpenShot 的 AI 任务队列中运行。
进度显示在 项目文件 中（徽章和状态文本）。
完成的输出将导入回 项目文件。
可以通过右键单击带有进度条的生成的项目文件并选择 Cancel Job 来取消活动作业。
输出写入
.openshot_qt/comfyui-output/目录下。
内置 JSON 工作流程
以下部分直接映射到 comfyui/ 中的内置 JSON 模板。每个小节都描述了为什么要使用它、如何运行它以及关键细节。
使用 AI 创建
图像...（txt2img-basic）
原因：从文本提示生成静态图像。
方法：选择 使用 AI 创建 -> 图像...，输入提示，然后生成。
详细信息：将
comfyui/txt2img-basic.json与sd_xl_base_1.0.safetensors一起使用。
视频...（txt2video-svd）
原因：从文本生成短视频片段。
方法：选择 使用 AI 创建 -> 视频...，输入提示，然后生成。
详细信息：将
comfyui/txt2video-svd.json与 WAN 视频生成模型结合使用。
声音...（txt2audio-stable-open）
原因：从文本提示生成非音乐音频。
方法：选择 使用 AI 创建 -> 声音...，输入提示，然后生成。
详细信息：将
comfyui/txt2audio-stable-open.json与稳定音频开放模型一起使用。
音乐...（txt2music-ace-step）
原因：根据风格/标签（及可选歌词）生成音乐。
方法：选择 使用 AI 创建 -> 音乐...，输入提示文本，然后生成。
详细信息：将
comfyui/txt2music-ace-step.json与 Ace-Step 1.5 检查点结合使用。
使用 AI 增强
噪声 -> 降低 (audio-noise-reduce)
原因：轻度降低稳定的背景噪声，同时保留更多原始环境音。
方法：在音频文件上选择 使用 AI 增强 -> 噪声 -> 降低，然后生成。
详情：使用
comfyui/audio-noise-reduce.json和OpenShotDeepFilterNetDenoiseAudio。
噪声 -> 移除 (audio-noise-remove)
原因：积极移除嘈杂录音中的背景噪声。
方法：在音频文件上选择 使用 AI 增强 -> 噪声 -> 移除，然后生成。
详情：使用
comfyui/audio-noise-remove.json和OpenShotDeepFilterNetDenoiseAudio。
清晰度 -> 语音 (audio-clarity-speech)
原因：提升听起来沉闷、嘈杂、带宽受限或低保真的语音录音的清晰度。
方法：在音频文件上选择 使用 AI 增强 -> 清晰度 -> 语音，然后生成。
详情：使用
comfyui/audio-clarity-speech.json和OpenShotLavaSRSpeechClarity。
更改图像风格...（img2img-basic）
原因：在保持原始构图的同时重新设计现有图像风格。
方法：在图像上选择 使用 AI 增强，输入风格提示，然后生成。
详细信息：将
comfyui/img2img-basic.json与sd_xl_base_1.0.safetensors一起使用。
深度（image-extract-depth）
原因：从源图像导出灰度深度图像。
方法：在图像上选择 使用 AI 增强 -> 提取 -> 深度，然后生成。
详情：使用
comfyui/image-extract-depth.json和DepthAnythingV2Preprocessor。
线条（image-extract-lines）
原因：从源图像导出线条图像。
方法：在图像上选择 使用 AI 增强 -> 提取 -> 线条，然后生成。
详情：使用
comfyui/image-extract-lines.json和LineArtPreprocessor。
图像转视频...（img2video-wan）
原因：将静态图像转换为生成的视频镜头。
方法：在图像上选择 使用 AI 增强，提供提示指导，然后生成。
详情：使用
comfyui/img2video-wan.json和 WAN 2.2 图像转视频模型。
更改视频风格...（video2video-basic）
原因：为源视频应用新的视觉风格。
方法：在视频上选择 使用 AI 增强，输入风格提示，在 参考 标签中选择参考图像，然后生成。
详情：使用
comfyui/video2video-basic.json，结合 WAN VACE 视频转视频节点、必需的参考图像、混合的DepthAnythingV2Preprocessor深度和 Canny 边缘控制，以及wan2.1_vace_1.3B_fp16.safetensors、wan_2.1_vae.safetensors和umt5_xxl_fp8_e4m3fn_scaled.safetensors模型。
深度（video-extract-depth）
原因：导出源视频的灰度深度图版本。
方法：在视频上选择 使用 AI 增强 -> 提取 -> 深度，然后生成。
详情：使用
comfyui/video-extract-depth.json和DepthAnythingV2Preprocessor，并保持源帧率。
线条（video-extract-lines）
原因：导出源视频的线条图版本。
方法：在视频上选择 使用 AI 增强 -> 提取 -> 线条，然后生成。
详情：使用
comfyui/video-extract-lines.json和LineArtPreprocessor，并保持源帧率。
提升分辨率（图像）（upscale-realesrgan-x4）
原因：提升低分辨率图像。
方法：在图像上选择 使用 AI 增强，选择提升分辨率，然后生成。
详细信息：将
comfyui/upscale-realesrgan-x4.json与RealESRGAN_x4plus.safetensors一起使用。
提升分辨率（视频）（video-upscale-gan）
原因：提升视频帧分辨率以获得更高的视觉细节。
方法：在视频上选择 使用 AI 增强，选择提升分辨率，然后生成。
详细信息：将
comfyui/video-upscale-gan.json与RealESRGAN_x4plus.safetensors一起使用。
平滑运动（2倍帧率）（video-frame-interpolation-rife2x）
原因：提升帧率以获得更流畅的运动感。
方法：在视频上选择 使用 AI 增强，选择平滑运动，然后生成。
详细信息：将
comfyui/video-frame-interpolation-rife2x.json与rife47.pth一起使用。
分割场景（video-segment-scenes-transnet）
原因：自动检测场景变化，将长片段分割成多个片段。
方法：在视频上选择 使用 AI 增强，选择场景分割，然后生成。
详细信息：将
comfyui/video-segment-scenes-transnet.json与 TransNetV2 结合使用。
从语音添加字幕（video-whisper-srt）
原因：将语音转录为字幕/标题文件。
方法：在视频上选择 Enhance with AI，选择字幕，然后生成。
详细信息：使用
comfyui/video-whisper-srt.json并创建 SRT 输出。
跟踪工作流程（SAM2）
这些工作流程使用相同的区域/跟踪输入流程，并在跟踪上下文菜单中分组。
模糊...（图像）（image-blur-anything-sam2）
原因：模糊静态图像中选定的主体区域。
方法：选择主体的点/矩形，然后生成。
详细信息：使用
comfyui/image-blur-anything-sam2.json进行 SAM2 图像分割。
高亮...（图像）（image-highlight-anything-sam2）
原因：强调静态图像中选定的主体区域。
方法：选择主体的点/矩形，然后生成。
详细信息：使用
comfyui/image-highlight-anything-sam2.json进行 SAM2 图像分割。
蒙版...（图像）（image-mask-anything-sam2）
原因：为选定的主体区域生成图像蒙版。
方法：选择主体的点/矩形，然后生成。
详细信息：使用
comfyui/image-mask-anything-sam2.json进行 SAM2 图像分割。
模糊...（视频）（video-blur-anything-sam2）
原因：跟踪并模糊视频中移动的主体。
方法：在区域屏幕上标记主体/背景，然后生成。
详细信息：将
comfyui/video-blur-anything-sam2.json与 SAM2 视频跟踪结合使用。
高亮...（视频）（video-highlight-anything-sam2）
原因：跟踪并高亮视频中移动的主体。
方法：在区域屏幕上标记主体/背景，然后生成。
详细信息：将
comfyui/video-highlight-anything-sam2.json与 SAM2 视频跟踪结合使用。
蒙版...（视频）（video-mask-anything-sam2）
原因：生成跟随移动主体的动画蒙版。
方法：在区域屏幕上标记主体/背景，然后生成。
详细信息：将
comfyui/video-mask-anything-sam2.json与 SAM2 视频跟踪结合使用。
新用户起点
如果您是这些工具的新手，请从以下开始：
Create with AI -> Image
Enhance with AI -> Increase Resolution
Enhance with AI -> Smooth Motion
Enhance with AI -> Split into Scenes
Enhance with AI -> Add Captions
故障排除
如果 AI 菜单未出现或任务立即失败：
确认 ComfyUI 正在运行并且可以通过配置的 URL 访问。
确认所需模型存在于您的 ComfyUI 环境中。
确认已为您选择的工作流程安装了自定义节点包。
对于长片段，减少批处理/块大小。
先用短片段或静态图像重新测试。