高级 AI：ComfyUI

OpenShot 可以连接到本地的 ComfyUI 服务器，并从项目文件和时间线上下文菜单运行 AI 工作流程。本页解释了这些工具是什么，它们需要什么硬件，以及内置工作流程模板的位置。

警告

OpenShot 中的 AI 功能是**实验性的**，需要**高端工作站**。

  • 这些工具**不推荐**用于笔记本电脑、中端台式机或预算系统。

  • 您必须运行本地的 ComfyUI 服务器。

  • 您应预期模型下载、设置工作和工作流程故障排除。

安装与设置

在尝试 OpenShot 中的任何 AI 工作流程之前，请使用此快速设置路径：

  1. 安装 ComfyUI 并确认其正确启动。

  2. 安装所需的自定义节点（如下所列）。

  3. 下载所需的模型文件（如下所列）到对应的模型文件夹。

  4. 启动 ComfyUI，然后在 OpenShot 中设置 首选项 -> 实验性 -> Comfy UI URL。

  5. 点击 检查 以确认 OpenShot 能连接到服务器。

有关完整的 ComfyUI 安装详情，请参阅官方仓库：ComfyUI on GitHub。

必需的自定义节点

必需的模型 / 文件

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

用户在 OpenShot 中看到的内容

当 ComfyUI 可用时，OpenShot 会在上下文菜单中显示 AI 工具：

  • 使用 AI 创建 用于创建新资产

    ../_images/create-with-ai.jpg

  • 使用 AI 增强（图像） 用于处理图像资产

    ../_images/enhance-with-ai-image.jpg

  • 使用 AI 增强（视频） 用于处理视频资产

    ../_images/enhance-with-ai-video.jpg

生成的文件会添加到 项目文件，并显示进度文本和队列徽章。输出文件保存在 .openshot_qt/comfyui-output/ 目录下。

启动一个**新项目**或打开一个**现有项目**时，会清除临时的 .openshot_qt AI 工作文件夹，让您从干净的状态开始。已保存的项目不会受到影响，之前复制到 PROJECTNAME_Assets 文件夹中的任何资源仍保留在该项目目录中。

如果 ComfyUI 不可用，OpenShot 会隐藏 AI 菜单。请在 首选项 -> 实验性 -> Comfy UI URL 中配置服务器 URL，然后使用 检查 按钮测试连接。

工作流程模板

OpenShot 从 src/comfyui/ 读取内置模板，也会加载来自 ~/.openshot_qt/comfyui/ 的自定义用户模板。

添加您自己的工作流程：

  1. 在 ComfyUI 中，打开您想使用的工作流程标签页。

  2. 选择 导出（API），将工作流程保存为 *.json 文件。

  3. 将该 JSON 文件复制到 ~/.openshot_qt/comfyui/ 目录。

  4. 重启 OpenShot，或在需要时重新打开项目。

OpenShot 会自动加载该工作流程并在相应的 AI 菜单中显示。当您从 OpenShot 触发它时，所选的源文件会传入工作流程，工作流程最终输出节点的结果会导入回 项目文件。

OpenShot 还会写入 .openshot_qt/comfyui/debug.json 负载，供高级用户检查发送给 ComfyUI 的精确请求。

AI 操作对话框

使用 AI 创建 和 使用 AI 增强 都会打开相同的生成对话框。

../_images/comfyui-prompt-dialog.jpg

此对话框的重要性：

  • 它将所有 AI 输入集中在一个地方。

  • 它在排队任务前验证必填字段。

  • 它允许您在耗时运行前设置跟踪提示。

您可以在对话框中执行的操作：

  • 选择工作流程/操作。

  • 输入提示文本。

  • 预览所选源文件（用于增强工作流程）。

  • 设置生成媒体的输出名称。

  • 为跟踪工作流程提供跟踪点/矩形。

  • 点击 生成 开始任务，或点击 取消 关闭。

跟踪（蒙版、模糊、高亮）

跟踪工作流程（模糊...、高亮...、蒙版...）使用区域屏幕，您可以标记包含和忽略的部分。

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

重要原因

跟踪帮助您的效果随着时间保持附着于移动的主体。例如，您可以模糊脸部、高亮球员，或生成一个干净的蒙版，跟随同一对象跨越多帧。

跟踪图标

图标 / 标记

含义

蓝点

正向跟踪坐标（前景/主体种子点）。

红点

负向跟踪坐标（背景/排除种子点）。

蓝色矩形

正向区域种子（广泛主体提示）。

红色矩形

负向区域种子（广泛排除提示）。

删除图标

清除所有当前跟踪种子（点/矩形）并重新开始。

跟踪工作原理

OpenShot 将您的正向和负向标记作为种子坐标发送给跟踪模型，模型为主体构建蒙版并随时间跟踪。更好的种子通常产生更干净的蒙版和更少的漂移。[sam2]

使用方法

  1. 选择主体清晰可见的帧。

  2. 在主体上放置一个蓝点开始。

  3. 仅在需要时在附近背景添加红点。

  4. 需要更快的广泛选择时添加矩形。

  5. 当运动/形状变化时，在其他帧重复操作。

随时间调整（帧滑块）：

  • 移动帧滑块到剪辑中的不同时间点。

  • 在跟踪开始漂移的帧上添加或调整点/矩形。

  • 仅在需要时使用额外的种子点，尤其是在遮挡、快速运动或重大形状变化时。

蒙版预览输出（来自此跟踪过程）：

../_images/comfyui-mask-example-preview.jpg

最佳实践

  • 先使用一个短的测试剪辑。

  • 从简单开始：通常一个蓝点就足够了。

  • 仅在跟踪失败的地方添加更多点。

  • 如有需要，添加更细致的正负点和矩形集合。

  • 保持正负点清晰分开。

  • 如果跟踪变得混乱，使用删除图标并用更干净的种子重新开始。

[sam2]

SAM2（Segment Anything Model 2）项目： facebookresearch/sam2

任务队列、进度和取消

点击 生成 后，请求将排队并在 OpenShot 的 AI 任务队列中运行。

  • 进度显示在 项目文件 中（徽章和状态文本）。

  • 完成的输出将导入回 项目文件。

  • 可以从同一 AI 工作流程中取消活动任务。

  • 输出写入 .openshot_qt/comfyui-output/ 目录下。

内置 JSON 工作流程

以下部分直接对应 src/comfyui/ 中的内置 JSON 模板。每个小节描述了使用原因、运行方法和关键细节。

使用 AI 创建

图像...（txt2img-basic）

  • 原因：从文本提示生成静态图像。

  • 方法：选择 使用 AI 创建 -> 图像...，输入提示，然后生成。

  • 详情：使用 src/comfyui/txt2img-basic.json 和 sd_xl_base_1.0.safetensors。

视频...（txt2video-svd）

  • 原因：从文本生成短视频片段。

  • 方法：选择 使用 AI 创建 -> 视频...，输入提示，然后生成。

  • 详情：使用 src/comfyui/txt2video-svd.json 和 WAN 视频生成模型。

声音...（txt2audio-stable-open）

  • 原因：从文本提示生成非音乐音频。

  • 方法：选择 使用 AI 创建 -> 声音...，输入提示，然后生成。

  • 详情：使用 src/comfyui/txt2audio-stable-open.json 和 Stable Audio Open 模型。

音乐...（txt2music-ace-step）

  • 原因：根据风格/标签（及可选歌词）生成音乐。

  • 方法：选择 使用 AI 创建 -> 音乐...，输入提示文本，然后生成。

  • 详情：使用 src/comfyui/txt2music-ace-step.json 和 Ace-Step 1.5 检查点。

使用 AI 增强

更改图像风格...（img2img-basic）

  • 原因：在保持原始构图的同时重新设计现有图像风格。

  • 方法：在图像上选择 使用 AI 增强，输入风格提示，然后生成。

  • 详情：使用 src/comfyui/img2img-basic.json 和 sd_xl_base_1.0.safetensors。

图像转视频...（img2video-svd）

  • 原因：将静态图像转换为生成的视频镜头。

  • 方法：在图像上选择 使用 AI 增强，提供提示指导，然后生成。

  • 详情：使用 src/comfyui/img2video-svd.json 和 WAN 图像转视频模型。

更改视频风格...（video2video-basic）

  • 原因：为源视频应用新的视觉风格。

  • 方法：在视频上选择 使用 AI 增强，输入风格提示，然后生成。

  • 详情：使用 src/comfyui/video2video-basic.json 和 sd_xl_base_1.0.safetensors。

提升分辨率（图像）（upscale-realesrgan-x4）

  • 原因：提升低分辨率图像。

  • 方法：在图像上选择 使用 AI 增强，选择提升分辨率，然后生成。

  • 详情：使用 src/comfyui/upscale-realesrgan-x4.json 和 RealESRGAN_x4plus.safetensors。

提升分辨率（视频）（video-upscale-gan）

  • 原因：提升视频帧分辨率以获得更高的视觉细节。

  • 方法：在视频上选择 使用 AI 增强，选择提升分辨率，然后生成。

  • 详情：使用 src/comfyui/video-upscale-gan.json 和 RealESRGAN_x4plus.safetensors。

平滑运动（2倍帧率）（video-frame-interpolation-rife2x）

  • 原因：提升帧率以获得更流畅的运动感。

  • 方法：在视频上选择 使用 AI 增强，选择平滑运动，然后生成。

  • 详情：使用 src/comfyui/video-frame-interpolation-rife2x.json 和 rife47.pth。

分割场景（video-segment-scenes-transnet）

  • 原因：自动检测场景变化，将长片段分割成多个片段。

  • 方法：在视频上选择 使用 AI 增强，选择场景分割，然后生成。

  • 详情：使用 src/comfyui/video-segment-scenes-transnet.json 和 TransNetV2。

从语音添加字幕（video-whisper-srt）

  • 原因：将语音转录为字幕/标题文件。

  • 方法：在视频上选择 Enhance with AI，选择字幕，然后生成。

  • 详情：使用 src/comfyui/video-whisper-srt.json 并生成 SRT 输出。

跟踪工作流程（SAM2）

这些工作流程使用相同的区域/跟踪输入流程，并在跟踪上下文菜单中分组。

模糊...（图像）（image-blur-anything-sam2）

  • 原因：模糊静态图像中选定的主体区域。

  • 方法：选择主体的点/矩形，然后生成。

  • 详情：使用 src/comfyui/image-blur-anything-sam2.json 和 SAM2 图像分割。

高亮...（图像）（image-highlight-anything-sam2）

  • 原因：强调静态图像中选定的主体区域。

  • 方法：选择主体的点/矩形，然后生成。

  • 详情：使用 src/comfyui/image-highlight-anything-sam2.json 和 SAM2 图像分割。

蒙版...（图像）（image-mask-anything-sam2）

  • 原因：为选定的主体区域生成图像蒙版。

  • 方法：选择主体的点/矩形，然后生成。

  • 详情：使用 src/comfyui/image-mask-anything-sam2.json 和 SAM2 图像分割。

模糊...（视频）（video-blur-anything-sam2）

  • 原因：跟踪并模糊视频中移动的主体。

  • 方法：在区域屏幕上标记主体/背景，然后生成。

  • 详情：使用 src/comfyui/video-blur-anything-sam2.json 和 SAM2 视频跟踪。

高亮...（视频）（video-highlight-anything-sam2）

  • 原因：跟踪并高亮视频中移动的主体。

  • 方法：在区域屏幕上标记主体/背景，然后生成。

  • 详情：使用 src/comfyui/video-highlight-anything-sam2.json 和 SAM2 视频跟踪。

蒙版...（视频）（video-mask-anything-sam2）

  • 原因：生成跟随移动主体的动画蒙版。

  • 方法：在区域屏幕上标记主体/背景，然后生成。

  • 详情：使用 src/comfyui/video-mask-anything-sam2.json 和 SAM2 视频跟踪。

新用户起点

如果您是这些工具的新手，请从以下开始：

  1. Create with AI -> Image

  2. Enhance with AI -> Increase Resolution

  3. Enhance with AI -> Smooth Motion

  4. Enhance with AI -> Split into Scenes

  5. Enhance with AI -> Add Captions

故障排除

如果 AI 菜单未出现或任务立即失败：

  1. 确认 ComfyUI 正在运行并且可以通过配置的 URL 访问。

  2. 确认所需模型存在于您的 ComfyUI 环境中。

  3. 确认已为您选择的工作流程安装了自定义节点包。

  4. 对于长片段，减少批处理/块大小。

  5. 先用短片段或静态图像重新测试。

有关一般性能和缓存调优，请参见 首选项 和 播放。