進階 AI：ComfyUI

OpenShot 可以連接到本地的 ComfyUI 伺服器，並從專案檔案和時間軸的內容選單中執行 AI 工作流程。本頁說明這些工具是什麼、所需的硬體，以及內建工作流程範本的位置。

警告

OpenShot 中的 AI 功能為**實驗性質**，且需要**高階工作站**。

  • 這些工具**不建議**用於筆記型電腦、中階桌機或預算有限的系統。

  • 您必須執行本地的 ComfyUI 伺服器。

  • 您應該預期需要下載模型、進行設定工作及排除工作流程問題。

安裝與設定

在嘗試 OpenShot 中的任何 AI 工作流程前，請先使用此快速設定流程：

  1. 安裝 ComfyUI 並確認其能正確啟動。

  2. 安裝所需的自訂節點（如下所列）。

  3. 下載所需的模型檔案（如下所列）至相對應的模型資料夾。

  4. 啟動 ComfyUI，然後在 OpenShot 中設定 偏好設定 -> 實驗性功能 -> Comfy UI URL。

  5. 點擊 檢查 以確認 OpenShot 能連接到伺服器。

欲了解完整的 ComfyUI 安裝細節，請參閱官方倉庫：ComfyUI on GitHub。

必要的自訂節點

必要的模型 / 檔案

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

使用者在 OpenShot 中看到的內容

當 ComfyUI 可用時，OpenShot 會在內容選單中顯示 AI 工具：

  • 使用 AI 建立 用於建立新資產

    ../_images/create-with-ai.jpg

  • 使用 AI 強化（圖片） 用於處理圖片資產

    ../_images/enhance-with-ai-image.jpg

  • 使用 AI 強化（影片） 用於處理影片資產

    ../_images/enhance-with-ai-video.jpg

生成的檔案會加入到 Project Files，並顯示進度文字和佇列徽章。輸出檔案會儲存在 .openshot_qt/comfyui-output/ 目錄下。

啟動 新專案 或開啟 現有專案 時，會清除暫存的 .openshot_qt AI 工作資料夾，讓您從乾淨的狀態開始。已儲存的專案不會受到影響，且先前複製到 PROJECTNAME_Assets 資料夾的資產仍保留在該專案目錄中。

如果 ComfyUI 無法使用，OpenShot 會隱藏 AI 選單。請在 Preferences -> Experimental -> Comfy UI URL 中設定伺服器 URL，然後使用 Check 按鈕測試連線。

工作流程範本

OpenShot 從 src/comfyui/ 讀取內建範本，也會從 ~/.openshot_qt/comfyui/ 載入自訂使用者範本。

新增您自己的工作流程：

  1. 在 ComfyUI 中，開啟您想使用的工作流程分頁。

  2. 選擇 Export (API) 將工作流程儲存為 *.json 檔案。

  3. 將該 JSON 檔案複製到 ~/.openshot_qt/comfyui/。

  4. 重新啟動 OpenShot，或在需要時重新開啟專案。

OpenShot 會自動載入該工作流程並顯示於適當的 AI 選單中。當您從 OpenShot 觸發時，所選的來源檔案會傳入工作流程，工作流程最終輸出節點的輸出會匯入回 Project Files。

OpenShot 也會寫入 .openshot_qt/comfyui/debug.json 載荷，供進階使用者檢查送往 ComfyUI 的精確請求。

AI 動作對話框

Create with AI 和 Enhance with AI 都會開啟相同的生成對話框。

../_images/comfyui-prompt-dialog.jpg

此對話框的重要性：

  • 將所有 AI 輸入集中於一處。

  • 在排入工作佇列前驗證必填欄位。

  • 讓您在耗時運算前設定追蹤提示。

您可以在此對話框中執行的操作：

  • 選擇工作流程／動作。

  • 輸入提示文字。

  • 預覽所選來源檔案（用於增強工作流程）。

  • 設定生成媒體的輸出名稱。

  • 提供追蹤點／矩形以用於追蹤工作流程。

  • 按 Generate 開始工作，或按 Cancel 關閉。

追蹤（遮罩、模糊、強調）

追蹤工作流程（Blur...、Highlight...、Mask...）使用區域畫面，您可標記要包含與忽略的部分。

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

此事的重要性

追蹤可讓您的效果隨著時間附著於移動的主體。例如，您可以模糊臉部、強調球員，或產生一個乾淨的遮罩，追蹤同一物件跨越多個影格。

追蹤圖示

圖示／標記

意義

藍點

正向追蹤座標（前景／主體種子點）。

紅點

負向追蹤座標（背景／排除種子點）。

藍色矩形

正向區域種子（廣泛主體提示）。

紅色矩形

負向區域種子（廣泛排除提示）。

刪除圖示

清除所有目前的追蹤種子（點／矩形）並重新開始。

追蹤的運作方式

OpenShot 將您的正向與負向標記作為種子座標傳送給追蹤模型，該模型會為主體建立遮罩，並隨時間追蹤。較好的種子通常會產生更乾淨的遮罩和較少的漂移。 [sam2]

使用方法

  1. 選擇主體清晰可見的影格。

  2. 從主體上的一個藍點開始。

  3. 僅在需要時於附近背景添加紅點。

  4. 需要更快速的廣泛選取時，添加矩形。

  5. 當動作／形狀改變時，在其他影格重複操作。

隨時間調整（影格滑桿）：

  • 移動影格滑桿至剪輯中的不同時刻。

  • 在追蹤開始漂移的影格上新增或調整點／矩形。

  • 僅在需要時使用額外的種子點，特別是在遮擋、快速移動或重大形狀變化處。

遮罩預覽輸出（來自此追蹤過程）：

../_images/comfyui-mask-example-preview.jpg

最佳實踐

  • 先使用短的測試剪輯。

  • 從簡單開始：通常一個藍點就足夠。

  • 僅在追蹤失敗的地方添加更多點。

  • 如有需要，新增更細緻的正負點和矩形。

  • 清楚分開正負點。

  • 如果追蹤變得混亂，請使用刪除圖示並以更乾淨的種子重新開始。

[sam2]

SAM2（Segment Anything Model 2）專案： facebookresearch/sam2

工作佇列、進度與取消

點擊 產生 後，請求會排入佇列並在 OpenShot 的 AI 工作佇列中執行。

  • 進度會顯示在 專案檔案 （徽章和狀態文字）。

  • 完成的輸出會匯入回 專案檔案。

  • 可從相同的 AI 工作流程中取消進行中的工作。

  • 輸出會寫入 .openshot_qt/comfyui-output/ 目錄下。

內建 JSON 工作流程

以下章節直接對應到 src/comfyui/ 中的內建 JSON 範本。每個子節說明使用原因、執行方式及重點細節。

使用 AI 創建

影像...（txt2img-basic）

  • 原因：從文字提示產生靜態影像。

  • 方法：選擇 使用 AI 創建 -> 影像...，輸入提示詞，然後產生。

  • 細節：使用 src/comfyui/txt2img-basic.json 搭配 sd_xl_base_1.0.safetensors。

影片...（txt2video-svd）

  • 原因：從文字產生短影片片段。

  • 方法：選擇 使用 AI 創建 -> 影片...，輸入提示詞，然後產生。

  • 細節：使用 src/comfyui/txt2video-svd.json 搭配 WAN 影片生成模型。

聲音...（txt2audio-stable-open）

  • 原因：從文字提示產生非音樂音訊。

  • 方法：選擇 使用 AI 創建 -> 聲音...，輸入提示詞，然後產生。

  • 細節：使用 src/comfyui/txt2audio-stable-open.json 搭配 Stable Audio Open 模型。

音樂...（txt2music-ace-step）

  • 原因：從風格/標籤（及可選歌詞）產生音樂。

  • 方法：選擇 使用 AI 創建 -> 音樂...，輸入提示文字，然後產生。

  • 細節：使用 src/comfyui/txt2music-ace-step.json 搭配 Ace-Step 1.5 檢查點。

使用 AI 強化

更改影像風格...（img2img-basic）

  • 原因：在保留原始構圖的同時重新設計影像風格。

  • 方法：在影像上選擇 使用 AI 強化，輸入風格提示，然後產生。

  • 細節：使用 src/comfyui/img2img-basic.json 搭配 sd_xl_base_1.0.safetensors。

影像轉影片...（img2video-svd）

  • 原因：將靜態影像轉換成生成的影片鏡頭。

  • 方法：在影像上選擇 使用 AI 強化，提供提示指引，然後產生。

  • 細節：使用 src/comfyui/img2video-svd.json 搭配 WAN 影像轉影片模型。

更改影片風格...（video2video-basic）

  • 原因：為原始影片套用新的視覺風格。

  • 方法：在影片上選擇 使用 AI 強化，輸入風格提示，然後產生。

  • 細節：使用 src/comfyui/video2video-basic.json 搭配 sd_xl_base_1.0.safetensors。

提升解析度（影像）（upscale-realesrgan-x4）

  • 原因：放大低解析度影像。

  • 方法：在影像上選擇 使用 AI 強化，選擇提升解析度，然後產生。

  • 細節：使用 src/comfyui/upscale-realesrgan-x4.json 搭配 RealESRGAN_x4plus.safetensors。

提升解析度（影片）（video-upscale-gan）

  • 原因：放大影片影格以提升明顯細節。

  • 方法：在影片上選擇 使用 AI 強化，選擇提升解析度，然後產生。

  • 細節：使用 src/comfyui/video-upscale-gan.json 搭配 RealESRGAN_x4plus.safetensors。

平滑動作（2 倍影格率）（video-frame-interpolation-rife2x）

  • 原因：提升影格率以獲得更平滑的動作感受。

  • 方法：在影片上選擇 使用 AI 強化，選擇平滑動作，然後產生。

  • 細節：使用 src/comfyui/video-frame-interpolation-rife2x.json 搭配 rife47.pth。

分割成場景（video-segment-scenes-transnet）

  • 原因：自動偵測場景變換並將長片段分割成多段。

  • 方法：在影片上選擇 使用 AI 強化，選擇場景分割，然後產生。

  • 詳細資訊：使用 src/comfyui/video-segment-scenes-transnet.json 與 TransNetV2。

從語音新增字幕（video-whisper-srt）

  • 原因：將語音轉錄成字幕檔案。

  • 方法：在影片上選擇 以 AI 強化，選擇字幕，然後產生。

  • 詳細資訊：使用 src/comfyui/video-whisper-srt.json 並產生 SRT 輸出。

追蹤工作流程（SAM2）

這些工作流程使用相同的區域／追蹤輸入流程，並在追蹤右鍵選單中分組。

模糊...（圖片）（image-blur-anything-sam2）

  • 原因：模糊靜態圖片中選定的主體區域。

  • 方法：選擇主體的點或矩形，然後產生。

  • 詳細資訊：使用 src/comfyui/image-blur-anything-sam2.json 與 SAM2 圖像分割。

強調...（圖片）（image-highlight-anything-sam2）

  • 原因：強調靜態圖片中選定的主體區域。

  • 方法：選擇主體的點或矩形，然後產生。

  • 詳細資訊：使用 src/comfyui/image-highlight-anything-sam2.json 與 SAM2 圖像分割。

遮罩...（圖片）（image-mask-anything-sam2）

  • 原因：為選定的主體區域產生圖片遮罩。

  • 方法：選擇主體的點或矩形，然後產生。

  • 詳細資訊：使用 src/comfyui/image-mask-anything-sam2.json 與 SAM2 圖像分割。

模糊...（影片）（video-blur-anything-sam2）

  • 原因：追蹤並模糊影片中移動的主體。

  • 方法：在區域畫面標記主體／背景，然後產生。

  • 詳細資訊：使用 src/comfyui/video-blur-anything-sam2.json 與 SAM2 影片追蹤。

強調...（影片）（video-highlight-anything-sam2）

  • 原因：追蹤並強調影片中移動的主體。

  • 方法：在區域畫面標記主體／背景，然後產生。

  • 詳細資訊：使用 src/comfyui/video-highlight-anything-sam2.json 與 SAM2 影片追蹤。

遮罩...（影片）（video-mask-anything-sam2）

  • 原因：產生會跟隨移動主體的動畫遮罩。

  • 方法：在區域畫面標記主體／背景，然後產生。

  • 詳細資訊：使用 src/comfyui/video-mask-anything-sam2.json 與 SAM2 影片追蹤。

新手入門起點

如果您是這些工具的新手，請從以下開始：

  1. 以 AI 創建 -> 圖片

  2. 以 AI 強化 -> 提升解析度

  3. 以 AI 強化 -> 平滑動作

  4. 以 AI 強化 -> 分割場景

  5. 以 AI 強化 -> 新增字幕

故障排除

如果 AI 選單未顯示或工作立即失敗：

  1. 確認 ComfyUI 正在運行且可透過設定的 URL 存取。

  2. 確認所需模型存在於您的 ComfyUI 環境中。

  3. 確認已為您選擇的工作流程安裝自訂節點套件。

  4. 對長片段減少批次／區塊大小。

  5. 先用短片段或靜態圖片重新測試。

有關一般效能與快取調整，請參閱 偏好設定 與 播放。