Trí tuệ nhân tạo nâng cao: ComfyUI

OpenShot có thể kết nối với máy chủ ComfyUI cục bộ và chạy quy trình làm việc AI từ menu ngữ cảnh Tệp dự án và Dòng thời gian. Trang này giải thích những công cụ này là gì, chúng yêu cầu phần cứng gì và nơi chứa các mẫu quy trình làm việc tích hợp sẵn.

Cảnh báo

Các tính năng AI trong OpenShot là thử nghiệm và yêu cầu một máy trạm cao cấp.

  • Các công cụ này không được khuyến nghị cho laptop, máy tính để bàn tầm trung hoặc hệ thống giá rẻ.

  • Bạn phải chạy một máy chủ ComfyUI cục bộ.

  • Bạn nên chuẩn bị cho việc tải xuống mô hình, thiết lập và khắc phục sự cố quy trình làm việc.

Cài đặt và Thiết lập

Sử dụng đường dẫn thiết lập nhanh này trước khi thử bất kỳ quy trình AI nào trong OpenShot:

  1. Cài đặt ComfyUI và xác nhận nó khởi động đúng cách.

  2. Cài đặt các nút tùy chỉnh cần thiết (liệt kê bên dưới).

  3. Tải xuống các tệp mô hình cần thiết (liệt kê bên dưới) vào các thư mục mô hình tương ứng.

  4. Khởi động ComfyUI, sau đó mở Edit->Preferences->Advanced và đặt ComfyUI URL.

  5. Nhấn Check để xác nhận OpenShot có thể kết nối với máy chủ.

Để biết chi tiết cài đặt đầy đủ ComfyUI, xem kho lưu trữ chính thức: ComfyUI trên GitHub.

Các Nút Tùy Chỉnh Cần Thiết

Các Mô hình / Tệp Cần Thiết

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Người dùng Thấy Gì trong OpenShot

Khi ComfyUI có sẵn, OpenShot hiển thị các công cụ AI trong menu ngữ cảnh:

  • Tạo với AI để tạo tài sản mới

    ../_images/create-with-ai.jpg

  • Nâng cao với AI (hình ảnh) để xử lý tài sản hình ảnh

    ../_images/enhance-with-ai-image.jpg

  • Nâng cao với AI (video) để xử lý tài sản video

    ../_images/enhance-with-ai-video.jpg

Các tệp được tạo sẽ được thêm vào Project Files với văn bản tiến trình và huy hiệu hàng đợi. Đầu ra được lưu dưới .openshot_qt/comfyui-output/.

Bắt đầu một dự án mới hoặc mở một dự án hiện có sẽ xóa các thư mục làm việc AI tạm thời .openshot_qt để bạn bắt đầu với một trang trắng. Các dự án đã lưu của bạn không bị ảnh hưởng, và bất kỳ tài sản nào đã sao chép vào thư mục PROJECTNAME_Assets vẫn nằm trong thư mục của dự án đó.

Nếu ComfyUI không khả dụng, OpenShot sẽ tắt các menu AI. Định cấu hình URL máy chủ trong Edit->Preferences->Advanced, sau đó sử dụng nút Check để kiểm tra kết nối.

Mẫu Quy trình làm việc

OpenShot đọc các mẫu dựng sẵn từ comfyui/. Nó cũng tải các mẫu người dùng tùy chỉnh từ ~/.openshot_qt/comfyui/.

Để thêm quy trình làm việc của riêng bạn:

  1. Trong ComfyUI, mở tab quy trình làm việc bạn muốn sử dụng.

  2. Chọn Export (API) để lưu quy trình làm việc dưới dạng tệp *.json.

  3. Sao chép tệp JSON đó vào ~/.openshot_qt/comfyui/.

  4. Khởi động lại OpenShot, hoặc mở lại dự án nếu cần.

OpenShot sẽ tự động tải quy trình làm việc và hiển thị nó trong menu AI phù hợp. Khi bạn kích hoạt nó từ OpenShot, tệp nguồn được chọn sẽ được truyền vào quy trình làm việc, và đầu ra từ nút đầu ra cuối cùng của quy trình làm việc sẽ được nhập lại vào Project Files.

OpenShot cũng ghi một payload .openshot_qt/comfyui/debug.json cho người dùng nâng cao muốn kiểm tra chính xác yêu cầu gửi đến ComfyUI.

Hộp thoại Hành động AI

Cả Create with AI và Enhance with AI đều mở cùng một hộp thoại tạo.

../_images/comfyui-prompt-dialog.jpg

Tại sao hộp thoại này quan trọng:

  • Nó giữ tất cả các đầu vào AI ở một nơi.

  • Nó xác thực các trường bắt buộc trước khi xếp hàng công việc.

  • Nó cho phép bạn thiết lập các lời nhắc theo dõi trước khi chạy tốn kém.

Những gì bạn có thể làm trong hộp thoại:

  • Chọn quy trình làm việc/hành động.

  • Nhập văn bản lời nhắc.

  • Xem trước tệp nguồn đã chọn (cho quy trình làm việc nâng cao).

  • Đặt tên đầu ra cho phương tiện được tạo.

  • Cung cấp các điểm/hình chữ nhật theo dõi cho quy trình làm việc theo dõi.

  • Bắt đầu công việc với Generate hoặc đóng với Cancel.

Theo dõi (Mặt nạ, Làm mờ, Làm nổi bật)

Các quy trình làm việc theo dõi (Blur..., Highlight..., Mask...) sử dụng màn hình vùng nơi bạn đánh dấu những gì cần bao gồm và những gì cần bỏ qua.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Tại sao điều này quan trọng

Theo dõi giúp hiệu ứng của bạn gắn liền với đối tượng chuyển động theo thời gian. Ví dụ, bạn có thể làm mờ khuôn mặt, làm nổi bật một người chơi, hoặc tạo mặt nạ sạch theo dõi cùng một đối tượng qua nhiều khung hình.

Biểu tượng Theo dõi

Biểu tượng / Đánh dấu

Ý nghĩa

Chấm xanh

Tọa độ theo dõi tích cực (điểm hạt giống tiền cảnh/đối tượng).

Chấm đỏ

Tọa độ theo dõi tiêu cực (điểm hạt giống nền/loại trừ).

Hình chữ nhật xanh

Hạt giống vùng tích cực (gợi ý đối tượng rộng).

Hình chữ nhật đỏ

Hạt giống vùng tiêu cực (gợi ý loại trừ rộng).

Xóa biểu tượng

Xóa tất cả các hạt giống theo dõi hiện tại (điểm/hình chữ nhật) và bắt đầu lại.

Cách Theo dõi Hoạt động

OpenShot gửi các dấu hiệu tích cực và tiêu cực của bạn như tọa độ hạt giống đến mô hình theo dõi, mô hình này tạo mặt nạ cho đối tượng và sau đó theo dõi nó theo thời gian. Hạt giống tốt hơn thường tạo ra mặt nạ sạch hơn và ít bị trôi hơn. [sam2]

Cách sử dụng

  1. Chọn một khung hình nơi đối tượng hiển thị rõ ràng.

  2. Bắt đầu với một chấm xanh trên đối tượng.

  3. Chỉ thêm các chấm đỏ trên nền gần đó nếu cần.

  4. Thêm hình chữ nhật khi bạn cần chọn nhanh và rộng hơn.

  5. Lặp lại trên các khung hình bổ sung khi chuyển động/hình dạng thay đổi.

Điều chỉnh theo thời gian (thanh trượt khung hình):

  • Di chuyển thanh trượt khung hình đến các thời điểm khác nhau trong đoạn phim.

  • Thêm hoặc điều chỉnh các chấm/hình chữ nhật trên các khung hình nơi theo dõi bắt đầu bị trôi.

  • Chỉ sử dụng các điểm hạt giống bổ sung khi cần thiết, đặc biệt là khi bị che khuất, chuyển động nhanh hoặc thay đổi hình dạng lớn.

Đầu ra Xem trước Mặt nạ (từ quá trình theo dõi này):

../_images/comfyui-mask-example-preview.jpg

Thực hành Tốt nhất

  • Trước tiên hãy sử dụng một đoạn clip thử ngắn.

  • Bắt đầu đơn giản: một chấm xanh duy nhất thường là đủ.

  • Chỉ thêm nhiều điểm hơn khi theo dõi thất bại.

  • Nếu cần, thêm một bộ điểm và hình chữ nhật tích cực/tiêu cực chi tiết hơn.

  • Giữ các điểm tích cực và tiêu cực được tách biệt rõ ràng.

  • Nếu việc theo dõi trở nên lộn xộn, hãy sử dụng biểu tượng Xóa và bắt đầu lại với các điểm khởi đầu sạch hơn.

[sam2]

Dự án SAM2 (Segment Anything Model 2): facebookresearch/sam2

Hàng đợi công việc, Tiến trình và Hủy bỏ

Sau khi bạn nhấn Tạo, yêu cầu sẽ được xếp hàng và chạy trong hàng đợi công việc AI của OpenShot.

  • Tiến trình được hiển thị trong Tệp Dự án (biểu tượng và văn bản trạng thái).

  • Kết quả hoàn thành được nhập lại vào Tệp Dự án.

  • Có thể hủy các công việc đang hoạt động bằng cách nhấp chuột phải vào tệp dự án đã tạo bằng thanh tiến trình và chọn Cancel Job.

  • Kết quả được ghi dưới thư mục .openshot_qt/comfyui-output/.

Quy trình làm việc JSON tích hợp sẵn

Các phần bên dưới ánh xạ trực tiếp tới các mẫu JSON tích hợp trong comfyui/. Mỗi tiểu mục mô tả lý do tại sao bạn có thể sử dụng nó, cách chạy nó và các chi tiết chính.

Tạo với AI

Hình ảnh... (txt2img-basic)

  • Lý do: Tạo hình ảnh tĩnh từ lời nhắc văn bản.

  • Cách làm: Chọn Tạo với AI -> Hình ảnh..., nhập lời nhắc, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/txt2img-basic.json với sd_xl_base_1.0.safetensors.

Video... (txt2video-svd)

  • Lý do: Tạo các đoạn video ngắn từ văn bản.

  • Cách làm: Chọn Tạo với AI -> Video..., nhập lời nhắc, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/txt2video-svd.json với các mô hình tạo video WAN.

Âm thanh... (txt2audio-stable-open)

  • Lý do: Tạo âm thanh không phải nhạc từ lời nhắc văn bản.

  • Cách làm: Chọn Tạo với AI -> Âm thanh..., nhập lời nhắc, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/txt2audio-stable-open.json với các mẫu Stable Audio Open.

Âm nhạc... (txt2music-ace-step)

  • Lý do: Tạo nhạc từ phong cách/nhãn (và lời bài hát tùy chọn).

  • Cách làm: Chọn Tạo với AI -> Âm nhạc..., nhập văn bản lời nhắc, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/txt2music-ace-step.json với điểm kiểm tra Ace-Step 1.5.

Nâng cao với AI

Thay đổi phong cách hình ảnh... (img2img-basic)

  • Lý do: Thay đổi phong cách hình ảnh hiện có trong khi giữ nguyên bố cục gốc.

  • Cách làm: Chọn Nâng cao với AI trên một hình ảnh, nhập lời nhắc phong cách, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/img2img-basic.json với sd_xl_base_1.0.safetensors.

Hình ảnh thành Video... (img2video-svd)

  • Lý do: Biến một hình ảnh tĩnh thành một cảnh video được tạo.

  • Cách làm: Chọn Nâng cao với AI trên một hình ảnh, cung cấp hướng dẫn lời nhắc, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/img2video-svd.json với các mô hình chuyển đổi hình ảnh sang video WAN.

Thay đổi phong cách video... (video2video-basic)

  • Lý do: Áp dụng phong cách hình ảnh mới cho video gốc.

  • Cách làm: Chọn Nâng cao với AI trên một video, nhập lời nhắc phong cách, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video2video-basic.json với sd_xl_base_1.0.safetensors.

Tăng độ phân giải (hình ảnh) (upscale-realesrgan-x4)

  • Lý do: Tăng kích thước hình ảnh có độ phân giải thấp.

  • Cách làm: Chọn Nâng cao với AI trên một hình ảnh, chọn tăng độ phân giải, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/upscale-realesrgan-x4.json với RealESRGAN_x4plus.safetensors.

Tăng độ phân giải (video) (video-upscale-gan)

  • Lý do: Tăng kích thước khung hình video để có chi tiết rõ hơn.

  • Cách làm: Chọn Nâng cao với AI trên một video, chọn tăng độ phân giải, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-upscale-gan.json với RealESRGAN_x4plus.safetensors.

Chuyển động mượt mà (tốc độ khung hình 2x) (video-frame-interpolation-rife2x)

  • Lý do: Tăng tốc độ khung hình để chuyển động mượt mà hơn.

  • Cách làm: Chọn Nâng cao với AI trên một video, chọn chuyển động mượt mà, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-frame-interpolation-rife2x.json với rife47.pth.

Chia thành các cảnh (video-segment-scenes-transnet)

  • Lý do: Tự động phát hiện thay đổi cảnh và chia các đoạn video dài thành các phân đoạn.

  • Cách làm: Chọn Nâng cao với AI trên một video, chọn chia cảnh, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-segment-scenes-transnet.json với TransNetV2.

Thêm Phụ đề từ Giọng nói (video-whisper-srt)

  • Tại sao: Chuyển lời nói thành các tệp phụ đề/phụ đề đóng.

  • Cách làm: Chọn Tăng cường với AI trên video, chọn phụ đề, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-whisper-srt.json và tạo đầu ra SRT.

Quy trình theo dõi (SAM2)

Các quy trình này sử dụng cùng luồng đầu vào vùng/theo dõi và được nhóm trong menu ngữ cảnh theo dõi.

Làm mờ... (hình ảnh) (image-blur-anything-sam2)

  • Tại sao: Làm mờ các khu vực đối tượng được chọn trong hình ảnh tĩnh.

  • Cách làm: Chọn các điểm/hình chữ nhật cho đối tượng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/image-blur-anything-sam2.json với tính năng phân đoạn hình ảnh SAM2.

Làm nổi bật... (hình ảnh) (image-highlight-anything-sam2)

  • Tại sao: Nhấn mạnh các khu vực đối tượng được chọn trong hình ảnh tĩnh.

  • Cách làm: Chọn các điểm/hình chữ nhật cho đối tượng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/image-highlight-anything-sam2.json với tính năng phân đoạn hình ảnh SAM2.

Mặt nạ... (hình ảnh) (image-mask-anything-sam2)

  • Tại sao: Tạo mặt nạ hình ảnh cho các khu vực đối tượng được chọn.

  • Cách làm: Chọn các điểm/hình chữ nhật cho đối tượng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/image-mask-anything-sam2.json với tính năng phân đoạn hình ảnh SAM2.

Làm mờ... (video) (video-blur-anything-sam2)

  • Tại sao: Theo dõi và làm mờ đối tượng chuyển động trong video.

  • Cách làm: Đánh dấu đối tượng/nền trong màn hình vùng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-blur-anything-sam2.json với tính năng theo dõi video SAM2.

Làm nổi bật... (video) (video-highlight-anything-sam2)

  • Tại sao: Theo dõi và làm nổi bật đối tượng chuyển động trong video.

  • Cách làm: Đánh dấu đối tượng/nền trong màn hình vùng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-highlight-anything-sam2.json với tính năng theo dõi video SAM2.

Mặt nạ... (video) (video-mask-anything-sam2)

  • Tại sao: Tạo mặt nạ động theo dõi đối tượng chuyển động.

  • Cách làm: Đánh dấu đối tượng/nền trong màn hình vùng, sau đó tạo.

  • Chi tiết: Sử dụng comfyui/video-mask-anything-sam2.json với tính năng theo dõi video SAM2.

Điểm Khởi đầu cho Người dùng Mới

Nếu bạn mới với các công cụ này, hãy bắt đầu với:

  1. Tạo với AI -> Hình ảnh

  2. Tăng cường với AI -> Tăng Độ phân giải

  3. Tăng cường với AI -> Làm mượt Chuyển động

  4. Tăng cường với AI -> Chia thành Cảnh

  5. Tăng cường với AI -> Thêm Phụ đề

Khắc phục sự cố

Nếu menu AI không xuất hiện hoặc công việc thất bại ngay lập tức:

  1. Xác nhận ComfyUI đang chạy và có thể truy cập tại URL đã cấu hình.

  2. Xác nhận các mô hình cần thiết tồn tại trong môi trường ComfyUI của bạn.

  3. Xác nhận các gói node tùy chỉnh đã được cài đặt cho quy trình làm việc bạn đã chọn.

  4. Giảm kích thước lô/khối cho các đoạn clip dài.

  5. Thử lại với đoạn clip ngắn hoặc hình ảnh tĩnh trước.

Để tối ưu hiệu suất chung và bộ nhớ đệm, xem Tùy chọn và Phát lại.