Zaawansowana AI: ComfyUI

OpenShot może połączyć się z lokalnym serwerem ComfyUI i uruchamiać przepływy pracy AI z menu kontekstowych Pliki projektu i Oś czasu. Na tej stronie wyjaśniono, czym są te narzędzia, jakiego sprzętu wymagają i gdzie znajdują się wbudowane szablony przepływu pracy.

Ostrzeżenie

Funkcje AI w OpenShot są eksperymentalne i wymagają wydajnej stacji roboczej.

  • Te narzędzia nie są zalecane dla laptopów, komputerów stacjonarnych średniej klasy ani systemów budżetowych.

  • Musisz uruchomić lokalny serwer ComfyUI.

  • Powinieneś spodziewać się pobierania modeli, konfiguracji oraz rozwiązywania problemów z przepływami pracy.

Instalacja i konfiguracja

Użyj tej szybkiej ścieżki konfiguracji przed wypróbowaniem jakiegokolwiek przepływu pracy AI w OpenShot:

  1. Zainstaluj ComfyUI i potwierdź, że uruchamia się poprawnie.

  2. Zainstaluj wymagane niestandardowe węzły (wymienione poniżej).

  3. Pobierz wymagane pliki modeli (wymienione poniżej) do odpowiednich folderów modeli.

  4. Uruchom ComfyUI, następnie otwórz Edit->Preferences->Advanced i ustaw ComfyUI URL.

  5. Kliknij Sprawdź, aby potwierdzić, że OpenShot może połączyć się z serwerem.

Pełne informacje o instalacji ComfyUI znajdziesz w oficjalnym repozytorium: ComfyUI na GitHub.

Wymagane niestandardowe węzły

Wymagane modele / pliki

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Co użytkownicy widzą w OpenShot

Gdy ComfyUI jest dostępny, OpenShot pokazuje narzędzia AI w menu kontekstowych:

  • Utwórz za pomocą AI do tworzenia nowych zasobów

    ../_images/create-with-ai.jpg

  • Ulepsz za pomocą AI (obrazy) do przetwarzania zasobów obrazów

    ../_images/enhance-with-ai-image.jpg

  • Ulepsz za pomocą AI (wideo) do przetwarzania zasobów wideo

    ../_images/enhance-with-ai-video.jpg

Wygenerowane pliki są dodawane do Pliki projektu z tekstem postępu i odznakami kolejki. Wyniki są zapisywane w katalogu .openshot_qt/comfyui-output/.

Rozpoczęcie nowego projektu lub otwarcie istniejącego projektu czyści tymczasowe foldery robocze AI .openshot_qt, dzięki czemu zaczynasz z czystą kartą. Twoje zapisane projekty nie są modyfikowane, a wszelkie zasoby wcześniej skopiowane do folderu PROJECTNAME_Assets pozostają w katalogu tego projektu.

Jeśli ComfyUI jest niedostępny, OpenShot wyłącza menu AI. Skonfiguruj adres URL serwera w Edit->Preferences->Advanced, a następnie użyj przycisku Check, aby przetestować łączność.

Szablony przepływów pracy

OpenShot czyta wbudowane szablony z comfyui/. Ładuje także niestandardowe szablony użytkownika z ~/.openshot_qt/comfyui/.

Aby dodać własny przepływ pracy:

  1. W ComfyUI otwórz zakładkę przepływu pracy, której chcesz użyć.

  2. Wybierz Eksportuj (API), aby zapisać przepływ pracy jako plik *.json.

  3. Skopiuj ten plik JSON do katalogu ~/.openshot_qt/comfyui/.

  4. Uruchom ponownie OpenShot lub w razie potrzeby otwórz ponownie projekt.

OpenShot automatycznie załaduje przepływ pracy i wyświetli go w odpowiednim menu AI. Po uruchomieniu z OpenShot wybrany plik źródłowy jest przekazywany do przepływu pracy, a wynik z końcowego węzła wyjściowego jest importowany z powrotem do Pliki projektu.

OpenShot zapisuje również ładunek .openshot_qt/comfyui/debug.json dla zaawansowanych użytkowników, którzy chcą sprawdzić dokładne żądanie wysłane do ComfyUI.

Okno dialogowe akcji AI

Zarówno Utwórz za pomocą AI, jak i Ulepsz za pomocą AI otwierają to samo okno dialogowe generowania.

../_images/comfyui-prompt-dialog.jpg

Dlaczego to okno dialogowe jest ważne:

  • Zbiera wszystkie dane wejściowe AI w jednym miejscu.

  • Weryfikuje wymagane pola przed dodaniem zadania do kolejki.

  • Pozwala ustawić punkty śledzenia przed kosztownymi operacjami.

Co możesz zrobić w tym oknie dialogowym:

  • Wybierz przepływ pracy/akcję.

  • Wprowadź tekst polecenia.

  • Podejrzyj wybrany plik źródłowy (dla przepływów ulepszających).

  • Ustaw nazwę wyjściową dla wygenerowanych mediów.

  • Podaj punkty/prostokąty śledzenia dla przepływów śledzących.

  • Rozpocznij zadanie przyciskiem Generuj lub zamknij przyciskiem Anuluj.

Śledzenie (Maska, Rozmycie, Podświetlenie)

Przepływy śledzenia (Rozmycie…, Podświetlenie…, Maska…) używają ekranu regionu, na którym zaznaczasz, co uwzględnić, a co pominąć.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Dlaczego to jest ważne

Śledzenie pomaga efektowi pozostać przypiętym do poruszającego się obiektu w czasie. Na przykład możesz rozmyć twarz, podświetlić zawodnika lub wygenerować czystą maskę, która podąża za tym samym obiektem przez wiele klatek.

Ikony śledzenia

Ikona / Znacznik

Znaczenie

Niebieska kropka

Pozytywny punkt śledzenia (punkt startowy pierwszego planu/obiektu).

Czerwona kropka

Negatywny punkt śledzenia (punkt startowy tła/wykluczenia).

Niebieski prostokąt

Pozytywny punkt startowy regionu (szeroka wskazówka obiektu).

Czerwony prostokąt

Negatywny punkt startowy regionu (szeroka wskazówka wykluczenia).

Usuń ikonę

Wyczyść wszystkie obecne punkty startowe śledzenia (kropki/prostokąty) i zacznij od nowa.

Jak działa śledzenie

OpenShot wysyła twoje pozytywne i negatywne znaczniki jako współrzędne startowe do modelu śledzenia, który tworzy maskę dla obiektu, a następnie śledzi ją w czasie. Lepsze punkty startowe zwykle dają czystsze maski i mniejsze przesunięcia. [sam2]

Jak z tego korzystać

  1. Wybierz klatkę, na której obiekt jest wyraźnie widoczny.

  2. Zacznij od jednej niebieskiej kropki na obiekcie.

  3. Dodaj czerwone kropki na pobliskim tle tylko jeśli to konieczne.

  4. Dodaj prostokąty, gdy potrzebujesz szybszego szerokiego zaznaczenia.

  5. Powtórz na kolejnych klatkach, gdy zmienia się ruch/kształt.

Dostosowywanie w czasie (suwak klatek):

  • Przesuń suwak klatek do różnych momentów w klipie.

  • Dodaj lub dostosuj kropki/prostokąty na klatkach, gdzie śledzenie zaczyna się przesuwać.

  • Używaj dodatkowych punktów startowych tylko tam, gdzie to konieczne, szczególnie przy zasłonięciach, szybkim ruchu lub dużych zmianach kształtu.

Podgląd maski wyjściowej (z tego procesu śledzenia):

../_images/comfyui-mask-example-preview.jpg

Najlepsze praktyki

  • Najpierw użyj krótkiego klipu testowego.

  • Zacznij prosto: jedna niebieska kropka często wystarcza.

  • Dodawaj więcej punktów tylko tam, gdzie śledzenie zawodzi.

  • W razie potrzeby dodaj bardziej szczegółowy zestaw punktów i prostokątów pozytywnych/negatywnych.

  • Wyraźnie oddziel punkty pozytywne od negatywnych.

  • Jeśli śledzenie stanie się nieczytelne, użyj ikony Usuń i zacznij od nowa z czystszymi punktami startowymi.

[sam2]

Projekt SAM2 (Segment Anything Model 2): facebookresearch/sam2

Kolejka zadań, postęp i anulowanie

Po kliknięciu Generuj, żądanie trafia do kolejki i jest wykonywane w kolejce zadań AI OpenShot.

  • Postęp jest wyświetlany w Plikach projektu (odznaki i tekst statusu).

  • Zakończone wyniki są importowane z powrotem do Plików projektu.

  • Aktywne zadania można anulować, klikając prawym przyciskiem myszy wygenerowany plik projektu z paskiem postępu i wybierając Anuluj zadanie.

  • Wyniki są zapisywane w katalogu .openshot_qt/comfyui-output/.

Wbudowane przepływy pracy JSON

Poniższe sekcje odnoszą się bezpośrednio do wbudowanych szablonów JSON w comfyui/. Każda podsekcja opisuje, dlaczego możesz z niego korzystać, jak go uruchomić i najważniejsze szczegóły.

Twórz z AI

Obraz… (txt2img-basic)

  • Dlaczego: Generuj statyczne obrazy na podstawie tekstowego opisu.

  • Jak: Wybierz Twórz z AI -> Obraz…, wpisz opis, a następnie generuj.

  • Szczegóły: Używa comfyui/txt2img-basic.json z sd_xl_base_1.0.safetensors.

Wideo… (txt2video-svd)

  • Dlaczego: Generuj krótkie klipy wideo na podstawie tekstu.

  • Jak: Wybierz Twórz z AI -> Wideo…, wpisz opis, a następnie generuj.

  • Szczegóły: Wykorzystuje plik comfyui/txt2video-svd.json z modelami generowania wideo w sieci WAN.

Dźwięk… (txt2audio-stable-open)

  • Dlaczego: Generuj dźwięki niemuzyczne na podstawie tekstowych opisów.

  • Jak: Wybierz Twórz z AI -> Dźwięk…, wpisz opis, a następnie generuj.

  • Szczegóły: Używa comfyui/txt2audio-stable-open.json z modelami Stable Audio Open.

Muzyka… (txt2music-ace-step)

  • Dlaczego: Generuj muzykę na podstawie stylu/tagów (i opcjonalnie tekstu piosenki).

  • Jak: Wybierz Twórz z AI -> Muzyka…, wpisz tekst opisu, a następnie generuj.

  • Szczegóły: Używa comfyui/txt2music-ace-step.json z punktem kontrolnym Ace-Step 1.5.

Ulepszaj z AI

Zmień styl obrazu… (img2img-basic)

  • Dlaczego: Zmień styl istniejącego obrazu, zachowując jego kompozycję.

  • Jak: Wybierz Ulepszaj z AI na obrazie, wpisz opis stylu, a następnie generuj.

  • Szczegóły: Używa comfyui/img2img-basic.json z sd_xl_base_1.0.safetensors.

Obraz na wideo… (img2video-svd)

  • Dlaczego: Zamień statyczny obraz w wygenerowany klip wideo.

  • Jak: Wybierz Ulepszaj z AI na obrazie, podaj wskazówki w opisie, a następnie generuj.

  • Szczegóły: Używa comfyui/img2video-svd.json z modelami obrazu do wideo w sieci WAN.

Zmień styl wideo… (video2video-basic)

  • Dlaczego: Zastosuj nowy styl wizualny do źródłowego wideo.

  • Jak: Wybierz Ulepszaj z AI na wideo, wpisz opis stylu, a następnie generuj.

  • Szczegóły: Używa comfyui/video2video-basic.json z sd_xl_base_1.0.safetensors.

Zwiększ rozdzielczość (obraz) (upscale-realesrgan-x4)

  • Dlaczego: Powiększ obrazy o niskiej rozdzielczości.

  • Jak: Wybierz Ulepszaj z AI na obrazie, wybierz zwiększenie rozdzielczości, a następnie generuj.

  • Szczegóły: Używa comfyui/upscale-realesrgan-x4.json z RealESRGAN_x4plus.safetensors.

Zwiększ rozdzielczość (wideo) (video-upscale-gan)

  • Dlaczego: Powiększ klatki wideo dla wyższej widocznej szczegółowości.

  • Jak: Wybierz Ulepszaj z AI na wideo, wybierz zwiększenie rozdzielczości, a następnie generuj.

  • Szczegóły: Używa comfyui/video-upscale-gan.json z RealESRGAN_x4plus.safetensors.

Płynny ruch (2x liczba klatek) (video-frame-interpolation-rife2x)

  • Dlaczego: Zwiększ liczbę klatek, aby ruch był postrzegany jako płynniejszy.

  • Jak: Wybierz Ulepszaj z AI na wideo, wybierz płynny ruch, a następnie generuj.

  • Szczegóły: Używa comfyui/video-frame-interpolation-rife2x.json z rife47.pth.

Podziel na sceny (video-segment-scenes-transnet)

  • Dlaczego: Automatycznie wykrywaj zmiany scen i dziel długie klipy na segmenty.

  • Jak: Wybierz Ulepszaj z AI na wideo, wybierz podział na sceny, a następnie generuj.

  • Szczegóły: Używa comfyui/video-segment-scenes-transnet.json z TransNetV2.

Dodaj napisy z mowy (video-whisper-srt)

  • Dlaczego: Transkrybuj mowę do plików z napisami/tytułami.

  • Jak: Wybierz Ulepsz za pomocą AI na wideo, wybierz napisy, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/video-whisper-srt.json i tworzy wyjście SRT.

Ścieżki pracy śledzenia (SAM2)

Te ścieżki pracy używają tego samego przepływu wejściowego regionu/śledzenia i są pogrupowane w menu kontekstowym śledzenia.

Rozmycie… (obraz) (image-blur-anything-sam2)

  • Dlaczego: Rozmyj wybrane obszary obiektu na nieruchomym obrazie.

  • Jak: Wybierz punkty/prostokąty dla obiektu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/image-blur-anything-sam2.json z segmentacją obrazu SAM2.

Podświetl… (obraz) (image-highlight-anything-sam2)

  • Dlaczego: Podkreśl wybrane obszary obiektu na nieruchomym obrazie.

  • Jak: Wybierz punkty/prostokąty dla obiektu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/image-highlight-anything-sam2.json z segmentacją obrazu SAM2.

Maska… (obraz) (image-mask-anything-sam2)

  • Dlaczego: Wygeneruj maskę obrazu dla wybranych obszarów obiektu.

  • Jak: Wybierz punkty/prostokąty dla obiektu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/image-mask-anything-sam2.json z segmentacją obrazu SAM2.

Rozmycie… (wideo) (video-blur-anything-sam2)

  • Dlaczego: Śledź i rozmyj poruszający się obiekt na wideo.

  • Jak: Oznacz obiekt/tło na ekranie regionu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/video-blur-anything-sam2.json ze śledzeniem wideo SAM2.

Podświetl… (wideo) (video-highlight-anything-sam2)

  • Dlaczego: Śledź i podświetl poruszający się obiekt na wideo.

  • Jak: Oznacz obiekt/tło na ekranie regionu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/video-highlight-anything-sam2.json ze śledzeniem wideo SAM2.

Maska… (wideo) (video-mask-anything-sam2)

  • Dlaczego: Wygeneruj animowaną maskę, która podąża za poruszającym się obiektem.

  • Jak: Oznacz obiekt/tło na ekranie regionu, a następnie wygeneruj.

  • Szczegóły: Używa comfyui/video-mask-anything-sam2.json ze śledzeniem wideo SAM2.

Punkty startowe dla nowych użytkowników

Jeśli jesteś nowy w tych narzędziach, zacznij od:

  1. Utwórz za pomocą AI -> Obraz

  2. Ulepsz za pomocą AI -> Zwiększ rozdzielczość

  3. Ulepsz za pomocą AI -> Wygładź ruch

  4. Ulepsz za pomocą AI -> Podziel na sceny

  5. Ulepsz za pomocą AI -> Dodaj napisy

Rozwiązywanie problemów

Jeśli menu AI się nie pojawiają lub zadania od razu się nie powiodą:

  1. Sprawdź, czy ComfyUI działa i jest dostępny pod skonfigurowanym adresem URL.

  2. Potwierdź, że wymagane modele istnieją w Twoim środowisku ComfyUI.

  3. Potwierdź, że niestandardowe pakiety węzłów są zainstalowane dla wybranego przepływu pracy.

  4. Zmniejsz rozmiary partii/kawałków dla długich klipów.

  5. Najpierw przetestuj ponownie na krótkim klipie lub nieruchomym obrazie.

Aby poprawić ogólną wydajność i dostroić pamięć podręczną, zobacz Preferencje i Odtwarzanie.