Inteligență Artificială Avansată: ComfyUI

OpenShot se poate conecta la un server local ComfyUI și rula fluxuri de lucru AI din meniurile contextuale Project Files și Timeline. Această pagină explică care sunt aceste instrumente, ce hardware au nevoie și unde se află șabloanele de flux de lucru încorporate.

Atenționare

Funcțiile AI din OpenShot sunt experimentale și necesită o stație de lucru performantă.

  • Aceste unelte nu sunt recomandate pentru laptopuri, desktopuri de gamă medie sau sisteme cu buget redus.

  • Trebuie să rulezi un server local ComfyUI.

  • Trebuie să te aștepți la descărcări de modele, configurare și depanare a fluxurilor de lucru.

Instalare și Configurare

Folosește această cale rapidă de configurare înainte de a încerca orice flux de lucru AI în OpenShot:

  1. Instalează ComfyUI și confirmă că pornește corect.

  2. Instalează nodurile personalizate necesare (listate mai jos).

  3. Descarcă fișierele de modele necesare (listate mai jos) în folderele corespunzătoare.

  4. Porniți ComfyUI, apoi deschideți Edit->Preferences->Advanced și setați ComfyUI URL.

  5. Apasă Check pentru a confirma că OpenShot poate accesa serverul.

Pentru detalii complete despre instalarea ComfyUI, vezi depozitul oficial: ComfyUI pe GitHub.

Noduri Personalizate Necesare

Modele / Fișiere Necesare

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Ce Văd Utilizatorii în OpenShot

Când ComfyUI este disponibil, OpenShot afișează unelte AI în meniurile contextuale:

  • Creează cu AI pentru crearea de noi resurse

    ../_images/create-with-ai.jpg

  • Îmbunătățește cu AI (imagini) pentru procesarea resurselor de imagine

    ../_images/enhance-with-ai-image.jpg

  • Îmbunătățește cu AI (videoclipuri) pentru procesarea resurselor video

    ../_images/enhance-with-ai-video.jpg

Fișierele generate sunt adăugate în Fișiere Proiect cu text de progres și insigne de coadă. Rezultatele sunt salvate în .openshot_qt/comfyui-output/.

Pornirea unui proiect nou sau deschiderea unui proiect existent șterge folderele temporare de lucru AI .openshot_qt, astfel încât să începi cu o pagină curată. Proiectele salvate nu sunt afectate, iar orice resurse copiate anterior în folderul PROJECTNAME_Assets rămân în directorul proiectului respectiv.

Dacă ComfyUI nu este disponibil, OpenShot dezactivează meniurile AI. Configurați adresa URL a serverului în Edit->Preferences->Advanced, apoi utilizați butonul Verificați pentru a testa conectivitatea.

Șabloane de flux de lucru

OpenShot citește șabloanele încorporate din comfyui/. De asemenea, încarcă șabloane personalizate de utilizator din ~/.openshot_qt/comfyui/.

Pentru a adăuga propriul flux de lucru:

  1. În ComfyUI, deschide fila fluxului de lucru pe care dorești să o folosești.

  2. Alege Export (API) pentru a salva fluxul de lucru ca fișier *.json.

  3. Copiază acel fișier JSON în ~/.openshot_qt/comfyui/.

  4. Repornește OpenShot sau redeschide proiectul dacă este necesar.

OpenShot va încărca automat fluxul de lucru și îl va afișa în meniul AI corespunzător. Când îl declanșezi din OpenShot, fișierul sursă selectat este transmis în fluxul de lucru, iar rezultatul nodului final de ieșire al fluxului este importat înapoi în Fișiere Proiect.

OpenShot scrie de asemenea un fișier .openshot_qt/comfyui/debug.json pentru utilizatorii avansați care doresc să inspecteze cererea exactă trimisă către ComfyUI.

Dialog Acțiune AI

Atât Creează cu AI, cât și Îmbunătățește cu AI deschid același dialog de generare.

../_images/comfyui-prompt-dialog.jpg

De ce este important acest dialog:

  • Păstrează toate intrările AI într-un singur loc.

  • Validează câmpurile obligatorii înainte de a pune sarcina în coadă.

  • Îți permite să configurezi prompturi de urmărire înainte de execuții costisitoare.

Ce poți face în dialog:

  • Alege fluxul de lucru/acțiunea.

  • Introdu textul promptului.

  • Previzualizează fișierul sursă selectat (pentru fluxuri de lucru de îmbunătățire).

  • Setează numele de ieșire pentru media generată.

  • Furnizează puncte/dreptunghiuri de urmărire pentru fluxurile de lucru de urmărire.

  • Pornește sarcina cu Generează sau închide cu Anulează.

Urmărire (Mască, Estompare, Evidențiere)

Fluxurile de lucru de urmărire (Estompare…, Evidențiere…, Mască…) folosesc o zonă de ecran unde marchezi ce să incluzi și ce să ignori.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

De ce este important

Urmărirea ajută efectul să rămână atașat unui subiect în mișcare în timp. De exemplu, poți estompa un chip, evidenția un jucător sau genera o mască curată care urmărește același obiect pe mai multe cadre.

Pictograme de urmărire

Pictogramă / Marcator

Semnificație

Punct albastru

Coordonată pozitivă de urmărire (punct de pornire pentru prim-plan/subiect).

Punct roșu

Coordonată negativă de urmărire (punct de pornire pentru fundal/excludere).

Dreptunghi albastru

Punct de pornire pentru regiune pozitivă (indicație largă a subiectului).

Dreptunghi roșu

Punct de pornire pentru regiune negativă (indicație largă de excludere).

Șterge pictograma

Șterge toate punctele curente de urmărire (puncte/dreptunghiuri) și începe de la zero.

Cum funcționează urmărirea

OpenShot trimite marcatorii tăi pozitivi și negativi ca și coordonate de pornire către modelul de urmărire, care construiește o mască pentru subiect și apoi îl urmărește în timp. Punctele de pornire mai bune produc de obicei măști mai curate și mai puțin derapaj. [sam2]

Cum să îl folosești

  1. Alege un cadru în care subiectul este clar vizibil.

  2. Începe cu un punct albastru pe subiect.

  3. Adaugă puncte roșii pe fundalul apropiat doar dacă este necesar.

  4. Adaugă dreptunghiuri când ai nevoie de o selecție largă mai rapidă.

  5. Repetă pe cadre suplimentare când mișcarea/forma se schimbă.

Ajustarea în timp (cursorul de cadre):

  • Mută cursorul de cadre la momente diferite din clip.

  • Adaugă sau ajustează puncte/dreptunghiuri pe cadrele unde urmărirea începe să derapeze.

  • Folosește puncte suplimentare de pornire doar unde este nevoie, în special la ocluzii, mișcare rapidă sau schimbări majore de formă.

Previzualizare mască de ieșire (din acest proces de urmărire):

../_images/comfyui-mask-example-preview.jpg

Cele mai bune practici

  • Folosește mai întâi un clip de test scurt.

  • Începe simplu: un singur punct albastru este adesea suficient.

  • Adaugă mai multe puncte doar acolo unde urmărirea eșuează.

  • Dacă este necesar, adăugați un set mai nuanțat de puncte și dreptunghiuri pozitive/negative.

  • Păstrați punctele pozitive și negative clar separate.

  • Dacă urmărirea devine dezordonată, folosiți pictograma Ștergere și reporniți cu puncte de pornire mai curate.

[sam2]

Proiectul SAM2 (Segment Anything Model 2): facebookresearch/sam2

Coada de sarcini, progres și anulare

După ce faceți clic pe Generează, cererea este pusă în coadă și rulează în coada de sarcini AI a OpenShot.

  • Progresul este afișat în Fișiere proiect (insigne și text de stare).

  • Rezultatele finalizate sunt importate înapoi în Fișiere proiect.

  • Lucrările active pot fi anulate făcând clic dreapta pe fișierul de proiect generat cu bara de progres și alegând Anulează job.

  • Rezultatele sunt scrise în directorul .openshot_qt/comfyui-output/.

Fluxuri de lucru JSON încorporate

Secțiunile de mai jos se mapează direct la șabloanele JSON încorporate în comfyui/. Fiecare subsecțiune descrie de ce ați putea să o utilizați, cum să o rulați și detalii cheie.

Creează cu AI

Imagine… (txt2img-basic)

  • De ce: Generează imagini statice dintr-un prompt text.

  • Cum: Alegeți Creează cu AI -> Imagine…, introduceți un prompt, apoi generați.

  • Detalii: folosește comfyui/txt2img-basic.json cu sd_xl_base_1.0.safetensors.

Video… (txt2video-svd)

  • De ce: Generează clipuri video scurte din text.

  • Cum: Alegeți Creează cu AI -> Video…, introduceți un prompt, apoi generați.

  • Detalii: folosește comfyui/txt2video-svd.json cu modele de generare video WAN.

Sunet… (txt2audio-stable-open)

  • De ce: Generează sunet non-muzical din prompturi text.

  • Cum: Alegeți Creează cu AI -> Sunet…, introduceți un prompt, apoi generați.

  • Detalii: folosește comfyui/txt2audio-stable-open.json cu modelele Stable Audio Open.

Muzică… (txt2music-ace-step)

  • De ce: Generează muzică din stil/etichete (și versuri opționale).

  • Cum: Alegeți Creează cu AI -> Muzică…, introduceți textul promptului, apoi generați.

  • Detalii: folosește comfyui/txt2music-ace-step.json cu un punct de control Ace-Step 1.5.

Îmbunătățește cu AI

Schimbă stilul imaginii… (img2img-basic)

  • De ce: Schimbă stilul unei imagini existente păstrând compoziția sursă.

  • Cum: Alegeți Îmbunătățește cu AI pe o imagine, introduceți un prompt de stil, apoi generați.

  • Detalii: folosește comfyui/img2img-basic.json cu sd_xl_base_1.0.safetensors.

Imagine în video… (img2video-svd)

  • De ce: Transformă o imagine statică într-un cadru video generat.

  • Cum: Alegeți Îmbunătățește cu AI pe o imagine, oferiți indicații prin prompt, apoi generați.

  • Detalii: folosește comfyui/img2video-svd.json cu modele WAN imagine-la-video.

Schimbă stilul video… (video2video-basic)

  • De ce: Aplică un nou stil vizual unui video sursă.

  • Cum: Alegeți Îmbunătățește cu AI pe un video, introduceți un prompt de stil, apoi generați.

  • Detalii: folosește comfyui/video2video-basic.json cu sd_xl_base_1.0.safetensors.

Crește rezoluția (imagine) (upscale-realesrgan-x4)

  • De ce: Mărește imaginile cu rezoluție scăzută.

  • Cum: Alegeți Îmbunătățește cu AI pe o imagine, selectați creșterea rezoluției, apoi generați.

  • Detalii: folosește comfyui/upscale-realesrgan-x4.json cu RealESRGAN_x4plus.safetensors.

Crește rezoluția (video) (video-upscale-gan)

  • De ce: Mărește cadrele video pentru un detaliu aparent mai ridicat.

  • Cum: Alegeți Îmbunătățește cu AI pe un video, selectați creșterea rezoluției, apoi generați.

  • Detalii: folosește comfyui/video-upscale-gan.json cu RealESRGAN_x4plus.safetensors.

Mișcare lină (rată de cadre dublă) (video-frame-interpolation-rife2x)

  • De ce: Crește rata de cadre pentru o mișcare percepută mai lină.

  • Cum: Alegeți Îmbunătățește cu AI pe un video, selectați mișcare lină, apoi generați.

  • Detalii: folosește comfyui/video-frame-interpolation-rife2x.json cu rife47.pth.

Împarte în scene (video-segment-scenes-transnet)

  • De ce: Detectează automat schimbările de scenă și împarte clipurile lungi în segmente.

  • Cum: Alegeți Îmbunătățește cu AI pe un video, selectați împărțirea scenelor, apoi generați.

  • Detalii: folosește comfyui/video-segment-scenes-transnet.json cu TransNetV2.

Adaugă subtitrări din vorbire (video-whisper-srt)

  • De ce: Transcrie vorbirea în fișiere de subtitrări/captions.

  • Cum: Alege Enhance with AI pe un videoclip, selectează subtitrările, apoi generează.

  • Detalii: folosește comfyui/video-whisper-srt.json și creează ieșire SRT.

Fluxuri de lucru pentru urmărire (SAM2)

Aceste fluxuri de lucru folosesc același flux de intrare pentru regiune/urmărire și sunt grupate în meniul contextual de urmărire.

Estompare… (imagine) (image-blur-anything-sam2)

  • De ce: Estompează zonele selectate ale subiectului într-o imagine statică.

  • Cum: Selectează puncte/dreptunghiuri pentru subiect, apoi generează.

  • Detalii: folosește comfyui/image-blur-anything-sam2.json cu segmentarea imaginii SAM2.

Evidențiere… (imagine) (image-highlight-anything-sam2)

  • De ce: Evidențiază zonele selectate ale subiectului într-o imagine statică.

  • Cum: Selectează puncte/dreptunghiuri pentru subiect, apoi generează.

  • Detalii: folosește comfyui/image-highlight-anything-sam2.json cu segmentarea imaginii SAM2.

Mască… (imagine) (image-mask-anything-sam2)

  • De ce: Generează o mască pentru zonele selectate ale subiectului într-o imagine.

  • Cum: Selectează puncte/dreptunghiuri pentru subiect, apoi generează.

  • Detalii: folosește comfyui/image-mask-anything-sam2.json cu segmentarea imaginii SAM2.

Estompare… (video) (video-blur-anything-sam2)

  • De ce: Urmărește și estompează un subiect în mișcare în videoclip.

  • Cum: Marchează subiectul/fundalul pe ecranul de regiune, apoi generează.

  • Detalii: folosește comfyui/video-blur-anything-sam2.json cu urmărirea video SAM2.

Evidențiere… (video) (video-highlight-anything-sam2)

  • De ce: Urmărește și evidențiază un subiect în mișcare în videoclip.

  • Cum: Marchează subiectul/fundalul pe ecranul de regiune, apoi generează.

  • Detalii: folosește comfyui/video-highlight-anything-sam2.json cu urmărirea video SAM2.

Mască… (video) (video-mask-anything-sam2)

  • De ce: Generează o mască animată care urmărește un subiect în mișcare.

  • Cum: Marchează subiectul/fundalul pe ecranul de regiune, apoi generează.

  • Detalii: folosește comfyui/video-mask-anything-sam2.json cu urmărirea video SAM2.

Puncte de plecare pentru utilizatorii noi

Dacă ești nou la aceste unelte, începe cu:

  1. Creează cu AI -> Imagine

  2. Îmbunătățește cu AI -> Crește rezoluția

  3. Îmbunătățește cu AI -> Netedește mișcarea

  4. Îmbunătățește cu AI -> Împarte în scene

  5. Îmbunătățește cu AI -> Adaugă subtitrări

Depanare

Dacă meniurile AI nu apar sau sarcinile eșuează imediat:

  1. Verifică dacă ComfyUI rulează și este accesibil la URL-ul configurat.

  2. Confirmă că modelele necesare există în mediul tău ComfyUI.

  3. Confirmă că pachetele de noduri personalizate sunt instalate pentru fluxul de lucru selectat.

  4. Reduce dimensiunile loturilor/segmentelor pentru clipuri lungi.

  5. Testează din nou mai întâi cu un clip scurt sau o imagine statică.

Pentru reglarea generală a performanței și a cache-ului, vezi Preferințe și Redare.