Napredna AI: ComfyUI

OpenShot se može povezati s lokalnim ComfyUI poslužiteljem i pokretati AI tijekove rada iz projektnih datoteka i kontekstnih izbornika Vremenske trake. Ova stranica objašnjava koji su to alati, koji hardver zahtijevaju i gdje se nalaze ugrađeni predlošci tijeka rada.

Upozorenje

AI značajke u OpenShot-u su eksperimentalne i zahtijevaju vrhunski radni stol.

• Ovi alati nisu preporučeni za prijenosna računala, srednje snažne stolne računale ili sustave s ograničenim budžetom.

• Morate pokrenuti lokalni ComfyUI poslužitelj.

• Trebate očekivati preuzimanje modela, postavljanje i rješavanje problema s radnim tokovima.

Minimalni preporučeni hardver

Komponenta	Preporuka
GPU	NVIDIA 5070 12GB ili bolje (16-24GB VRAM jako poželjno)
CPU	Ryzen 9 5900 klase CPU (ili ekvivalentni višezrnasti procesor s visokim taktom)
Sistemska memorija	64GB RAM ili više
Pohrana	200GB slobodnog prostora za modele, predmemoriju i generirane izlaze
Iskustvo	Udoban s ComfyUI grafovima, modelima i ovisnostima čvorova

Ako je vaš sustav ispod ovih razina, zadaci će zastajkivati, ne uspijevati i proizvoditi nestabilne rezultate. Ako vaš GPU ima 8GB ili manje VRAM-a, ponestajat će vam memorije pri pokretanju ovih modela.

Instalacija i postavljanje

Koristite ovaj brzi put postavljanja prije nego što isprobate bilo koji AI radni tok u OpenShot-u:

1. Instalirajte ComfyUI i potvrdite da se ispravno pokreće.

2. Instalirajte potrebne prilagođene čvorove (navedene u nastavku).

3. Preuzmite potrebne datoteke modela (navedene u nastavku) u odgovarajuće mape modela.

4. Pokrenite ComfyUI, zatim otvorite Edit->Preferences->Advanced i postavite ComfyUI URL.

5. Kliknite Check da potvrdite da OpenShot može pristupiti poslužitelju.

Za potpune detalje instalacije ComfyUI-a, pogledajte službeni repozitorij: ComfyUI na GitHubu.

Potrebni prilagođeni čvorovi

• ComfyUI-Frame-Interpolation

• ComfyUI-VideoHelperSuite

• ComfyUI-Video-Segmentation

• ComfyUI-Whisper

• OpenShot-ComfyUI

Potrebni modeli / datoteke

• ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

• ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

• ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

• ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

• ComfyUI/models/clip_vision/clip_vision_g.safetensors

• ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

• ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

• ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

• ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_small.pt

• ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

• ComfyUI/models/sam2/sam2_hiera_small.pt

• ComfyUI/models/stt/whisper/large-v3.pt

• ComfyUI/models/stt/whisper/medium.pt

• ComfyUI/models/text_encoders/t5-base.safetensors

• ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

• ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

• ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

• ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan2.2_vae.safetensors

• ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Što korisnici vide u OpenShot-u

Kad je ComfyUI dostupan, OpenShot prikazuje AI alate u kontekstnim izbornicima:

• Stvori pomoću AI za stvaranje novih resursa

  

• Poboljšaj pomoću AI (slike) za obradu slikovnih resursa

  

• Poboljšaj pomoću AI (videozapisi) za obradu video resursa

  

Generirane datoteke dodaju se u Project Files s tekstom napretka i oznakama u redu čekanja. Izlazi se spremaju u .openshot_qt/comfyui-output/.

Pokretanje novog projekta ili otvaranje postojećeg projekta briše privremene AI radne mape .openshot_qt kako biste započeli s čistom podlogom. Vaši spremljeni projekti nisu pogođeni, a svi resursi prethodno kopirani u mapu PROJECTNAME_Assets ostaju u direktoriju tog projekta.

Ako ComfyUI nije dostupan, OpenShot onemogućuje AI izbornike. Konfigurirajte URL poslužitelja u Edit->Preferences->Advanced, a zatim koristite gumb Check za testiranje povezivosti.

Predlošci radnog toka

OpenShot čita ugrađene predloške iz comfyui/. Također učitava prilagođene korisničke predloške iz ~/.openshot_qt/comfyui/.

Za dodavanje vlastitog radnog toka:

1. U ComfyUI otvorite karticu radnog toka koju želite koristiti.

2. Odaberite Export (API) za spremanje radnog toka kao *.json datoteke.

3. Kopirajte tu JSON datoteku u ~/.openshot_qt/comfyui/.

4. Ponovno pokrenite OpenShot ili po potrebi ponovno otvorite projekt.

OpenShot će automatski učitati radni tok i prikazati ga u odgovarajućem AI izborniku. Kada ga pokrenete iz OpenShota, odabrana izvorna datoteka se prosljeđuje u radni tok, a izlaz s završnog izlaznog čvora radnog toka uvozi se natrag u Project Files.

OpenShot također zapisuje .openshot_qt/comfyui/debug.json datoteku za napredne korisnike koji žele pregledati točan zahtjev poslan ComfyUI.

Dijalog AI akcije

I Create with AI i Enhance with AI otvaraju isti dijalog generiranja.

Zašto je ovaj dijalog važan:

• Sve AI unose drži na jednom mjestu.

• Provjerava obavezna polja prije stavljanja zadatka u red čekanja.

• Omogućuje postavljanje praćenja prije zahtjevnih izvođenja.

Što možete učiniti u dijalogu:

• Odaberite radni tok/akciju.

• Unesite tekst upita.

• Pregledajte odabranu izvornu datoteku (za radne tokove poboljšanja).

• Postavite naziv izlaza za generirani medij.

• Navedite točke/pravokutnike za praćenje u radnim tokovima praćenja.

• Pokrenite zadatak s Generate ili zatvorite s Cancel.

Praćenje (Maska, Zamućenje, Isticanje)

Radni tokovi praćenja (Blur…, Highlight…, Mask…) koriste zaslon regije na kojem označavate što uključiti, a što zanemariti.

Zašto je ovo važno

Praćenje pomaže da vaš efekt ostane vezan za pokretni subjekt tijekom vremena. Na primjer, možete zamutiti lice, istaknuti igrača ili generirati čistu masku koja prati isti objekt kroz mnoge kadrove.

Ikone praćenja

Ikona / Oznaka	Značenje
Plava točka	Pozitivna koordinata praćenja (točka sjeme u prvom planu/subjektu).
Crvena točka	Negativna koordinata praćenja (točka sjeme u pozadini/isključenju).
Plavi pravokutnik	Pozitivno sjeme regije (široka naznaka subjekta).
Crveni pravokutnik	Negativno sjeme regije (široka naznaka isključenja).
Ikona za brisanje	Obriši sve trenutne oznake praćenja (točke/pravokutnike) i započni ispočetka.

Kako praćenje funkcionira

OpenShot šalje vaše pozitivne i negativne oznake kao koordinate sjemena modelu praćenja, koji gradi masku za subjekt i prati je tijekom vremena. Bolje oznake obično proizvode čišće maske i manje pomaka. [sam2]

Kako ga koristiti

1. Odaberite kadar u kojem je subjekt jasno vidljiv.

2. Započnite s jednom plavom točkom na subjektu.

3. Dodajte crvene točke na obližnju pozadinu samo ako je potrebno.

4. Dodajte pravokutnike kada trebate bržu široku selekciju.

5. Ponovite na dodatnim kadrovima kada se mijenja pokret/oblik.

Podešavanje tijekom vremena (klizač kadrova):

• Pomaknite klizač kadrova na različite trenutke u isječku.

• Dodajte ili prilagodite točke/pravokutnike na kadrovima gdje praćenje počinje skretati.

• Koristite dodatne točke sjemena samo gdje je potrebno, posebno kod zaklona, brzog pokreta ili velikih promjena oblika.

Pregled izlaza maske (iz ovog procesa praćenja):

Najbolje prakse

• Prvo koristite kratki testni isječak.

• Započnite jednostavno: jedna plava točka često je dovoljna.

• Dodajte više točaka samo tamo gdje praćenje ne uspijeva.

• Ako je potrebno, dodajte detaljniji skup pozitivnih/negativnih točaka i pravokutnika.

• Jasno odvojite pozitivne i negativne točke.

• Ako praćenje postane neuredno, upotrijebite ikonu Izbriši i započnite ponovno s čišćim početnim točkama.

[sam2]

SAM2 (Segment Anything Model 2) projekt: facebookresearch/sam2

Red čekanja zadataka, napredak i otkazivanje

Nakon što kliknete Generiraj, zahtjev se stavlja u red čekanja i izvršava u OpenShotovom AI redu zadataka.

• Napredak se prikazuje u Datotekama projekta (značke i statusni tekst).

• Dovršeni rezultati se uvoze natrag u Datoteke projekta.

• Aktivni poslovi se mogu otkazati desnim klikom na generiranu datoteku projekta s trakom napretka i odabirom Otkaži posao.

• Rezultati se spremaju u .openshot_qt/comfyui-output/.

Ugrađeni JSON tijekovi rada

Odjeljci u nastavku preslikavaju se izravno na ugrađene JSON predloške u comfyui/. Svaki pododjeljak opisuje zašto biste ga mogli koristiti, kako ga pokrenuti i ključne pojedinosti.

Stvori pomoću AI

Slika… (txt2img-basic)

• Zašto: Generirajte statične slike iz tekstualnog upita.

• Kako: Odaberite Stvori pomoću AI -> Slika…, unesite upit, zatim generirajte.

• Pojedinosti: koristi comfyui/txt2img-basic.json sa sd_xl_base_1.0.safetensors.

Video… (txt2video-svd)

• Zašto: Generirajte kratke video isječke iz teksta.

• Kako: Odaberite Stvori pomoću AI -> Video…, unesite upit, zatim generirajte.

• Pojedinosti: koristi comfyui/txt2video-svd.json s modelima generiranja video zapisa WAN.

Zvuk… (txt2audio-stable-open)

• Zašto: Generirajte nemuzički zvuk iz tekstualnih upita.

• Kako: Odaberite Stvori pomoću AI -> Zvuk…, unesite upit, zatim generirajte.

• Pojedinosti: koristi comfyui/txt2audio-stable-open.json s Stable Audio Open modelima.

Glazba… (txt2music-ace-step)

• Zašto: Generirajte glazbu iz stila/oznake (i opcionalno tekstova).

• Kako: Odaberite Stvori pomoću AI -> Glazba…, unesite tekst upita, zatim generirajte.

• Pojedinosti: koristi comfyui/txt2music-ace-step.json s kontrolnom točkom Ace-Step 1.5.

Poboljšaj pomoću AI

Promijeni stil slike… (img2img-basic)

• Zašto: Promijenite stil postojeće slike zadržavajući izvornu kompoziciju.

• Kako: Odaberite Poboljšaj pomoću AI na slici, unesite stil upita, zatim generirajte.

• Pojedinosti: koristi comfyui/img2img-basic.json sa sd_xl_base_1.0.safetensors.

Slika u video… (img2video-svd)

• Zašto: Pretvorite statičnu sliku u generirani video zapis.

• Kako: Odaberite Poboljšaj pomoću AI na slici, unesite upute za upit, zatim generirajte.

• Pojedinosti: koristi comfyui/img2video-svd.json s WAN modelima slika-video.

Promijeni stil videa… (video2video-basic)

• Zašto: Primijenite novi vizualni stil na izvorni video.

• Kako: Odaberite Poboljšaj pomoću AI na videu, unesite stil upita, zatim generirajte.

• Pojedinosti: koristi comfyui/video2video-basic.json sa sd_xl_base_1.0.safetensors.

Povećaj rezoluciju (slika) (upscale-realesrgan-x4)

• Zašto: Povećajte rezoluciju slika niske kvalitete.

• Kako: Odaberite Poboljšaj pomoću AI na slici, odaberite povećanje rezolucije, zatim generirajte.

• Pojedinosti: koristi comfyui/upscale-realesrgan-x4.json s RealESRGAN_x4plus.safetensors.

Povećaj rezoluciju (video) (video-upscale-gan)

• Zašto: Povećajte rezoluciju video okvira za veću vidljivu detaljnost.

• Kako: Odaberite Poboljšaj pomoću AI na videu, odaberite povećanje rezolucije, zatim generirajte.

• Pojedinosti: koristi comfyui/video-upscale-gan.json s RealESRGAN_x4plus.safetensors.

Glatki pokret (2x brzina kadrova) (video-frame-interpolation-rife2x)

• Zašto: Povećajte brzinu kadrova za glatkiji dojam pokreta.

• Kako: Odaberite Poboljšaj pomoću AI na videu, odaberite glatki pokret, zatim generirajte.

• Pojedinosti: koristi comfyui/video-frame-interpolation-rife2x.json s rife47.pth.

Podijeli na scene (video-segment-scenes-transnet)

• Zašto: Automatski otkrijte promjene scena i podijelite duge isječke u segmente.

• Kako: Odaberite Poboljšaj pomoću AI na videu, odaberite podjelu scena, zatim generirajte.

• Pojedinosti: koristi comfyui/video-segment-scenes-transnet.json s TransNetV2.

Dodaj titlove iz govora (video-whisper-srt)

• Zašto: Prepiši govor u datoteke s titlovima/podnaslovima.

• Kako: Odaberite Poboljšaj s AI na videu, odaberite titlove, zatim generirajte.

• Pojedinosti: koristi comfyui/video-whisper-srt.json i stvara SRT izlaz.

Radni tokovi praćenja (SAM2)

Ovi radni tokovi koriste isti unos regije/praćenja i grupirani su u kontekstnom izborniku praćenja.

Zamagli… (slika) (image-blur-anything-sam2)

• Zašto: Zamagli odabrana područja subjekta na statičnoj slici.

• Kako: Odaberite točke/pravokutnike za subjekt, zatim generirajte.

• Pojedinosti: koristi comfyui/image-blur-anything-sam2.json sa SAM2 segmentacijom slike.

Istakni… (slika) (image-highlight-anything-sam2)

• Zašto: Naglasi odabrana područja subjekta na statičnoj slici.

• Kako: Odaberite točke/pravokutnike za subjekt, zatim generirajte.

• Pojedinosti: koristi comfyui/image-highlight-anything-sam2.json sa SAM2 segmentacijom slike.

Maska… (slika) (image-mask-anything-sam2)

• Zašto: Generiraj masku slike za odabrana područja subjekta.

• Kako: Odaberite točke/pravokutnike za subjekt, zatim generirajte.

• Pojedinosti: koristi comfyui/image-mask-anything-sam2.json sa SAM2 segmentacijom slike.

Zamagli… (video) (video-blur-anything-sam2)

• Zašto: Prati i zamagli pokretni subjekt u videu.

• Kako: Označi subjekt/pozadinu na zaslonu regije, zatim generiraj.

• Pojedinosti: koristi comfyui/video-blur-anything-sam2.json sa SAM2 video praćenjem.

Istakni… (video) (video-highlight-anything-sam2)

• Zašto: Prati i istakni pokretni subjekt u videu.

• Kako: Označi subjekt/pozadinu na zaslonu regije, zatim generiraj.

• Pojedinosti: koristi comfyui/video-highlight-anything-sam2.json sa SAM2 video praćenjem.

Maska… (video) (video-mask-anything-sam2)

• Zašto: Generiraj animiranu masku koja prati pokretnog subjekta.

• Kako: Označi subjekt/pozadinu na zaslonu regije, zatim generiraj.

• Pojedinosti: koristi comfyui/video-mask-anything-sam2.json sa SAM2 video praćenjem.

Početne točke za nove korisnike

Ako ste novi u ovim alatima, započnite s:

1. Kreiraj s AI -> Slika

2. Poboljšaj s AI -> Povećaj rezoluciju

3. Poboljšaj s AI -> Ugladi pokret

4. Poboljšaj s AI -> Podijeli na scene

5. Poboljšaj s AI -> Dodaj titlove

Rješavanje problema

Ako se AI izbornici ne pojavljuju ili poslovi odmah ne uspiju:

1. Provjerite je li ComfyUI pokrenut i dostupan na konfiguriranoj URL adresi.

2. Potvrdite da potrebni modeli postoje u vašem ComfyUI okruženju.

3. Potvrdite da su instalirani prilagođeni paketi čvorova za odabrani radni tok.

4. Smanjite veličine serija/dijelova za duge isječke.

5. Ponovno testirajte prvo s kratkim isječkom ili statičnom slikom.

Za opće podešavanje performansi i predmemorije, pogledajte Postavke i Reprodukcija.