Edistynyt tekoäly: ComfyUI

OpenShot voi muodostaa yhteyden paikalliseen ComfyUI <https://github.com/comfyanonymous/ComfyUI>`_ -palvelimeen ja suorittaa tekoälyn työnkulkuja Project Files- ja Timeline -kontekstivalikoista. Tällä sivulla kerrotaan, mitä nämä työkalut ovat, mitä laitteistoja ne vaativat ja missä sisäänrakennetut työnkulkumallit sijaitsevat.

Varoitus

OpenShotin tekoälyominaisuudet ovat kokeellisia ja vaativat huippuluokan työaseman.

  • Näitä työkaluja ei suositella kannettaville tietokoneille, keskitason pöytäkoneille tai budjettijärjestelmille.

  • Sinun on ajettava paikallinen ComfyUI -palvelin.

  • Sinun tulee varautua mallien latauksiin, asennustöihin ja työnkulkujen vianetsintään.

Asennus ja käyttöönotto

Käytä tätä nopeaa asennuspolkua ennen kuin kokeilet mitään tekoälytyönkulkua OpenShotissa:

  1. Asenna ComfyUI ja varmista, että se käynnistyy oikein.

  2. Asenna vaaditut mukautetut solmut (lueteltu alla).

  3. Lataa vaaditut mallien tiedostot (lueteltu alla) vastaaviin mallikansioihin.

  4. Käynnistä ComfyUI, avaa sitten Muokkaa->Asetukset->Lisäasetukset ja aseta ComfyUI URL.

  5. Napsauta Tarkista varmistaaksesi, että OpenShot saavuttaa palvelimen.

Täydellisen vaiheittaisen palvelinasennusoppaan löydät OpenShot-wikistä: ComfyUI: Advanced AI Setup Guide.

Täydelliset ComfyUI-asennusohjeet löytyvät virallisesta arkistosta: ComfyUI GitHubissa.

Vaaditut mukautetut solmut

Vaaditut mallit / tiedostot

  • ComfyUI/models/diffusion_models/wan2.1_vace_1.3B_fp16.safetensors

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Mitä käyttäjät näkevät OpenShotissa

Kun ComfyUI on käytettävissä, OpenShot näyttää tekoälytyökalut kontekstivalikoissa:

  • Luo tekoälyn avulla uusien resurssien luomiseen

    ../_images/create-with-ai.jpg

  • Paranna tekoälyllä (kuvat) kuvien käsittelyyn

    ../_images/enhance-with-ai-image.jpg

  • Paranna tekoälyllä (videot) videoresurssien käsittelyyn

    ../_images/enhance-with-ai-video.jpg

Luodut tiedostot lisätään Projektitiedostot-kohtaan etenemistekstin ja jonosymbolien kanssa. Tulosteet tallennetaan kansioon .openshot_qt/comfyui-output/.

Uuden projektin aloittaminen tai olemassa olevan projektin avaaminen tyhjentää väliaikaiset .openshot_qt AI-työkansiot, jotta aloitat puhtaalta pöydältä. Tallennetut projektisi eivät muutu, ja kaikki aiemmin kopioidut resurssit PROJECTNAME_Assets-kansioon säilyvät kyseisen projektin hakemistossa.

Jos ComfyUI ei ole käytettävissä, OpenShot poistaa AI-valikot käytöstä. Määritä palvelimen URL-osoite kohdassa Muokkaa->Asetukset->Lisäasetukset ja testaa sitten yhteys Tarkista-painikkeella.

Työnkulun mallipohjat

OpenShot lukee sisäänrakennetut mallit comfyui/-tiedostosta. Se lataa myös mukautettuja käyttäjämalleja osoitteesta ~/.openshot_qt/comfyui/.

Lisätäksesi oman työnkulun:

  1. Avaa ComfyUI:ssa haluamasi työnkulun välilehti.

  2. Valitse Vie (API) tallentaaksesi työnkulun *.json-tiedostona.

  3. Kopioi kyseinen JSON-tiedosto kansioon ~/.openshot_qt/comfyui/.

  4. Käynnistä OpenShot uudelleen tai avaa projekti uudelleen tarvittaessa.

OpenShot lataa työnkulun automaattisesti ja näyttää sen sopivassa AI-valikossa. Kun käynnistät sen OpenShotista, valittu lähdetiedosto syötetään työnkulkuun, ja työnkulun lopullisen solmun tuloste tuodaan takaisin Projektitiedostot-kohtaan.

OpenShot kirjoittaa myös .openshot_qt/comfyui/debug.json-tiedoston edistyneille käyttäjille, jotka haluavat tarkastella ComfyUI:lle lähetettyä tarkkaa pyyntöä.

AI-toimintovalintaikkuna

Sekä Luo AI:n avulla että Paranna AI:n avulla avaavat saman generointivalintaikkunan.

../_images/comfyui-prompt-dialog.jpg

Miksi tämä valintaikkuna on tärkeä:

  • Se pitää kaikki AI-syötteet yhdessä paikassa.

  • Se tarkistaa vaaditut kentät ennen työn asettamista jonoon.

  • Se antaa sinun määrittää seurantaohjeet ennen kalliita suorituksia.

Mitä voit tehdä tässä valintaikkunassa:

  • Valitse työnkulku/toiminto.

  • Syötä kehoteteksti.

  • Esikatsele valittu lähdetiedosto (parannustyönkuluille).

  • Aseta tuotetun median nimi.

  • Valitse viitekuva Reference-välilehdeltä työnkuluille, jotka sitä vaativat.

  • Anna seurantapisteet/alueet seurantatyönkuluille.

  • Käynnistä työ Luo-painikkeella tai sulje Peruuta-painikkeella.

Seuranta (Maski, Sumentaminen, Korostus)

Seurantatyönkulut (Sumenna…, Korosta…, Maski…) käyttävät alueen valintaa, jossa merkitset, mitä sisällytetään ja mitä jätetään pois.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Miksi tämä on tärkeää

Seuranta auttaa vaikutustasi pysymään kiinni liikkuvassa kohteessa ajan kuluessa. Voit esimerkiksi sumentaa kasvot, korostaa pelaajan tai luoda puhtaan maskin, joka seuraa samaa kohdetta monien kehysten ajan.

Seurantakuvakkeet

Kuvake / Merkki

Merkitys

Sininen piste

Positiivinen seurantakoordinaatti (etualan/kohteen siemenpiste).

Punainen piste

Negatiivinen seurantakoordinaatti (taustan/poissulkemisen siemenpiste).

Sininen suorakulmio

Positiivinen alueen siemen (laaja kohdeviite).

Punainen suorakulmio

Negatiivinen alueen siemen (laaja poissulkuviite).

Poista kuvake

Tyhjennä kaikki nykyiset seurantasiemenet (pisteet/suorakulmiot) ja aloita alusta.

Miten seuranta toimii

OpenShot lähettää positiiviset ja negatiiviset merkintäsi siemenkoordinaatteina seurantamallille, joka rakentaa maskin kohteelle ja seuraa sitä ajan kuluessa. Paremmat siemenet tuottavat yleensä puhtaampia maskeja ja vähemmän siirtymää. [sam2]

Kuinka käyttää sitä

  1. Valitse kehys, jossa kohde näkyy selvästi.

  2. Aloita yhdellä sinisellä pisteellä kohteessa.

  3. Lisää punaisia pisteitä lähellä taustaa vain tarvittaessa.

  4. Lisää suorakulmioita, kun tarvitset nopeampaa laajaa valintaa.

  5. Toista muilla kehyksillä, kun liike/muoto muuttuu.

Säätäminen ajan kuluessa (kehysliukusäädin):

  • Siirrä kehysliukusäädintä eri hetkiin leikkeessä.

  • Lisää tai säädä pisteitä/suorakulmioita kehyksissä, joissa seuranta alkaa harhailla.

  • Käytä lisäsiemeniä vain tarvittaessa, erityisesti peittymissä, nopeissa liikkeissä tai suurissa muodonmuutoksissa.

Maskin esikatselutulos (tästä seurantaprosessista):

../_images/comfyui-mask-example-preview.jpg

Parhaat käytännöt

  • Käytä ensin lyhyttä testileikettä.

  • Aloita yksinkertaisesti: yksi sininen piste riittää usein.

  • Lisää pisteitä vain siellä, missä seuranta epäonnistuu.

  • Tarvittaessa lisää tarkempi joukko positiivisia/negatiivisia pisteitä ja suorakulmioita.

  • Pidä positiiviset ja negatiiviset pisteet selvästi erillään.

  • Jos seuranta menee sotkuiseksi, käytä Poista-kuvaketta ja aloita uudelleen puhtaammilla alkupisteillä.

[sam2]

SAM2 (Segment Anything Model 2) -projekti: facebookresearch/sam2

Työjono, eteneminen ja peruuta

Kun napsautat Luo, pyyntö lisätään jonoon ja suoritetaan OpenShotin tekoälytyöjonossa.

  • Eteneminen näkyy Projektitiedostot-kohdassa (merkit ja tilateksti).

  • Valmiit tulosteet tuodaan takaisin Projektitiedostot-kohtaan.

  • Aktiiviset työt voidaan peruuttaa napsauttamalla luotua projektitiedostoa hiiren kakkospainikkeella edistymispalkissa ja valitsemalla Peruuta työ.

  • Tulosteet tallennetaan kansioon .openshot_qt/comfyui-output/.

Sisäänrakennetut JSON-työnkulut

Alla olevat osiot liittyvät suoraan sisäänrakennetuihin JSON-malleihin kohteessa comfyui/. Jokaisessa alaosiossa kuvataan, miksi saatat käyttää sitä, kuinka sitä käytetään, ja tärkeimmät tiedot.

Luo tekoälyn avulla

Kuva… (txt2img-basic)

  • Miksi: Luo staattisia kuvia tekstikehotteesta.

  • Miten: Valitse Luo tekoälyn avulla -> Kuva…, kirjoita kehotteesi ja luo.

  • Tiedot: Käyttää tiedostoa comfyui/txt2img-basic.json sd_xl_base_1.0.safetensors kanssa.

Video… (txt2video-svd)

  • Miksi: Luo lyhyitä videoklippejä tekstistä.

  • Miten: Valitse Luo tekoälyn avulla -> Video…, kirjoita kehotteesi ja luo.

  • Yksityiskohdat: Käyttää comfyui/txt2video-svd.json WAN-videon sukupolvimallien kanssa.

Ääni… (txt2audio-stable-open)

  • Miksi: Luo ei-musiikillista ääntä tekstikehotteista.

  • Miten: Valitse Luo tekoälyn avulla -> Ääni…, kirjoita kehotteesi ja luo.

  • Yksityiskohdat: Käyttää tiedostoa comfyui/txt2audio-stable-open.json Stable Audio Open -malleissa.

Musiikki… (txt2music-ace-step)

  • Miksi: Luo musiikkia tyylin/tunnisteiden (ja valinnaisten sanoitusten) perusteella.

  • Miten: Valitse Luo tekoälyn avulla -> Musiikki…, kirjoita kehoteteksti ja luo.

  • Yksityiskohdat: Käyttää comfyui/txt2music-ace-step.json Ace-Step 1.5 -tarkistuspisteen kanssa.

Paranna tekoälyn avulla

Vaihda kuvan tyyliä… (img2img-basic)

  • Miksi: Muuta olemassa olevan kuvan tyyliä säilyttäen alkuperäinen sommittelu.

  • Miten: Valitse Paranna tekoälyn avulla kuvasta, kirjoita tyylikehotteesi ja luo.

  • Yksityiskohdat: Käyttää tiedostoa comfyui/img2img-basic.json sd_xl_base_1.0.safetensors kanssa.

Syvyys (image-extract-depth)

  • Miksi: Vie harmaasävyinen syvyyskarttakuva lähdekuvasta.

  • Miten: Valitse kuva, sitten Enhance with AI -> Extract -> Depth ja luo.

  • Yksityiskohdat: Käyttää comfyui/image-extract-depth.json tiedostoa yhdessä DepthAnythingV2Preprocessor kanssa.

Viivat (image-extract-lines)

  • Miksi: Vie viivakarttakuva lähdekuvasta.

  • Miten: Valitse kuva, sitten Enhance with AI -> Extract -> Lines ja luo.

  • Yksityiskohdat: Käyttää comfyui/image-extract-lines.json tiedostoa yhdessä LineArtPreprocessor kanssa.

Kuva videoksi… (img2video-wan)

  • Miksi: Muuta staattinen kuva luoduksi videoklipiksi.

  • Miten: Valitse Paranna tekoälyn avulla kuvasta, anna kehotteet ja luo.

  • Yksityiskohdat: Käyttää comfyui/img2video-wan.json tiedostoa WAN 2.2 kuva-videoksi -malleilla.

Vaihda videon tyyliä… (video2video-basic)

  • Miksi: Käytä uutta visuaalista tyyliä lähdevideoon.

  • Miten: Valitse video, sitten Enhance with AI, syötä tyylikehotus, valitse viitekuva Reference-välilehdeltä ja luo.

  • Yksityiskohdat: Käyttää comfyui/video2video-basic.json tiedostoa WAN VACE video-video -solmuilla, vaaditulla viitekuvalla, yhdistetyllä DepthAnythingV2Preprocessor syvyydellä ja Canny-reunavalvonnalla sekä malleilla wan2.1_vace_1.3B_fp16.safetensors, wan_2.1_vae.safetensors ja umt5_xxl_fp8_e4m3fn_scaled.safetensors.

Syvyys (video-extract-depth)

  • Miksi: Vie harmaasävyinen syvyyskarttaversio lähdevideosta.

  • Miten: Valitse video, sitten Enhance with AI -> Extract -> Depth ja luo.

  • Yksityiskohdat: Käyttää comfyui/video-extract-depth.json tiedostoa yhdessä DepthAnythingV2Preprocessor kanssa ja säilyttää alkuperäisen kuvataajuuden.

Viivat (video-extract-lines)

  • Miksi: Vie viivakarttaversio lähdevideosta.

  • Miten: Valitse video, sitten Enhance with AI -> Extract -> Lines ja luo.

  • Yksityiskohdat: Käyttää comfyui/video-extract-lines.json tiedostoa yhdessä LineArtPreprocessor kanssa ja säilyttää alkuperäisen kuvataajuuden.

Lisää resoluutiota (kuva) (upscale-realesrgan-x4)

  • Miksi: Skaalaa matalan resoluution kuvia suuremmiksi.

  • Miten: Valitse Paranna tekoälyn avulla kuvasta, valitse resoluution lisäys ja luo.

  • Yksityiskohdat: Käyttää comfyui/upscale-realesrgan-x4.json ja RealESRGAN_x4plus.safetensors.

Lisää resoluutiota (video) (video-upscale-gan)

  • Miksi: Skaalaa videon ruutuja suuremmaksi näkyvän yksityiskohdan lisäämiseksi.

  • Miten: Valitse Paranna tekoälyn avulla videosta, valitse resoluution lisäys ja luo.

  • Yksityiskohdat: Käyttää comfyui/video-upscale-gan.json ja RealESRGAN_x4plus.safetensors.

Sileä liike (2x kuvataajuus) (video-frame-interpolation-rife2x)

  • Miksi: Lisää kuvataajuutta sujuvamman liikkeen aikaansaamiseksi.

  • Miten: Valitse Paranna tekoälyn avulla videosta, valitse sileä liike ja luo.

  • Yksityiskohdat: Käyttää comfyui/video-frame-interpolation-rife2x.json ja rife47.pth.

Jaa kohtauksiin (video-segment-scenes-transnet)

  • Miksi: Tunnistaa automaattisesti kohtauksen vaihdot ja jakaa pitkät klipit segmentteihin.

  • Miten: Valitse Paranna tekoälyn avulla videosta, valitse kohtauksen jako ja luo.

  • Yksityiskohdat: käyttää tiedostoa comfyui/video-segment-scenes-transnet.json TransNetV2:n kanssa.

Lisää tekstitykset puheesta (video-whisper-srt)

  • Miksi: Muunna puhe tekstitys- tai tekstitystiedostoiksi.

  • Kuinka: Valitse videosta Paranna tekoälyllä, valitse tekstitykset ja luo.

  • Yksityiskohdat: Käyttää comfyui/video-whisper-srt.json ja luo SRT-ulostulon.

Seurantatyönkulut (SAM2)

Nämä työnkulut käyttävät samaa alue-/seurantasyötettä ja ne on ryhmitelty seurantavalikkoon.

Sumenta… (kuva) (image-blur-anything-sam2)

  • Miksi: Sumennetaan valitut kohdealueet staattisessa kuvassa.

  • Kuinka: Valitse pisteet/suorakulmiot kohteelle, sitten luo.

  • Yksityiskohdat: Käyttää comfyui/image-blur-anything-sam2.json SAM2-kuvasegmentoinnin kanssa.

Korosta… (kuva) (image-highlight-anything-sam2)

  • Miksi: Korostaa valitut kohdealueet staattisessa kuvassa.

  • Kuinka: Valitse pisteet/suorakulmiot kohteelle, sitten luo.

  • Yksityiskohdat: Käyttää comfyui/image-highlight-anything-sam2.json SAM2-kuvasegmentoinnin kanssa.

Maski… (kuva) (image-mask-anything-sam2)

  • Miksi: Luo kuvamaski valituille kohdealueille.

  • Kuinka: Valitse pisteet/suorakulmiot kohteelle, sitten luo.

  • Yksityiskohdat: Käyttää comfyui/image-mask-anything-sam2.json SAM2-kuvasegmentoinnin kanssa.

Sumenta… (video) (video-blur-anything-sam2)

  • Miksi: Seuraa ja sumenna liikkuvaa kohdetta videossa.

  • Kuinka: Merkitse kohde/tausta alueen näytöllä, sitten luo.

  • Tiedot: Käyttää comfyui/video-blur-anything-sam2.json SAM2-videoseurannan kanssa.

Korosta… (video) (video-highlight-anything-sam2)

  • Miksi: Seuraa ja korosta liikkuvaa kohdetta videossa.

  • Kuinka: Merkitse kohde/tausta alueen näytöllä, sitten luo.

  • Yksityiskohdat: Käyttää comfyui/video-highlight-anything-sam2.json SAM2-videoseurannan kanssa.

Maski… (video) (video-mask-anything-sam2)

  • Miksi: Luo animoitu maski, joka seuraa liikkuvaa kohdetta.

  • Kuinka: Merkitse kohde/tausta alueen näytöllä, sitten luo.

  • Tiedot: Käyttää comfyui/video-mask-anything-sam2.json SAM2-videoseurannan kanssa.

Aloituspisteet uusille käyttäjille

Jos olet uusi näille työkaluilla, aloita seuraavista:

  1. Luo tekoälyllä -> Kuva

  2. Paranna tekoälyllä -> Lisää tarkkuutta

  3. Paranna tekoälyllä -> Sileä liike

  4. Paranna tekoälyllä -> Jaa kohtauksiin

  5. Paranna tekoälyllä -> Lisää tekstitykset

Vianmääritys

Jos tekoälyvalikot eivät näy tai tehtävät epäonnistuvat heti:

  1. Varmista, että ComfyUI on käynnissä ja saavutettavissa määritetyssä URL-osoitteessa.

  2. Vahvista, että tarvittavat mallit ovat olemassa ComfyUI-ympäristössäsi.

  3. Vahvista, että valitsemallesi työnkululle on asennettu mukautetut solmupaketit.

  4. Pienennä erä-/palakokoja pitkillä leikkeillä.

  5. Testaa uudelleen ensin lyhyellä leikkeellä tai staattisella kuvalla.

Yleistä suorituskyvyn ja välimuistin säätöä varten katso Asetukset ja Toisto.