Háþróað gervigreind: ComfyUI

OpenShot getur tengst staðbundnum ComfyUI netþjóni og keyrt gervigreind verkflæði úr verkefnaskrám og tímalínu samhengisvalmyndum. Þessi síða útskýrir hver þessi verkfæri eru, hvaða vélbúnað þau þurfa og hvar innbyggðu verkflæðissniðmátin búa.

Aðvörun

Gervigreindareiginleikar í OpenShot eru tilraunakenndir og krefjast háþróaðs vinnustöðvar.

  • Þessi verkfæri eru ekki mælt með fyrir fartölvur, miðlungs borðtölvur eða hagkvæm kerfi.

  • Þú verður að keyra staðbundinn ComfyUI þjón.

  • Þú ættir að búast við niðurhali líkana, uppsetningarvinnu og bilanaleit í ferlum.

Uppsetning og stilling

Notaðu þessa hraðleið í uppsetningu áður en þú reynir AI ferla í OpenShot:

  1. Settu upp ComfyUI og staðfestu að það byrji rétt.

  2. Settu upp nauðsynlega sérsniðna hnúta (listað hér að neðan).

  3. Sæktu nauðsynleg líkanaskjöl (listuð hér að neðan) í samsvarandi líkanamöppur.

  4. Byrjaðu ComfyUI, opnaðu síðan Edit->Preferences->Advanced og stilltu ComfyUI URL.

  5. Smelltu á Check til að staðfesta að OpenShot nái sambandi við þjóninn.

Fyrir fullar upplýsingar um uppsetningu ComfyUI, skoðaðu opinbera geymsluna: ComfyUI on GitHub.

Nauðsynlegir sérsniðnir hnútar

Nauðsynleg líkön / skrár

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Hvað notendur sjá í OpenShot

Þegar ComfyUI er tiltækt sýnir OpenShot gervigreindarverkfæri í samhengisvalmyndum:

  • Búa til með AI til að búa til nýja eignir

    ../_images/create-with-ai.jpg

  • Bæta með AI (myndir) til að vinna með myndaeignir

    ../_images/enhance-with-ai-image.jpg

  • Bæta með AI (myndbönd) til að vinna með myndbands eignir

    ../_images/enhance-with-ai-video.jpg

Búnar skrár eru bættar við Verkefnaskrár með framvindu texta og biðröðartáknum. Úttak eru vistuð undir .openshot_qt/comfyui-output/.

Að hefja nýtt verkefni eða opna tiltekið verkefni hreinsar tímabundna .openshot_qt AI vinnuskrár svo þú byrjir með hreint borð. Vistaðir verkefni þín eru ekki fyrir áhrifum, og öll eignir sem áður voru afritaðar í PROJECTNAME_Assets möppu eru áfram í möppu þess verkefnis.

Ef ComfyUI er ekki tiltækt slekkur OpenShot á gervigreindarvalmyndum. Stilltu vefslóð netþjónsins í Breyta->Preferences->Advanced, notaðu síðan Check hnappinn til að prófa tenginguna.

Vinnuflæðis sniðmát

OpenShot les innbyggð sniðmát úr comfyui/. Það hleður einnig sérsniðnum notendasniðmátum frá ~/.openshot_qt/comfyui/.

Til að bæta við þínu eigin vinnuflæði:

  1. Í ComfyUI, opnaðu vinnuflæðistakkann sem þú vilt nota.

  2. Veldu Flytja út (API) til að vista vinnuflæðið sem *.json skrá.

  3. Afritaðu þá JSON skrá í ~/.openshot_qt/comfyui/.

  4. Endurræstu OpenShot, eða opnaðu verkefnið aftur ef þörf krefur.

OpenShot mun sjálfkrafa hlaða vinnuflæðinu og sýna það í viðeigandi AI valmynd. Þegar þú virkjar það úr OpenShot, er valin upprunaskrá send inn í vinnuflæðið, og úttak frá síðasta úttakstákni vinnuflæðisins er flutt aftur inn í Verkefnaskrár.

OpenShot skrifar einnig .openshot_qt/comfyui/debug.json gagnapakka fyrir háþróaða notendur sem vilja skoða nákvæma beiðni sem send er til ComfyUI.

AI aðgerðargluggi

Bæði Búa til með AI og Bæta með AI opna sama myndunargluggann.

../_images/comfyui-prompt-dialog.jpg

Af hverju þessi gluggi skiptir máli:

  • Hann heldur öllum AI inntökum á einum stað.

  • Hann staðfestir nauðsynleg reiti áður en verkefni er sett í biðröð.

  • Hann leyfir þér að stilla eftirfylgnispurningar áður en kostnaðarsamar keyrslur hefjast.

Hvað þú getur gert í glugganum:

  • Veldu vinnuflæði/aðgerð.

  • Sláðu inn texta fyrir spurningu.

  • Forskoðaðu valda upprunaskrá (fyrir bætingarvinnuflæði).

  • Stilltu úttaksnafn fyrir myndbandsefni sem myndað er.

  • Gefðu eftirfylgnipunkta/ferninga fyrir eftirfylgnisvinnuflæði.

  • Byrjaðu verkefnið með Mynda eða lokaðu með Hætta við.

Eftirfylgni (Gríma, Óskýrt, Áhersla)

Eftirfylgnisvinnuflæði (Óskýrt…, Áhersla…, Gríma…) nota svæðisskjá þar sem þú merkir hvað á að taka með og hvað á að hunsa.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Af hverju þetta skiptir máli

Eftirfylgni hjálpar áhrifum þínum að fylgja hreyfandi viðfangi með tímanum. Til dæmis getur þú óskýrt andlit, lagt áherslu á leikmann, eða búið til hreina grímu sem fylgir sama hlut yfir margar rammar.

Eftirfylgnitákn

Tákn / Merki

Merking

Blár punktur

Jákvætt eftirfylgnistaðsetning (fyrirgrunns-/viðfangspunktur).

Rauður punktur

Neikvætt eftirfylgnistaðsetning (bakgrunns-/útilokunarpunktur).

Blár ferningur

Jákvætt svæðisfræ (víðtækur vísbending um viðfang).

Rauður ferningur

Neikvætt svæðisfræ (víðtæk útilokunarvísbending).

Eyða tákni

Hreinsa öll núverandi eftirfylgnisfræ (punkta/ferninga) og byrja upp á nýtt.

Hvernig eftirfylgni virkar

OpenShot sendir jákvæðu og neikvæðu merkimiðana þína sem fræhnit til eftirfylgnilíkansins, sem byggir grímu fyrir viðfangið og fylgir því svo með tímanum. Betri fræ gefa yfirleitt hreinni grímur og minni skekkju. [sam2]

Hvernig á að nota það

  1. Veldu ramma þar sem viðfangið sést skýrt.

  2. Byrjaðu með einn bláan punkt á viðfanginu.

  3. Bættu við rauðum punktum á nálægan bakgrunn aðeins ef þörf er á.

  4. Bættu við ferningum þegar þú þarft hraðari víðtæka val.

  5. Endurtaktu á fleiri ramma þegar hreyfing/lögun breytist.

Stilling með tímanum (rammasleði):

  • Færðu rammaskrunann á mismunandi augnablik í klippunni.

  • Bættu við eða stilltu punkta/ferninga á ramma þar sem eftirfylgni byrjar að víkja.

  • Notaðu viðbótar fræpunkta aðeins þar sem þörf er, sérstaklega við skugga, hraða hreyfingu eða miklar lögunarbreytingar.

Forskoðun á grímuúttaki (frá þessari eftirfylgnivinnslu):

../_images/comfyui-mask-example-preview.jpg

Bestu vinnubrögð

  • Notaðu fyrst stutta prófunarklippu.

  • Byrjaðu einfalt: einn blár punktur er oft nægur.

  • Bættu við fleiri punktum aðeins þar sem eftirfylgni bilar.

  • Ef þörf krefur, bættu við nákvæmari sett af jákvæðum/neikvæðum punktum og ferningum.

  • Haltu jákvæðum og neikvæðum punktum skýrt aðskildum.

  • Ef eftirfylgni verður óreiðukennd, notaðu Eyða táknið og byrjaðu aftur með hreinni fræjum.

[sam2]

SAM2 (Segment Anything Model 2) verkefnið: facebookresearch/sam2

Verkbiðröð, Framvinda og Hætta við

Eftir að þú smellir á Generate, er beiðnin sett í biðröð og keyrð í AI-verkbiðröð OpenShot.

  • Framvinda er sýnd í Project Files (merki og stöðutexti).

  • Lokið úttak er flutt aftur inn í Project Files.

  • Hægt er að hætta við virk störf með því að hægrismella á myndaða verkefnaskrána með framvindustikunni og velja Cancel Job.

  • Úttak eru skrifuð undir .openshot_qt/comfyui-output/.

Innbyggð JSON vinnuflæði

Hlutarnir hér að neðan kortleggjast beint í innbyggð JSON sniðmát í comfyui/. Hver undirkafli lýsir hvers vegna þú gætir notað það, hvernig á að keyra það og helstu upplýsingar.

Búa til með AI

Mynd… (txt2img-basic)

  • Af hverju: Búa til kyrrmyndir úr texta.

  • Hvernig: Veldu Create with AI -> Image…, sláðu inn texta og búðu til.

  • Upplýsingar: Notar comfyui/txt2img-basic.json með sd_xl_base_1.0.safetensors.

Myndband… (txt2video-svd)

  • Af hverju: Búa til stutt myndbandsbrot úr texta.

  • Hvernig: Veldu Create with AI -> Video…, sláðu inn texta og búðu til.

  • Upplýsingar: Notar comfyui/txt2video-svd.json með WAN-myndbandsgerðum.

Hljóð… (txt2audio-stable-open)

  • Af hverju: Búa til tónlaust hljóð úr texta.

  • Hvernig: Veldu Create with AI -> Sound…, sláðu inn texta og búðu til.

  • Upplýsingar: Notar comfyui/txt2audio-stable-open.json með Stable Audio Open módelum.

Tónlist… (txt2music-ace-step)

  • Af hverju: Búa til tónlist úr stíl/merkjum (og valfrjálsum texta).

  • Hvernig: Veldu Create with AI -> Music…, sláðu inn texta og búðu til.

  • Upplýsingar: Notar comfyui/txt2music-ace-step.json með Ace-Step 1.5 eftirlitsstöð.

Bæta með AI

Breyta myndastíl… (img2img-basic)

  • Af hverju: Endurstíla núverandi mynd án þess að breyta upphaflegri samsetningu.

  • Hvernig: Veldu Enhance with AI á mynd, sláðu inn stíltexta og búðu til.

  • Upplýsingar: Notar comfyui/img2img-basic.json með sd_xl_base_1.0.safetensors.

Mynd í myndband… (img2video-svd)

  • Af hverju: Breyta kyrrmynd í myndbandsbrot.

  • Hvernig: Veldu Enhance with AI á mynd, gefðu leiðbeiningar og búðu til.

  • Upplýsingar: Notar comfyui/img2video-svd.json með WAN mynd-í-myndbandslíkönum.

Breyta myndbandsstíl… (video2video-basic)

  • Af hverju: Beita nýjum sjónrænum stíl á upphaflegt myndband.

  • Hvernig: Veldu Enhance with AI á myndband, sláðu inn stíltexta og búðu til.

  • Upplýsingar: Notar comfyui/video2video-basic.json með sd_xl_base_1.0.safetensors.

Auka upplausn (mynd) (upscale-realesrgan-x4)

  • Af hverju: Stækka myndir með lága upplausn.

  • Hvernig: Veldu Enhance with AI á mynd, veldu að auka upplausn og búðu til.

  • Upplýsingar: Notar comfyui/upscale-realesrgan-x4.json með RealESRGAN_x4plus.safetensors.

Auka upplausn (myndband) (video-upscale-gan)

  • Af hverju: Stækka myndbandsramma fyrir meiri smáatriði.

  • Hvernig: Veldu Enhance with AI á myndband, veldu að auka upplausn og búðu til.

  • Upplýsingar: Notar comfyui/video-upscale-gan.json með RealESRGAN_x4plus.safetensors.

Mjúk hreyfing (2x rammatíðni) (video-frame-interpolation-rife2x)

  • Af hverju: Auka rammatíðni fyrir mjúkari hreyfingu.

  • Hvernig: Veldu Enhance with AI á myndband, veldu mjúka hreyfingu og búðu til.

  • Upplýsingar: Notar comfyui/video-frame-interpolation-rife2x.json með rife47.pth.

Skipta í senur (video-segment-scenes-transnet)

  • Af hverju: Sjálfvirkt greina senubreytingar og skipta löngum klippum í hluta.

  • Hvernig: Veldu Enhance with AI á myndband, veldu senuskiptingu og búðu til.

  • Upplýsingar: Notar comfyui/video-segment-scenes-transnet.json með TransNetV2.

Bæta við textum úr tali (video-whisper-srt)

  • Af hverju: Skrifa tal yfir í texta/undirtextaskrár.

  • Hvernig: Veldu Bæta við AI á myndbandi, veldu texta og búðu til.

  • Upplýsingar: Notar comfyui/video-whisper-srt.json og býr til SRT úttak.

Eftirlitsvinnuflæði (SAM2)

Þessi vinnuflæði nota sama svæði/eftirlitsinntak og eru flokkuð í eftirlitsvalmyndinni.

Dimmka… (mynd) (image-blur-anything-sam2)

  • Af hverju: Dimmka valin efni á kyrrmynd.

  • Hvernig: Veldu punkta/ferninga fyrir efnið og búðu til.

  • Upplýsingar: Notar comfyui/image-blur-anything-sam2.json með SAM2 myndskiptingu.

Lýsa upp… (mynd) (image-highlight-anything-sam2)

  • Af hverju: Leggja áherslu á valin efni á kyrrmynd.

  • Hvernig: Veldu punkta/ferninga fyrir efnið og búðu til.

  • Upplýsingar: Notar comfyui/image-highlight-anything-sam2.json með SAM2 myndskiptingu.

Gríma… (mynd) (image-mask-anything-sam2)

  • Af hverju: Búa til myndagrímu fyrir valin efni.

  • Hvernig: Veldu punkta/ferninga fyrir efnið og búðu til.

  • Upplýsingar: Notar comfyui/image-mask-anything-sam2.json með SAM2 myndskiptingu.

Dimmka… (myndband) (video-blur-anything-sam2)

  • Af hverju: Fylgja og dimmka hreyfandi efni í myndbandi.

  • Hvernig: Merktu efni/bakgrunn á svæðisskjánum og búðu til.

  • Upplýsingar: Notar comfyui/video-blur-anything-sam2.json með SAM2 myndbandsrakningu.

Lýsa upp… (myndband) (video-highlight-anything-sam2)

  • Af hverju: Fylgja og lýsa upp hreyfandi efni í myndbandi.

  • Hvernig: Merktu efni/bakgrunn á svæðisskjánum og búðu til.

  • Upplýsingar: Notar comfyui/video-highlight-anything-sam2.json með SAM2 myndbandsrakningu.

Gríma… (myndband) (video-mask-anything-sam2)

  • Af hverju: Búa til hreyfimyndagrímu sem fylgir hreyfandi efni.

  • Hvernig: Merktu efni/bakgrunn á svæðisskjánum og búðu til.

  • Upplýsingar: Notar comfyui/video-mask-anything-sam2.json með SAM2 myndbandsrakningu.

Byrjunarstaðir fyrir nýja notendur

Ef þú ert nýr með þessi verkfæri, byrjaðu á:

  1. Búa til með AI -> Mynd

  2. Bæta með AI -> Auka upplausn

  3. Bæta með AI -> Mjúk hreyfing

  4. Bæta með AI -> Skipta í senur

  5. Bæta með AI -> Bæta við textum

Villuleit

Ef AI valmyndir birtast ekki eða verkefni mistakast strax:

  1. Staðfestu að ComfyUI sé í gangi og aðgengilegt á stillta slóð.

  2. Staðfestu að nauðsynlegar gerðir séu til í ComfyUI umhverfinu þínu.

  3. Staðfestu að sérsniðnar hnútapakkar séu uppsettir fyrir valið vinnuflæði.

  4. Minnkaðu hóp-/bútastærðir fyrir löng klipp.

  5. Prófaðu aftur með stuttri klippu eða kyrrmynd fyrst.

Fyrir almennar frammistöðu- og skyndiminni stillingar, sjá Stillingar og Spilun.