AI Lanjutan: ComfyUI

OpenShot dapat terhubung ke server ComfyUI lokal dan menjalankan alur kerja AI dari menu konteks File Proyek dan Timeline. Halaman ini menjelaskan apa saja alat-alat tersebut, perangkat keras apa yang diperlukan, dan di mana templat alur kerja bawaan berada.

Peringatan

Fitur AI di OpenShot bersifat eksperimental dan memerlukan workstation kelas atas.

  • Alat-alat ini tidak direkomendasikan untuk laptop, desktop kelas menengah, atau sistem dengan anggaran terbatas.

  • Anda harus menjalankan server lokal ComfyUI.

  • Anda harus mengantisipasi pengunduhan model, pekerjaan pengaturan, dan pemecahan masalah alur kerja.

Instalasi dan Pengaturan

Gunakan jalur pengaturan cepat ini sebelum mencoba alur kerja AI apa pun di OpenShot:

  1. Pasang ComfyUI dan pastikan ia berjalan dengan benar.

  2. Pasang node kustom yang diperlukan (tercantum di bawah).

  3. Unduh berkas model yang diperlukan (tercantum di bawah) ke dalam folder model yang sesuai.

  4. Mulai ComfyUI, lalu buka Edit->Preferences->Advanced dan atur ComfyUI URL.

  5. Klik Check untuk memastikan OpenShot dapat mengakses server.

Untuk detail instalasi lengkap ComfyUI, lihat repositori resmi: ComfyUI on GitHub.

Node Kustom yang Diperlukan

Model / Berkas yang Diperlukan

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Apa yang Dilihat Pengguna di OpenShot

Saat ComfyUI tersedia, OpenShot menampilkan alat AI di menu konteks:

  • Buat dengan AI untuk membuat aset baru

    ../_images/create-with-ai.jpg

  • Tingkatkan dengan AI (gambar) untuk memproses aset gambar

    ../_images/enhance-with-ai-image.jpg

  • Tingkatkan dengan AI (video) untuk memproses aset video

    ../_images/enhance-with-ai-video.jpg

File yang dihasilkan ditambahkan ke Project Files dengan teks kemajuan dan lencana antrean. Output disimpan di bawah .openshot_qt/comfyui-output/.

Memulai proyek baru atau membuka proyek yang sudah ada akan menghapus folder kerja AI sementara .openshot_qt sehingga Anda memulai dengan keadaan bersih. Proyek yang disimpan tidak terpengaruh, dan aset yang sebelumnya disalin ke folder PROJECTNAME_Assets tetap berada di direktori proyek tersebut.

Jika ComfyUI tidak tersedia, OpenShot menonaktifkan menu AI. Konfigurasikan URL server di Edit->Preferences->Advanced, lalu gunakan tombol Check untuk menguji konektivitas.

Template Alur Kerja

OpenShot membaca templat bawaan dari comfyui/. Itu juga memuat templat pengguna khusus dari ~/.openshot_qt/comfyui/.

Untuk menambahkan alur kerja Anda sendiri:

  1. Di ComfyUI, buka tab alur kerja yang ingin Anda gunakan.

  2. Pilih Export (API) untuk menyimpan alur kerja sebagai file *.json.

  3. Salin file JSON tersebut ke dalam ~/.openshot_qt/comfyui/.

  4. Mulai ulang OpenShot, atau buka kembali proyek jika diperlukan.

OpenShot akan secara otomatis memuat alur kerja dan menampilkannya di menu AI yang sesuai. Ketika Anda memicunya dari OpenShot, file sumber yang dipilih dimasukkan ke dalam alur kerja, dan output dari node output akhir alur kerja diimpor kembali ke Project Files.

OpenShot juga menulis payload .openshot_qt/comfyui/debug.json untuk pengguna tingkat lanjut yang ingin memeriksa permintaan tepat yang dikirim ke ComfyUI.

Dialog Aksi AI

Baik Create with AI maupun Enhance with AI membuka dialog generasi yang sama.

../_images/comfyui-prompt-dialog.jpg

Mengapa dialog ini penting:

  • Ini menyimpan semua input AI di satu tempat.

  • Ini memvalidasi bidang yang diperlukan sebelum mengantri pekerjaan.

  • Ini memungkinkan Anda mengatur prompt pelacakan sebelum menjalankan proses yang mahal.

Apa yang bisa Anda lakukan di dialog ini:

  • Pilih alur kerja/aksi.

  • Masukkan teks prompt.

  • Pratinjau file sumber yang dipilih (untuk alur kerja peningkatan).

  • Tetapkan nama output untuk media yang dihasilkan.

  • Berikan titik/rectangle pelacakan untuk alur kerja pelacakan.

  • Mulai pekerjaan dengan Generate atau tutup dengan Cancel.

Pelacakan (Masker, Blur, Sorot)

Alur kerja pelacakan (Blur..., Highlight..., Mask...) menggunakan layar wilayah di mana Anda menandai apa yang harus disertakan dan apa yang harus diabaikan.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Mengapa ini penting

Pelacakan membantu efek Anda tetap melekat pada subjek yang bergerak seiring waktu. Misalnya, Anda dapat memburamkan wajah, menyorot pemain, atau menghasilkan masker bersih yang mengikuti objek yang sama di banyak frame.

Ikon Pelacakan

Ikon / Penanda

Arti

Titik biru

Koordinat pelacakan positif (titik benih latar depan/subjek).

Titik merah

Koordinat pelacakan negatif (titik benih latar belakang/pengecualian).

Persegi panjang biru

Benih wilayah positif (petunjuk subjek luas).

Persegi panjang merah

Benih wilayah negatif (petunjuk pengecualian luas).

Hapus ikon

Bersihkan semua benih pelacakan saat ini (titik/persegi panjang) dan mulai ulang.

Cara Kerja Pelacakan

OpenShot mengirimkan penanda positif dan negatif Anda sebagai koordinat benih ke model pelacakan, yang membangun masker untuk subjek dan kemudian mengikutinya seiring waktu. Benih yang lebih baik biasanya menghasilkan masker yang lebih bersih dan drift yang lebih sedikit. [sam2]

Cara menggunakannya

  1. Pilih frame di mana subjek terlihat jelas.

  2. Mulai dengan satu titik biru pada subjek.

  3. Tambahkan titik merah pada latar belakang sekitar hanya jika diperlukan.

  4. Tambahkan persegi panjang ketika Anda membutuhkan seleksi luas yang lebih cepat.

  5. Ulangi pada frame tambahan ketika gerakan/bentuk berubah.

Penyesuaian seiring waktu (penggeser frame):

  • Geser penggeser frame ke momen berbeda dalam klip.

  • Tambahkan atau sesuaikan titik/persegi panjang pada frame di mana pelacakan mulai melenceng.

  • Gunakan titik benih tambahan hanya di tempat yang diperlukan, terutama pada oklusi, gerakan cepat, atau perubahan bentuk besar.

Pratinjau Output Masker (dari proses pelacakan ini):

../_images/comfyui-mask-example-preview.jpg

Praktik Terbaik

  • Gunakan klip uji pendek terlebih dahulu.

  • Mulai dengan sederhana: satu titik biru seringkali sudah cukup.

  • Tambahkan lebih banyak titik hanya di tempat pelacakan gagal.

  • Jika perlu, tambahkan set titik positif/negatif dan persegi panjang yang lebih rinci.

  • Jaga titik positif dan negatif tetap terpisah dengan jelas.

  • Jika pelacakan menjadi berantakan, gunakan ikon Hapus dan mulai ulang dengan titik awal yang lebih bersih.

[sam2]

Proyek SAM2 (Segment Anything Model 2): facebookresearch/sam2

Antrian Pekerjaan, Progres, dan Batal

Setelah Anda klik Generate, permintaan akan masuk antrian dan dijalankan di antrian pekerjaan AI OpenShot.

  • Progres ditampilkan di Project Files (lencana dan teks status).

  • Output yang selesai diimpor kembali ke Project Files.

  • Pekerjaan aktif dapat dibatalkan dengan mengklik kanan file proyek yang dihasilkan dengan bilah kemajuan dan memilih Batalkan Pekerjaan.

  • Output disimpan di bawah .openshot_qt/comfyui-output/.

Alur Kerja JSON Bawaan

Bagian di bawah ini dipetakan langsung ke templat JSON bawaan di comfyui/. Setiap subbagian menjelaskan alasan Anda menggunakannya, cara menjalankannya, dan detail penting.

Buat dengan AI

Gambar... (txt2img-basic)

  • Mengapa: Menghasilkan gambar diam dari perintah teks.

  • Cara: Pilih Create with AI -> Image..., masukkan perintah, lalu buat.

  • Detail: Menggunakan comfyui/txt2img-basic.json dengan sd_xl_base_1.0.safetensors.

Video... (txt2video-svd)

  • Mengapa: Menghasilkan klip video pendek dari teks.

  • Cara: Pilih Create with AI -> Video..., masukkan perintah, lalu buat.

  • Detail: Menggunakan comfyui/txt2video-svd.json dengan model pembuatan video WAN.

Suara... (txt2audio-stable-open)

  • Mengapa: Menghasilkan audio non-musik dari perintah teks.

  • Cara: Pilih Create with AI -> Sound..., masukkan perintah, lalu buat.

  • Detail: Menggunakan comfyui/txt2audio-stable-open.json dengan model Stable Audio Open.

Musik... (txt2music-ace-step)

  • Mengapa: Menghasilkan musik dari gaya/tag (dan lirik opsional).

  • Cara: Pilih Create with AI -> Music..., masukkan teks perintah, lalu buat.

  • Detail: Menggunakan comfyui/txt2music-ace-step.json dengan pos pemeriksaan Ace-Step 1.5.

Tingkatkan dengan AI

Ubah Gaya Gambar... (img2img-basic)

  • Mengapa: Mengubah gaya gambar yang ada sambil mempertahankan komposisi sumber.

  • Cara: Pilih Enhance with AI pada gambar, masukkan perintah gaya, lalu buat.

  • Detail: Menggunakan comfyui/img2img-basic.json dengan sd_xl_base_1.0.safetensors.

Gambar ke Video... (img2video-svd)

  • Mengapa: Mengubah gambar diam menjadi rekaman video yang dihasilkan.

  • Cara: Pilih Enhance with AI pada gambar, berikan panduan perintah, lalu buat.

  • Detail: Menggunakan comfyui/img2video-svd.json dengan model gambar-ke-video WAN.

Ubah Gaya Video... (video2video-basic)

  • Mengapa: Terapkan gaya visual baru ke video sumber.

  • Cara: Pilih Enhance with AI pada video, masukkan perintah gaya, lalu buat.

  • Detail: Menggunakan comfyui/video2video-basic.json dengan sd_xl_base_1.0.safetensors.

Tingkatkan Resolusi (gambar) (upscale-realesrgan-x4)

  • Mengapa: Meningkatkan resolusi gambar beresolusi rendah.

  • Cara: Pilih Enhance with AI pada gambar, pilih tingkatkan resolusi, lalu buat.

  • Detail: Menggunakan comfyui/upscale-realesrgan-x4.json dengan RealESRGAN_x4plus.safetensors.

Tingkatkan Resolusi (video) (video-upscale-gan)

  • Mengapa: Meningkatkan resolusi frame video untuk detail yang lebih jelas.

  • Cara: Pilih Enhance with AI pada video, pilih tingkatkan resolusi, lalu buat.

  • Detail: Menggunakan comfyui/video-upscale-gan.json dengan RealESRGAN_x4plus.safetensors.

Gerakan Halus (Kecepatan Frame 2x) (video-frame-interpolation-rife2x)

  • Mengapa: Meningkatkan kecepatan frame untuk gerakan yang terasa lebih halus.

  • Cara: Pilih Enhance with AI pada video, pilih gerakan halus, lalu buat.

  • Detail: Menggunakan comfyui/video-frame-interpolation-rife2x.json dengan rife47.pth.

Pisahkan ke dalam Adegan (video-segment-scenes-transnet)

  • Mengapa: Mendeteksi perubahan adegan secara otomatis dan memisahkan klip panjang menjadi segmen.

  • Cara: Pilih Enhance with AI pada video, pilih pemisahan adegan, lalu buat.

  • Detail: Menggunakan comfyui/video-segment-scenes-transnet.json dengan TransNetV2.

Tambahkan Teks dari Ucapan (video-whisper-srt)

  • Mengapa: Menyalin ucapan menjadi file subtitle/teks.

  • Cara: Pilih Tingkatkan dengan AI pada video, pilih teks, lalu buat.

  • Detail: Menggunakan comfyui/video-whisper-srt.json dan membuat keluaran SRT.

Alur Kerja Pelacakan (SAM2)

Alur kerja ini menggunakan alur input wilayah/pelacakan yang sama dan dikelompokkan dalam menu konteks pelacakan.

Kaburkan... (gambar) (image-blur-anything-sam2)

  • Mengapa: Kaburkan area subjek yang dipilih dalam gambar diam.

  • Cara: Pilih titik/persegi panjang untuk subjek, lalu buat.

  • Detail: Menggunakan comfyui/image-blur-anything-sam2.json dengan segmentasi gambar SAM2.

Sorot... (gambar) (image-highlight-anything-sam2)

  • Mengapa: Tekankan area subjek yang dipilih dalam gambar diam.

  • Cara: Pilih titik/persegi panjang untuk subjek, lalu buat.

  • Detail: Menggunakan comfyui/image-highlight-anything-sam2.json dengan segmentasi gambar SAM2.

Masker... (gambar) (image-mask-anything-sam2)

  • Mengapa: Buat masker gambar untuk area subjek yang dipilih.

  • Cara: Pilih titik/persegi panjang untuk subjek, lalu buat.

  • Detail: Menggunakan comfyui/image-mask-anything-sam2.json dengan segmentasi gambar SAM2.

Kaburkan... (video) (video-blur-anything-sam2)

  • Mengapa: Lacak dan kaburkan subjek yang bergerak dalam video.

  • Cara: Tandai subjek/latar belakang di layar wilayah, lalu buat.

  • Detail: Menggunakan comfyui/video-blur-anything-sam2.json dengan pelacakan video SAM2.

Sorot... (video) (video-highlight-anything-sam2)

  • Mengapa: Lacak dan sorot subjek yang bergerak dalam video.

  • Cara: Tandai subjek/latar belakang di layar wilayah, lalu buat.

  • Detail: Menggunakan comfyui/video-highlight-anything-sam2.json dengan pelacakan video SAM2.

Masker... (video) (video-mask-anything-sam2)

  • Mengapa: Buat masker animasi yang mengikuti subjek yang bergerak.

  • Cara: Tandai subjek/latar belakang di layar wilayah, lalu buat.

  • Detail: Menggunakan comfyui/video-mask-anything-sam2.json dengan pelacakan video SAM2.

Titik Awal untuk Pengguna Baru

Jika Anda baru dengan alat ini, mulailah dengan:

  1. Buat dengan AI -> Gambar

  2. Tingkatkan dengan AI -> Tingkatkan Resolusi

  3. Tingkatkan dengan AI -> Haluskan Gerakan

  4. Tingkatkan dengan AI -> Pisahkan menjadi Adegan

  5. Tingkatkan dengan AI -> Tambahkan Teks

Pemecahan Masalah

Jika menu AI tidak muncul atau pekerjaan gagal segera:

  1. Pastikan ComfyUI berjalan dan dapat diakses di URL yang dikonfigurasi.

  2. Konfirmasi model yang diperlukan ada di lingkungan ComfyUI Anda.

  3. Konfirmasi paket node kustom terpasang untuk alur kerja yang Anda pilih.

  4. Kurangi ukuran batch/potongan untuk klip panjang.

  5. Uji ulang dengan klip pendek atau gambar diam terlebih dahulu.

Untuk penyetelan kinerja umum dan cache, lihat Preferensi dan Pemutaran.