Gelişmiş Yapay Zeka: ComfyUI

OpenShot yerel bir ComfyUI sunucusuna bağlanabilir ve Proje Dosyaları ve Zaman Çizelgesi içerik menülerinden AI iş akışlarını çalıştırabilir. Bu sayfada bu araçların ne olduğu, hangi donanıma ihtiyaç duyduğu ve yerleşik iş akışı şablonlarının nerede bulunduğu açıklanmaktadır.

Uyarı

OpenShot’taki yapay zeka özellikleri deneysel**dir ve **yüksek performanslı bir iş istasyonu gerektirir.

  • Bu araçlar dizüstü bilgisayarlar, orta seviye masaüstü bilgisayarlar veya bütçe sistemleri için önerilmez.

  • Yerel bir ComfyUI sunucusu çalıştırmalısınız.

  • Model indirmeleri, kurulum çalışmaları ve iş akışı sorun giderme işlemleri beklemelisiniz.

Kurulum ve Ayarlar

OpenShot’ta herhangi bir yapay zeka iş akışını denemeden önce bu hızlı kurulum yolunu kullanın:

  1. ComfyUI’yi kurun ve doğru şekilde başladığını doğrulayın.

  2. Gerekli özel düğümleri (aşağıda listelenmiştir) kurun.

  3. Gerekli model dosyalarını (aşağıda listelenmiştir) uygun model klasörlerine indirin.

  4. ComfyUI’yi başlatın, ardından Edit->Preferences->Advanced’yi açın ve ComfyUI URL’i ayarlayın.

  5. Kontrol Et düğmesine tıklayarak OpenShot’ın sunucuya erişebildiğini doğrulayın.

Tam ComfyUI kurulum detayları için resmi depoya bakın: ComfyUI on GitHub.

Gerekli Özel Düğümler

Gerekli Modeller / Dosyalar

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Kullanıcıların OpenShot’ta Gördükleri

ComfyUI mevcut olduğunda, OpenShot bağlam menülerinde yapay zeka araçlarını gösterir:

  • Yapay Zeka ile Oluştur yeni varlıklar oluşturmak için

    ../_images/create-with-ai.jpg
  • Yapay Zeka ile Geliştir (görseller) görsel varlıkları işlemek için

    ../_images/enhance-with-ai-image.jpg
  • Yapay Zeka ile Geliştir (videolar) video varlıklarını işlemek için

    ../_images/enhance-with-ai-video.jpg

Oluşturulan dosyalar, ilerleme metni ve kuyruk rozetleri ile birlikte Proje Dosyaları bölümüne eklenir. Çıktılar .openshot_qt/comfyui-output/ altında kaydedilir.

Yeni bir proje başlatmak veya var olan bir projeyi açmak, geçici .openshot_qt AI çalışma klasörlerini temizler, böylece temiz bir sayfa ile başlarsınız. Kaydedilmiş projeleriniz etkilenmez ve daha önce PROJECTNAME_Assets klasörüne kopyalanmış varlıklar o projenin dizininde kalır.

ComfyUI kullanılamıyorsa OpenShot AI menülerini devre dışı bırakır. Edit->Preferences->Advanced’da sunucu URL’sini yapılandırın, ardından bağlantıyı test etmek için Check düğmesini kullanın.

İş Akışı Şablonları

OpenShot, comfyui/’den yerleşik şablonları okur. Ayrıca ~/.openshot_qt/comfyui/’den özel kullanıcı şablonlarını da yükler.

Kendi iş akışınızı eklemek için:

  1. ComfyUI’de kullanmak istediğiniz iş akışı sekmesini açın.

  2. Dışa Aktar (API) seçeneğini seçerek iş akışını *.json dosyası olarak kaydedin.

  3. O JSON dosyasını ~/.openshot_qt/comfyui/ klasörüne kopyalayın.

  4. OpenShot’ı yeniden başlatın veya gerekirse projeyi tekrar açın.

OpenShot iş akışını otomatik olarak yükler ve uygun AI menüsünde gösterir. OpenShot’tan tetiklediğinizde, seçilen kaynak dosya iş akışına aktarılır ve iş akışının son çıkış düğümünden gelen çıktı Proje Dosyaları bölümüne geri alınır.

OpenShot, ComfyUI’ye gönderilen tam isteği incelemek isteyen ileri düzey kullanıcılar için .openshot_qt/comfyui/debug.json adlı bir dosya da yazar.

AI Eylem Diyaloğu

AI ile Oluştur ve AI ile Geliştir her ikisi de aynı oluşturma diyalogunu açar.

../_images/comfyui-prompt-dialog.jpg

Bu diyalog neden önemlidir:

  • Tüm AI girdilerini tek bir yerde tutar.

  • İşi sıraya almadan önce gerekli alanları doğrular.

  • Maliyetli işlemlerden önce takip istemlerini ayarlamanıza olanak tanır.

Diyalogda yapabilecekleriniz:

  • İş akışını/eylemi seçin.

  • İstem metnini girin.

  • Seçilen kaynak dosyayı önizleyin (geliştirme iş akışları için).

  • Oluşturulan medyanın çıktı adını belirleyin.

  • Takip iş akışları için takip noktaları/dikdörtgenleri sağlayın.

  • İşi Oluştur ile başlatın veya İptal ile kapatın.

Takip (Maske, Bulanıklaştırma, Vurgulama)

Takip iş akışları (Bulanıklaştır…, Vurgula…, Maske…) dahil edilecek ve hariç tutulacak alanları işaretlediğiniz bir bölge ekranı kullanır.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Bunun önemi

Takip, efektinizin zaman içinde hareket eden bir nesneye bağlı kalmasına yardımcı olur. Örneğin, bir yüzü bulanıklaştırabilir, bir oyuncuyu vurgulayabilir veya aynı nesneyi birçok kare boyunca takip eden temiz bir maske oluşturabilirsiniz.

Takip Simgeleri

Simge / İşaretleyici

Anlamı

Mavi nokta

Pozitif takip koordinatı (ön plan/nesne başlangıç noktası).

Kırmızı nokta

Negatif takip koordinatı (arka plan/dışlama başlangıç noktası).

Mavi dikdörtgen

Pozitif bölge başlangıcı (geniş nesne ipucu).

Kırmızı dikdörtgen

Negatif bölge başlangıcı (geniş dışlama ipucu).

Simgeyi sil

Tüm mevcut takip başlangıçlarını (noktalar/dikdörtgenler) temizle ve yeniden başla.

Takip Nasıl Çalışır

OpenShot, pozitif ve negatif işaretleyicilerinizi takip modeline başlangıç koordinatları olarak gönderir; model nesne için bir maske oluşturur ve zaman içinde takip eder. Daha iyi başlangıçlar genellikle daha temiz maskeler ve daha az kayma sağlar. [sam2]

Nasıl kullanılır

  1. Nesnenin net göründüğü bir kare seçin.

  2. Nesne üzerinde bir mavi nokta ile başlayın.

  3. Yalnızca gerekirse yakın arka plana kırmızı noktalar ekleyin.

  4. Daha hızlı geniş seçim gerektiğinde dikdörtgenler ekleyin.

  5. Hareket/şekil değiştiğinde ek karelerde tekrarlayın.

Zaman içinde ayarlama (kare kaydırıcısı):

  • Klipte farklı anlara gitmek için kare kaydırıcısını hareket ettirin.

  • Takip kaymaya başladığında karelerde noktalar/dikdörtgenler ekleyin veya ayarlayın.

  • Ek başlangıç noktalarını yalnızca gerektiğinde kullanın, özellikle örtünmelerde, hızlı hareketlerde veya büyük şekil değişikliklerinde.

Maske Önizleme Çıktısı (bu takip işleminden):

../_images/comfyui-mask-example-preview.jpg

En İyi Uygulamalar

  • Öncelikle kısa bir test klibi kullanın.

  • Basit başlayın: genellikle tek bir mavi nokta yeterlidir.

  • Takip başarısız olduğunda sadece o yerlere daha fazla nokta ekleyin.

  • Gerekirse, daha ayrıntılı pozitif/negatif noktalar ve dikdörtgenler ekleyin.

  • Pozitif ve negatif noktaları net bir şekilde ayrı tutun.

  • İzleme karışırsa, Sil simgesini kullanın ve daha temiz başlangıç noktalarıyla yeniden başlayın.

[sam2]

SAM2 (Segment Anything Model 2) projesi: facebookresearch/sam2

İş Kuyruğu, İlerleme ve İptal

Oluştur düğmesine tıkladıktan sonra, istek kuyruğa alınır ve OpenShot’ın AI iş kuyruğunda çalışır.

  • İlerleme Proje Dosyaları nda (rozetler ve durum metni) gösterilir.

  • Tamamlanan çıktılar Proje Dosyaları na geri aktarılır.

  • Etkin işler, oluşturulan proje dosyasına ilerleme çubuğuyla sağ tıklayıp Cancel Job seçilerek iptal edilebilir.

  • Çıktılar .openshot_qt/comfyui-output/ altında kaydedilir.

Dahili JSON İş Akışları

Aşağıdaki bölümler doğrudan comfyui/ içindeki yerleşik JSON şablonlarıyla eşleşir. Her alt bölüm, onu neden kullanabileceğinizi, nasıl çalıştıracağınızı ve önemli ayrıntıları açıklar.

AI ile Oluştur

Resim… (txt2img-basic)

  • Neden: Metin isteminden durağan görüntüler oluşturmak için.

  • Nasıl: AI ile Oluştur -> Resim… seçin, bir istem girin ve ardından oluşturun.

  • Ayrıntılar: comfyui/txt2img-basic.json ile sd_xl_base_1.0.safetensors’yi kullanır.

Video… (txt2video-svd)

  • Neden: Metinden kısa video klipler oluşturmak için.

  • Nasıl: AI ile Oluştur -> Video… seçin, bir istem girin ve ardından oluşturun.

  • Ayrıntılar: WAN video oluşturma modelleriyle comfyui/txt2video-svd.json kullanır.

Ses… (txt2audio-stable-open)

  • Neden: Metin istemlerinden müzik dışı sesler oluşturmak için.

  • Nasıl: AI ile Oluştur -> Ses… seçin, bir istem girin ve ardından oluşturun.

  • Ayrıntılar: comfyui/txt2audio-stable-open.json’yi Stabil Ses Açık modelleriyle birlikte kullanır.

Müzik… (txt2music-ace-step)

  • Neden: Stil/etiketlerden (ve isteğe bağlı sözlerden) müzik oluşturmak için.

  • Nasıl: AI ile Oluştur -> Müzik… seçin, istem metnini girin ve ardından oluşturun.

  • Ayrıntılar: comfyui/txt2music-ace-step.json’yi Ace-Step 1.5 kontrol noktasıyla birlikte kullanır.

AI ile Geliştir

Resim Stilini Değiştir… (img2img-basic)

  • Neden: Kaynak kompozisyonu koruyarak mevcut bir resmi yeniden stilize etmek için.

  • Nasıl: Bir resimde AI ile Geliştir seçin, bir stil istemi girin ve ardından oluşturun.

  • Ayrıntılar: comfyui/img2img-basic.json ile sd_xl_base_1.0.safetensors’yi kullanır.

Resimden Videoya… (img2video-svd)

  • Neden: Durağan bir resmi oluşturulmuş bir video çekimine dönüştürmek için.

  • Nasıl: Bir resimde AI ile Geliştir seçin, istem rehberliği sağlayın ve ardından oluşturun.

  • Ayrıntılar: WAN görüntüden videoya modelleriyle comfyui/img2video-svd.json kullanır.

Video Stilini Değiştir… (video2video-basic)

  • Neden: Kaynak videoya yeni bir görsel stil uygulamak için.

  • Nasıl: Bir videoda AI ile Geliştir seçin, bir stil istemi girin ve ardından oluşturun.

  • Ayrıntılar: comfyui/video2video-basic.json ile sd_xl_base_1.0.safetensors’yi kullanır.

Çözünürlüğü Artır (resim) (upscale-realesrgan-x4)

  • Neden: Düşük çözünürlüklü resimleri büyütmek için.

  • Nasıl: Bir resimde AI ile Geliştir seçin, çözünürlüğü artır seçeneğini seçin ve ardından oluşturun.

  • Ayrıntılar: comfyui/upscale-realesrgan-x4.json ile RealESRGAN_x4plus.safetensors’yi kullanır.

Çözünürlüğü Artır (video) (video-upscale-gan)

  • Neden: Daha yüksek görünür detay için video karelerini büyütmek.

  • Nasıl: Bir videoda AI ile Geliştir seçin, çözünürlüğü artır seçeneğini seçin ve ardından oluşturun.

  • Ayrıntılar: comfyui/video-upscale-gan.json ile RealESRGAN_x4plus.safetensors’yi kullanır.

Akıcı Hareket (2x Kare Hızı) (video-frame-interpolation-rife2x)

  • Neden: Daha akıcı algılanan hareket için kare hızını artırmak.

  • Nasıl: Bir videoda AI ile Geliştir seçin, akıcı hareket seçeneğini seçin ve ardından oluşturun.

  • Ayrıntılar: comfyui/video-frame-interpolation-rife2x.json ile rife47.pth’yi kullanır.

Sahnelere Böl (video-segment-scenes-transnet)

  • Neden: Sahne değişikliklerini otomatik algılamak ve uzun klipleri parçalara ayırmak için.

  • Nasıl: Bir videoda AI ile Geliştir seçin, sahne bölme seçeneğini seçin ve ardından oluşturun.

  • Ayrıntılar: TransNetV2 ile comfyui/video-segment-scenes-transnet.json kullanır.

Konuşmadan Altyazı Ekle (video-whisper-srt)

  • Neden: Konuşmayı altyazı/dipnot dosyalarına dönüştürmek için.

  • Nasıl: Bir videoda Yapay Zeka ile Geliştir seçeneğini seçin, altyazıları seçin ve ardından oluşturun.

  • Ayrıntılar: comfyui/video-whisper-srt.json kullanır ve SRT çıktısı oluşturur.

İzleme İş Akışları (SAM2)

Bu iş akışları aynı bölge/izleme giriş akışını kullanır ve izleme bağlam menüsünde gruplanmıştır.

Bulanıklaştır… (resim) (image-blur-anything-sam2)

  • Neden: Sabit bir resimde seçilen konu alanlarını bulanıklaştırmak için.

  • Nasıl: Konu için noktalar/dikdörtgenler seçin, ardından oluşturun.

  • Ayrıntılar: SAM2 görüntü segmentasyonuyla comfyui/image-blur-anything-sam2.json kullanır.

Vurgula… (resim) (image-highlight-anything-sam2)

  • Neden: Sabit bir resimde seçilen konu alanlarını vurgulamak için.

  • Nasıl: Konu için noktalar/dikdörtgenler seçin, ardından oluşturun.

  • Ayrıntılar: SAM2 görüntü segmentasyonuyla comfyui/image-highlight-anything-sam2.json kullanır.

Maske… (resim) (image-mask-anything-sam2)

  • Neden: Seçilen konu alanları için bir resim maskesi oluşturmak için.

  • Nasıl: Konu için noktalar/dikdörtgenler seçin, ardından oluşturun.

  • Ayrıntılar: SAM2 görüntü segmentasyonuyla comfyui/image-mask-anything-sam2.json kullanır.

Bulanıklaştır… (video) (video-blur-anything-sam2)

  • Neden: Videoda hareket eden bir konuyu izleyip bulanıklaştırmak için.

  • Nasıl: Bölge ekranında konu/arka planı işaretleyin, ardından oluşturun.

  • Ayrıntılar: SAM2 video izlemeyle comfyui/video-blur-anything-sam2.json kullanır.

Vurgula… (video) (video-highlight-anything-sam2)

  • Neden: Videoda hareket eden bir konuyu izleyip vurgulamak için.

  • Nasıl: Bölge ekranında konu/arka planı işaretleyin, ardından oluşturun.

  • Ayrıntılar: SAM2 video izlemeyle comfyui/video-highlight-anything-sam2.json kullanır.

Maske… (video) (video-mask-anything-sam2)

  • Neden: Hareket eden bir konuyu takip eden animasyonlu bir maske oluşturmak için.

  • Nasıl: Bölge ekranında konu/arka planı işaretleyin, ardından oluşturun.

  • Ayrıntılar: SAM2 video izlemeyle comfyui/video-mask-anything-sam2.json kullanır.

Yeni Kullanıcılar için Başlangıç Noktaları

Bu araçlara yeniseniz, şunlarla başlayın:

  1. Yapay Zeka ile Oluştur -> Resim

  2. Yapay Zeka ile Geliştir -> Çözünürlüğü Artır

  3. Yapay Zeka ile Geliştir -> Hareketi Yumuşat

  4. Yapay Zeka ile Geliştir -> Sahnelere Böl

  5. Yapay Zeka ile Geliştir -> Altyazı Ekle

Sorun Giderme

Eğer Yapay Zeka menüleri görünmüyorsa veya işler hemen başarısız oluyorsa:

  1. ComfyUI’nin çalıştığını ve yapılandırılmış URL’den erişilebilir olduğunu doğrulayın.

  2. Gerekli modellerin ComfyUI ortamınızda mevcut olduğunu onaylayın.

  3. Seçtiğiniz iş akışı için özel düğüm paketlerinin yüklü olduğunu onaylayın.

  4. Uzun klipler için toplu/parça boyutlarını küçültün.

  5. Önce kısa bir klip veya sabit resim ile tekrar test edin.

Genel performans ve önbellek ayarları için bkz. Tercihler ve Oynatma.