AI Avanzata: ComfyUI

OpenShot può connettersi a un server ComfyUI locale ed eseguire flussi di lavoro AI dai menu contestuali File di progetto e Timeline. Questa pagina spiega cosa sono questi strumenti, quale hardware richiedono e dove risiedono i modelli di flusso di lavoro integrati.

Avvertimento

Le funzionalità AI in OpenShot sono sperimentali e richiedono una workstation di fascia alta.

  • Questi strumenti non sono raccomandati per laptop, desktop di fascia media o sistemi economici.

  • Devi eseguire un server locale ComfyUI.

  • Dovresti aspettarti download di modelli, configurazioni e risoluzione di problemi nei flussi di lavoro.

Installazione e Configurazione

Usa questo percorso di configurazione rapida prima di provare qualsiasi flusso di lavoro AI in OpenShot:

  1. Installa ComfyUI e conferma che si avvii correttamente.

  2. Installa i nodi personalizzati richiesti (elencati di seguito).

  3. Scarica i file modello richiesti (elencati di seguito) nelle cartelle modello corrispondenti.

  4. Avvia ComfyUI, quindi apri Modifica->Preferenze->Avanzate e imposta URL ComfyUI.

  5. Clicca Verifica per confermare che OpenShot può raggiungere il server.

Per i dettagli completi sull’installazione di ComfyUI, consulta il repository ufficiale: ComfyUI su GitHub.

Nodi Personalizzati Richiesti

Modelli / File Richiesti

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Cosa Vedono gli Utenti in OpenShot

Quando ComfyUI è disponibile, OpenShot mostra gli strumenti AI nei menu contestuali:

  • Crea con AI per creare nuovi asset

    ../_images/create-with-ai.jpg

  • Migliora con AI (immagini) per elaborare asset immagine

    ../_images/enhance-with-ai-image.jpg

  • Migliora con AI (video) per elaborare asset video

    ../_images/enhance-with-ai-video.jpg

I file generati vengono aggiunti a Project Files con testo di avanzamento e badge di coda. I risultati vengono salvati in .openshot_qt/comfyui-output/.

Avviare un nuovo progetto o aprire un progetto esistente cancella le cartelle di lavoro temporanee AI .openshot_qt in modo da iniziare con una base pulita. I tuoi progetti salvati non vengono modificati e qualsiasi risorsa precedentemente copiata in una cartella PROJECTNAME_Assets rimane nella directory di quel progetto.

Se ComfyUI non è disponibile, OpenShot disabilita i menu AI. Configura l’URL del server in Modifica->Preferenze->Avanzate, quindi usa il pulsante Verifica per testare la connettività.

Modelli di Workflow

OpenShot legge i modelli integrati da comfyui/. Carica anche modelli utente personalizzati da ~/.openshot_qt/comfyui/.

Per aggiungere il tuo workflow:

  1. In ComfyUI, apri la scheda del workflow che vuoi usare.

  2. Scegli Export (API) per salvare il workflow come file *.json.

  3. Copia quel file JSON in ~/.openshot_qt/comfyui/.

  4. Riavvia OpenShot, o riapri il progetto se necessario.

OpenShot caricherà automaticamente il workflow e lo mostrerà nel menu AI appropriato. Quando lo avvii da OpenShot, il file sorgente selezionato viene passato al workflow e l’output dal nodo finale del workflow viene importato nuovamente in Project Files.

OpenShot scrive anche un payload .openshot_qt/comfyui/debug.json per utenti avanzati che vogliono ispezionare la richiesta esatta inviata a ComfyUI.

Dialogo Azione AI

Sia Create with AI che Enhance with AI aprono lo stesso dialogo di generazione.

../_images/comfyui-prompt-dialog.jpg

Perché questo dialogo è importante:

  • Tiene tutti gli input AI in un unico posto.

  • Valida i campi obbligatori prima di mettere in coda il lavoro.

  • Ti permette di impostare i prompt di tracciamento prima di esecuzioni costose.

Cosa puoi fare nel dialogo:

  • Scegli il workflow/azione.

  • Inserisci il testo del prompt.

  • Anteprima del file sorgente selezionato (per workflow di miglioramento).

  • Imposta il nome di output per i media generati.

  • Fornisci punti/rettangoli di tracciamento per i workflow di tracciamento.

  • Avvia il lavoro con Generate o chiudi con Cancel.

Tracciamento (Maschera, Sfocatura, Evidenziazione)

I workflow di tracciamento (Blur…, Highlight…, Mask…) usano una schermata di regione dove si segna cosa includere e cosa ignorare.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Perché è importante

Il tracciamento aiuta il tuo effetto a rimanere attaccato a un soggetto in movimento nel tempo. Per esempio, puoi sfocare un volto, evidenziare un giocatore o generare una maschera pulita che segue lo stesso oggetto attraverso molti fotogrammi.

Icone di Tracciamento

Icona / Marcatore

Significato

Punto blu

Coordinata di tracciamento positiva (punto seme primo piano/soggetto).

Punto rosso

Coordinata di tracciamento negativa (punto seme sfondo/esclusione).

Rettangolo blu

Punto seme regione positiva (ampio suggerimento soggetto).

Rettangolo rosso

Punto seme regione negativa (ampio suggerimento di esclusione).

Icona elimina

Cancella tutti i semi di tracciamento attuali (punti/rettangoli) e ricomincia.

Come funziona il tracciamento

OpenShot invia i tuoi marcatori positivi e negativi come coordinate seme al modello di tracciamento, che costruisce una maschera per il soggetto e la segue nel tempo. Semi migliori di solito producono maschere più pulite e meno deriva. [sam2]

Come usarlo

  1. Scegli un fotogramma in cui il soggetto è chiaramente visibile.

  2. Inizia con un punto blu sul soggetto.

  3. Aggiungi punti rossi sullo sfondo vicino solo se necessario.

  4. Aggiungi rettangoli quando hai bisogno di una selezione ampia più veloce.

  5. Ripeti su fotogrammi aggiuntivi quando cambiano movimento/forma.

Regolazione nel tempo (slider fotogrammi):

  • Sposta lo slider dei fotogrammi in momenti diversi della clip.

  • Aggiungi o regola punti/rettangoli sui fotogrammi dove il tracciamento inizia a deviare.

  • Usa punti seme aggiuntivi solo dove necessario, specialmente in occlusioni, movimenti veloci o grandi cambiamenti di forma.

Anteprima maschera output (da questo processo di tracciamento):

../_images/comfyui-mask-example-preview.jpg

Buone pratiche

  • Usa prima una clip di prova breve.

  • Inizia semplice: un singolo punto blu spesso è sufficiente.

  • Aggiungi più punti solo dove il tracciamento fallisce.

  • Se necessario, aggiungi un set più sfumato di punti e rettangoli positivi/negativi.

  • Mantieni chiaramente separati i punti positivi e negativi.

  • Se il tracciamento diventa disordinato, usa l’icona Elimina e ricomincia con semi più puliti.

[sam2]

Progetto SAM2 (Segment Anything Model 2): facebookresearch/sam2

Coda Lavori, Avanzamento e Annulla

Dopo aver cliccato Genera, la richiesta viene messa in coda ed eseguita nella coda lavori AI di OpenShot.

  • L’avanzamento è mostrato in File di Progetto (badge e testo di stato).

  • I risultati completati vengono importati nuovamente in File di Progetto.

  • I lavori attivi possono essere annullati facendo clic con il pulsante destro del mouse sul file di progetto generato con la barra di avanzamento e scegliendo Annulla lavoro.

  • I risultati vengono salvati sotto .openshot_qt/comfyui-output/.

Flussi di lavoro JSON integrati

Le sezioni seguenti mappano direttamente ai modelli JSON integrati in comfyui/. Ogni sottosezione descrive perché potresti utilizzarlo, come eseguirlo e i dettagli chiave.

Crea con AI

Immagine… (txt2img-basic)

  • Perché: Generare immagini statiche da un prompt testuale.

  • Come: Scegli Crea con AI -> Immagine…, inserisci un prompt, quindi genera.

  • Dettagli: utilizza comfyui/txt2img-basic.json con sd_xl_base_1.0.safetensors.

Video… (txt2video-svd)

  • Perché: Generare brevi clip video da testo.

  • Come: Scegli Crea con AI -> Video…, inserisci un prompt, quindi genera.

  • Dettagli: utilizza comfyui/txt2video-svd.json con modelli di generazione video WAN.

Suono… (txt2audio-stable-open)

  • Perché: Generare audio non musicale da prompt testuali.

  • Come: Scegli Crea con AI -> Suono…, inserisci un prompt, quindi genera.

  • Dettagli: utilizza comfyui/txt2audio-stable-open.json con i modelli Stable Audio Open.

Musica… (txt2music-ace-step)

  • Perché: Generare musica da stile/tag (e testi opzionali).

  • Come: Scegli Crea con AI -> Musica…, inserisci il testo del prompt, quindi genera.

  • Dettagli: utilizza comfyui/txt2music-ace-step.json con un checkpoint Ace-Step 1.5.

Migliora con AI

Cambia stile immagine… (img2img-basic)

  • Perché: Cambiare lo stile di un’immagine esistente mantenendo la composizione originale.

  • Come: Scegli Migliora con AI su un’immagine, inserisci un prompt di stile, quindi genera.

  • Dettagli: utilizza comfyui/img2img-basic.json con sd_xl_base_1.0.safetensors.

Immagine in Video… (img2video-svd)

  • Perché: Trasformare un’immagine statica in una ripresa video generata.

  • Come: Scegli Migliora con AI su un’immagine, fornisci indicazioni nel prompt, quindi genera.

  • Dettagli: utilizza comfyui/img2video-svd.json con modelli WAN image-to-video.

Cambia stile video… (video2video-basic)

  • Perché: Applicare un nuovo stile visivo a un video sorgente.

  • Come: Scegli Migliora con AI su un video, inserisci un prompt di stile, quindi genera.

  • Dettagli: utilizza comfyui/video2video-basic.json con sd_xl_base_1.0.safetensors.

Aumenta risoluzione (immagine) (upscale-realesrgan-x4)

  • Perché: Ingrandire immagini a bassa risoluzione.

  • Come: Scegli Migliora con AI su un’immagine, seleziona aumenta risoluzione, quindi genera.

  • Dettagli: Utilizza comfyui/upscale-realesrgan-x4.json con RealESRGAN_x4plus.safetensors.

Aumenta risoluzione (video) (video-upscale-gan)

  • Perché: Ingrandire i fotogrammi video per un dettaglio apparente maggiore.

  • Come: Scegli Migliora con AI su un video, seleziona aumenta risoluzione, quindi genera.

  • Dettagli: utilizza comfyui/video-upscale-gan.json con RealESRGAN_x4plus.safetensors.

Movimento fluido (doppio frame rate) (video-frame-interpolation-rife2x)

  • Perché: Aumentare il frame rate per un movimento percepito più fluido.

  • Come: Scegli Migliora con AI su un video, seleziona movimento fluido, quindi genera.

  • Dettagli: Utilizza comfyui/video-frame-interpolation-rife2x.json con rife47.pth.

Dividi in scene (video-segment-scenes-transnet)

  • Perché: Rilevare automaticamente i cambi di scena e dividere clip lunghe in segmenti.

  • Come: Scegli Migliora con AI su un video, seleziona divisione scene, quindi genera.

  • Dettagli: utilizza comfyui/video-segment-scenes-transnet.json con TransNetV2.

Aggiungi didascalie dal parlato (video-whisper-srt)

  • Perché: Trascrivere il parlato in file di sottotitoli/didascalie.

  • Come: Seleziona Migliora con AI su un video, scegli le didascalie, quindi genera.

  • Dettagli: utilizza comfyui/video-whisper-srt.json e crea output SRT.

Flussi di lavoro di tracciamento (SAM2)

Questi flussi di lavoro utilizzano lo stesso flusso di input regione/tracciamento e sono raggruppati nel menu contestuale di tracciamento.

Sfoca… (immagine) (image-blur-anything-sam2)

  • Perché: Sfocare aree soggetto selezionate in un’immagine fissa.

  • Come: Seleziona punti/rettangoli per il soggetto, quindi genera.

  • Dettagli: utilizza comfyui/image-blur-anything-sam2.json con la segmentazione delle immagini SAM2.

Evidenzia… (immagine) (image-highlight-anything-sam2)

  • Perché: Evidenziare aree soggetto selezionate in un’immagine fissa.

  • Come: Seleziona punti/rettangoli per il soggetto, quindi genera.

  • Dettagli: utilizza comfyui/image-highlight-anything-sam2.json con la segmentazione delle immagini SAM2.

Maschera… (immagine) (image-mask-anything-sam2)

  • Perché: Generare una maschera immagine per aree soggetto selezionate.

  • Come: Seleziona punti/rettangoli per il soggetto, quindi genera.

  • Dettagli: utilizza comfyui/image-mask-anything-sam2.json con la segmentazione delle immagini SAM2.

Sfoca… (video) (video-blur-anything-sam2)

  • Perché: Tracciare e sfocare un soggetto in movimento nel video.

  • Come: Segna soggetto/sfondo nella schermata regione, quindi genera.

  • Dettagli: utilizza comfyui/video-blur-anything-sam2.json con il tracciamento video SAM2.

Evidenzia… (video) (video-highlight-anything-sam2)

  • Perché: Tracciare ed evidenziare un soggetto in movimento nel video.

  • Come: Segna soggetto/sfondo nella schermata regione, quindi genera.

  • Dettagli: utilizza comfyui/video-highlight-anything-sam2.json con il tracciamento video SAM2.

Maschera… (video) (video-mask-anything-sam2)

  • Perché: Generare una maschera animata che segue un soggetto in movimento.

  • Come: Segna soggetto/sfondo nella schermata regione, quindi genera.

  • Dettagli: utilizza comfyui/video-mask-anything-sam2.json con il tracciamento video SAM2.

Punti di partenza per nuovi utenti

Se sei nuovo a questi strumenti, inizia con:

  1. Crea con AI -> Immagine

  2. Migliora con AI -> Aumenta Risoluzione

  3. Migliora con AI -> Migliora Movimento

  4. Migliora con AI -> Dividi in Scene

  5. Migliora con AI -> Aggiungi Didascalie

Risoluzione dei problemi

Se i menu AI non appaiono o i lavori falliscono immediatamente:

  1. Verifica che ComfyUI sia in esecuzione e raggiungibile all’URL configurato.

  2. Conferma che i modelli richiesti esistano nel tuo ambiente ComfyUI.

  3. Conferma che i pacchetti di nodi personalizzati siano installati per il flusso di lavoro selezionato.

  4. Riduci le dimensioni di batch/chunk per clip lunghe.

  5. Riprova prima con un clip breve o un’immagine fissa.

Per la regolazione generale delle prestazioni e della cache, consulta Preferenze e Riproduzione.