IA Avançada: ComfyUI

O OpenShot pode se conectar a um servidor ComfyUI local e executar fluxos de trabalho de IA a partir dos menus de contexto Arquivos de projeto e Linha do tempo. Esta página explica o que são essas ferramentas, que hardware elas exigem e onde ficam os modelos de fluxo de trabalho integrados.

Aviso

Os recursos de IA no OpenShot são experimentais e requerem uma estação de trabalho de alto desempenho.

  • Estas ferramentas não são recomendadas para laptops, desktops intermediários ou sistemas econômicos.

  • Você deve executar um servidor local ComfyUI.

  • Você deve esperar downloads de modelos, configuração e solução de problemas dos fluxos de trabalho.

Instalação e Configuração

Use este caminho de configuração rápida antes de tentar qualquer fluxo de trabalho de IA no OpenShot:

  1. Instale o ComfyUI e confirme que ele inicia corretamente.

  2. Instale os nós personalizados necessários (listados abaixo).

  3. Baixe os arquivos de modelo necessários (listados abaixo) nas pastas de modelo correspondentes.

  4. Inicie o ComfyUI, abra Edit->Preferences->Advanced e defina ComfyUI URL.

  5. Clique em Verificar para confirmar que o OpenShot pode acessar o servidor.

Para detalhes completos da instalação do ComfyUI, veja o repositório oficial: ComfyUI no GitHub.

Nós Personalizados Necessários

Modelos / Arquivos Necessários

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

O Que os Usuários Veem no OpenShot

Quando o ComfyUI está disponível, o OpenShot mostra ferramentas de IA nos menus de contexto:

  • Criar com IA para criar novos ativos

    ../_images/create-with-ai.jpg

  • Aprimorar com IA (imagens) para processar ativos de imagem

    ../_images/enhance-with-ai-image.jpg

  • Aprimorar com IA (vídeos) para processar ativos de vídeo

    ../_images/enhance-with-ai-video.jpg

Arquivos gerados são adicionados a Arquivos do Projeto com texto de progresso e distintivos de fila. As saídas são salvas em .openshot_qt/comfyui-output/.

Iniciar um novo projeto ou abrir um projeto existente limpa as pastas temporárias de trabalho de IA .openshot_qt, para que você comece com uma tela limpa. Seus projetos salvos não são afetados, e quaisquer ativos previamente copiados para uma pasta PROJECTNAME_Assets permanecem no diretório desse projeto.

Se o ComfyUI não estiver disponível, o OpenShot desativa os menus de IA. Configure a URL do servidor em Edit->Preferences->Advanced, então use o botão Check para testar a conectividade.

Modelos de Fluxo de Trabalho

OpenShot lê modelos integrados de comfyui/. Ele também carrega modelos de usuário personalizados de ~/.openshot_qt/comfyui/.

Para adicionar seu próprio fluxo de trabalho:

  1. No ComfyUI, abra a aba do fluxo de trabalho que deseja usar.

  2. Escolha Exportar (API) para salvar o fluxo de trabalho como um arquivo *.json.

  3. Copie esse arquivo JSON para ~/.openshot_qt/comfyui/.

  4. Reinicie o OpenShot ou reabra o projeto, se necessário.

O OpenShot carregará automaticamente o fluxo de trabalho e o mostrará no menu de IA apropriado. Quando você o acionar no OpenShot, o arquivo de origem selecionado será passado para o fluxo de trabalho, e a saída do nó final do fluxo será importada de volta para Arquivos do Projeto.

O OpenShot também grava um payload .openshot_qt/comfyui/debug.json para usuários avançados que desejam inspecionar a requisição exata enviada ao ComfyUI.

Diálogo de Ação de IA

Tanto Criar com IA quanto Aprimorar com IA abrem o mesmo diálogo de geração.

../_images/comfyui-prompt-dialog.jpg

Por que este diálogo é importante:

  • Ele mantém todas as entradas de IA em um só lugar.

  • Ele valida os campos obrigatórios antes de enfileirar o trabalho.

  • Ele permite configurar prompts de rastreamento antes de execuções custosas.

O que você pode fazer no diálogo:

  • Escolha o fluxo de trabalho/ação.

  • Digite o texto do prompt.

  • Visualize o arquivo de origem selecionado (para fluxos de aprimoramento).

  • Defina o nome de saída para a mídia gerada.

  • Forneça pontos/retângulos de rastreamento para fluxos de trabalho de rastreamento.

  • Inicie o trabalho com Gerar ou feche com Cancelar.

Rastreamento (Máscara, Desfoque, Realce)

Fluxos de rastreamento (Desfocar…, Realçar…, Máscara…) usam uma tela de região onde você marca o que incluir e o que ignorar.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Por que isso importa

O rastreamento ajuda seu efeito a permanecer ligado a um sujeito em movimento ao longo do tempo. Por exemplo, você pode desfocar um rosto, realçar um jogador ou gerar uma máscara limpa que segue o mesmo objeto por vários quadros.

Ícones de Rastreamento

Ícone / Marcador

Significado

Ponto azul

Coordenada de rastreamento positiva (ponto semente do primeiro plano/sujeito).

Ponto vermelho

Coordenada de rastreamento negativa (ponto semente de fundo/exclusão).

Retângulo azul

Semente de região positiva (indicação ampla do sujeito).

Retângulo vermelho

Semente de região negativa (indicação ampla de exclusão).

Ícone de exclusão

Limpar todas as sementes de rastreamento atuais (pontos/retângulos) e começar de novo.

Como o Rastreamento Funciona

O OpenShot envia seus marcadores positivos e negativos como coordenadas semente para o modelo de rastreamento, que constrói uma máscara para o sujeito e a acompanha ao longo do tempo. Sementes melhores geralmente produzem máscaras mais limpas e menos deriva. [sam2]

Como usar

  1. Escolha um quadro onde o sujeito esteja claramente visível.

  2. Comece com um ponto azul no sujeito.

  3. Adicione pontos vermelhos no fundo próximo somente se necessário.

  4. Adicione retângulos quando precisar de uma seleção ampla mais rápida.

  5. Repita em quadros adicionais quando o movimento/formato mudar.

Ajustando ao longo do tempo (controle deslizante de quadros):

  • Mova o controle deslizante de quadros para diferentes momentos no clipe.

  • Adicione ou ajuste pontos/retângulos em quadros onde o rastreamento começa a derivar.

  • Use pontos semente adicionais somente onde necessário, especialmente em oclusões, movimentos rápidos ou grandes mudanças de forma.

Saída de Pré-visualização da Máscara (deste processo de rastreamento):

../_images/comfyui-mask-example-preview.jpg

Melhores Práticas

  • Use primeiro um clipe de teste curto.

  • Comece simples: um único ponto azul geralmente é suficiente.

  • Adicione mais pontos somente onde o rastreamento falhar.

  • Se necessário, adicione um conjunto mais detalhado de pontos e retângulos positivos/negativos.

  • Mantenha os pontos positivos e negativos claramente separados.

  • Se o rastreamento ficar confuso, use o ícone Excluir e reinicie com sementes mais limpas.

[sam2]

Projeto SAM2 (Segment Anything Model 2): facebookresearch/sam2

Fila de Tarefas, Progresso e Cancelar

Após clicar em Gerar, a solicitação é enfileirada e executada na fila de tarefas de IA do OpenShot.

  • O progresso é exibido em Arquivos do Projeto (insígnias e texto de status).

  • Os resultados concluídos são importados de volta para Arquivos do Projeto.

  • Jobs ativos podem ser cancelados clicando com o botão direito no arquivo de projeto gerado com a barra de progresso e escolhendo Cancel Job.

  • Os resultados são gravados em .openshot_qt/comfyui-output/.

Fluxos de Trabalho JSON Integrados

As seções abaixo são mapeadas diretamente para modelos JSON integrados em comfyui/. Cada subseção descreve por que você pode usá-lo, como executá-lo e detalhes importantes.

Criar com IA

Imagem… (txt2img-basic)

  • Por que: Gerar imagens estáticas a partir de um texto.

  • Como: Escolha Criar com IA -> Imagem…, insira um texto e gere.

  • Detalhes: Usa comfyui/txt2img-basic.json com sd_xl_base_1.0.safetensors.

Vídeo… (txt2video-svd)

  • Por que: Gerar clipes de vídeo curtos a partir de texto.

  • Como: Escolha Criar com IA -> Vídeo…, insira um texto e gere.

  • Detalhes: Usa comfyui/txt2video-svd.json com modelos de geração de vídeo WAN.

Som… (txt2audio-stable-open)

  • Por que: Gerar áudio não musical a partir de textos.

  • Como: Escolha Criar com IA -> Som…, insira um texto e gere.

  • Detalhes: Usa comfyui/txt2audio-stable-open.json com modelos Stable Audio Open.

Música… (txt2music-ace-step)

  • Por que: Gerar música a partir de estilo/tags (e letras opcionais).

  • Como: Escolha Criar com IA -> Música…, insira o texto e gere.

  • Detalhes: Usa comfyui/txt2music-ace-step.json com um ponto de verificação Ace-Step 1.5.

Aprimorar com IA

Alterar Estilo da Imagem… (img2img-basic)

  • Por que: Alterar o estilo de uma imagem existente mantendo a composição original.

  • Como: Escolha Aprimorar com IA em uma imagem, insira um texto de estilo e gere.

  • Detalhes: Usa comfyui/img2img-basic.json com sd_xl_base_1.0.safetensors.

Imagem para Vídeo… (img2video-svd)

  • Por que: Transformar uma imagem estática em um vídeo gerado.

  • Como: Escolha Aprimorar com IA em uma imagem, forneça orientação de texto e gere.

  • Detalhes: Usa comfyui/img2video-svd.json com modelos WAN de imagem para vídeo.

Alterar Estilo do Vídeo… (video2video-basic)

  • Por que: Aplicar um novo estilo visual a um vídeo fonte.

  • Como: Escolha Aprimorar com IA em um vídeo, insira um texto de estilo e gere.

  • Detalhes: Usa comfyui/video2video-basic.json com sd_xl_base_1.0.safetensors.

Aumentar Resolução (imagem) (upscale-realesrgan-x4)

  • Por que: Aumentar a resolução de imagens de baixa qualidade.

  • Como: Escolha Aprimorar com IA em uma imagem, selecione aumentar resolução e gere.

  • Detalhes: Usa comfyui/upscale-realesrgan-x4.json com RealESRGAN_x4plus.safetensors.

Aumentar Resolução (vídeo) (video-upscale-gan)

  • Por que: Aumentar a resolução dos quadros de vídeo para maior detalhe aparente.

  • Como: Escolha Aprimorar com IA em um vídeo, selecione aumentar resolução e gere.

  • Detalhes: Usa comfyui/video-upscale-gan.json com RealESRGAN_x4plus.safetensors.

Movimento Suave (Taxa de Quadros 2x) (video-frame-interpolation-rife2x)

  • Por que: Aumentar a taxa de quadros para um movimento percebido mais suave.

  • Como: Escolha Aprimorar com IA em um vídeo, selecione movimento suave e gere.

  • Detalhes: Usa comfyui/video-frame-interpolation-rife2x.json com rife47.pth.

Dividir em Cenas (video-segment-scenes-transnet)

  • Por que: Detectar automaticamente mudanças de cena e dividir clipes longos em segmentos.

  • Como: Escolha Aprimorar com IA em um vídeo, selecione divisão de cenas e gere.

  • Detalhes: Usa comfyui/video-segment-scenes-transnet.json com TransNetV2.

Adicionar Legendas a partir da Fala (video-whisper-srt)

  • Por quê: Transcrever fala em arquivos de legenda/legenda oculta.

  • Como: Escolha Melhorar com IA em um vídeo, selecione legendas e depois gere.

  • Detalhes: Usa comfyui/video-whisper-srt.json e cria saída SRT.

Fluxos de Trabalho de Rastreamento (SAM2)

Estes fluxos de trabalho usam o mesmo fluxo de entrada de região/rastreamento e estão agrupados no menu de contexto de rastreamento.

Desfocar… (imagem) (image-blur-anything-sam2)

  • Por quê: Desfocar áreas do assunto selecionadas em uma imagem estática.

  • Como: Selecione pontos/retângulos para o assunto e depois gere.

  • Detalhes: Usa comfyui/image-blur-anything-sam2.json com segmentação de imagem SAM2.

Realçar… (imagem) (image-highlight-anything-sam2)

  • Por quê: Enfatizar áreas do assunto selecionadas em uma imagem estática.

  • Como: Selecione pontos/retângulos para o assunto e depois gere.

  • Detalhes: Usa comfyui/image-highlight-anything-sam2.json com segmentação de imagem SAM2.

Máscara… (imagem) (image-mask-anything-sam2)

  • Por quê: Gerar uma máscara de imagem para áreas do assunto selecionadas.

  • Como: Selecione pontos/retângulos para o assunto e depois gere.

  • Detalhes: Usa comfyui/image-mask-anything-sam2.json com segmentação de imagem SAM2.

Desfocar… (vídeo) (video-blur-anything-sam2)

  • Por quê: Rastrear e desfocar um assunto em movimento no vídeo.

  • Como: Marque o assunto/fundo na tela de região e depois gere.

  • Detalhes: Usa comfyui/video-blur-anything-sam2.json com rastreamento de vídeo SAM2.

Realçar… (vídeo) (video-highlight-anything-sam2)

  • Por quê: Rastrear e realçar um assunto em movimento no vídeo.

  • Como: Marque o assunto/fundo na tela de região e depois gere.

  • Detalhes: Usa comfyui/video-highlight-anything-sam2.json com rastreamento de vídeo SAM2.

Máscara… (vídeo) (video-mask-anything-sam2)

  • Por quê: Gerar uma máscara animada que segue um assunto em movimento.

  • Como: Marque o assunto/fundo na tela de região e depois gere.

  • Detalhes: Usa comfyui/video-mask-anything-sam2.json com rastreamento de vídeo SAM2.

Pontos de Partida para Novos Usuários

Se você é novo nestas ferramentas, comece com:

  1. Criar com IA -> Imagem

  2. Melhorar com IA -> Aumentar Resolução

  3. Melhorar com IA -> Suavizar Movimento

  4. Melhorar com IA -> Dividir em Cenas

  5. Melhorar com IA -> Adicionar Legendas

Solução de Problemas

Se os menus de IA não aparecerem ou os trabalhos falharem imediatamente:

  1. Verifique se o ComfyUI está em execução e acessível na URL configurada.

  2. Confirme que os modelos necessários existem no seu ambiente ComfyUI.

  3. Confirme que os pacotes de nós personalizados estão instalados para o fluxo de trabalho que você selecionou.

  4. Reduza os tamanhos de lote/pedaço para clipes longos.

  5. Teste novamente primeiro com um clipe curto ou imagem estática.

Para ajuste geral de desempenho e cache, veja Preferências e Reprodução.