고급 AI: ComfyUI

OpenShot은 로컬 ComfyUI 서버에 연결하고 프로젝트 파일 및 타임라인 컨텍스트 메뉴에서 AI 워크플로우를 실행할 수 있습니다. 이 페이지에서는 이러한 도구가 무엇인지, 필요한 하드웨어는 무엇인지, 내장된 워크플로 템플릿이 어디에 있는지 설명합니다.

경고

OpenShot의 AI 기능은 실험적 이며 고성능 워크스테이션 이 필요합니다.

  • 이 도구들은 노트북, 중급 데스크톱 또는 저가형 시스템에는 권장되지 않습니다.

  • 로컬 ComfyUI 서버를 실행해야 합니다.

  • 모델 다운로드, 설정 작업 및 워크플로 문제 해결이 필요할 수 있습니다.

설치 및 설정

OpenShot에서 AI 워크플로를 시도하기 전에 이 빠른 설정 경로를 사용하세요:

  1. ComfyUI를 설치하고 정상적으로 시작되는지 확인하세요.

  2. 필요한 커스텀 노드(아래 목록)를 설치하세요.

  3. 필요한 모델 파일(아래 목록)을 해당 모델 폴더에 다운로드하세요.

  4. ComfyUI를 시작한 다음 :guilabel:`Edit->Preferences->Advanced`를 열고 :guilabel:`ComfyUI URL`을 설정하세요.

  5. OpenShot이 서버에 연결할 수 있는지 확인하려면 확인 을 클릭하세요.

ComfyUI 설치에 대한 자세한 내용은 공식 저장소를 참조하세요: ComfyUI on GitHub.

필수 커스텀 노드

필수 모델 / 파일

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

OpenShot에서 사용자가 보는 것

ComfyUI가 사용 가능할 때 OpenShot은 컨텍스트 메뉴에 AI 도구를 표시합니다:

  • AI로 생성 새 자산을 만들기 위해

    ../_images/create-with-ai.jpg

  • AI로 향상 (이미지) 이미지 자산을 처리하기 위해

    ../_images/enhance-with-ai-image.jpg

  • AI로 향상 (비디오) 비디오 자산을 처리하기 위해

    ../_images/enhance-with-ai-video.jpg

생성된 파일은 진행 텍스트와 대기열 배지와 함께 Project Files 에 추가됩니다. 출력물은 .openshot_qt/comfyui-output/ 아래에 저장됩니다.

새 프로젝트 를 시작하거나 기존 프로젝트 를 열면 임시 .openshot_qt AI 작업 폴더가 초기화되어 깨끗한 상태에서 시작할 수 있습니다. 저장된 프로젝트는 영향을 받지 않으며, 이전에 PROJECTNAME_Assets 폴더에 복사된 자산은 해당 프로젝트 디렉터리에 그대로 남아 있습니다.

ComfyUI를 사용할 수 없는 경우 OpenShot은 AI 메뉴를 비활성화합니다. Edit->Preferences->Advanced`에서 서버 URL을 구성한 다음 :guilabel:`Check 버튼을 사용하여 연결을 테스트합니다.

워크플로우 템플릿

OpenShot은 ``comfyui/``에서 내장 템플릿을 읽습니다. 또한 ``~/.openshot_qt/comfyui/``에서 사용자 정의 사용자 템플릿을 로드합니다.

자신만의 워크플로우를 추가하려면:

  1. ComfyUI에서 사용하려는 워크플로우 탭을 엽니다.

  2. Export (API)`를 선택하여 워크플로우를 ``*.json` 파일로 저장하세요.

  3. 해당 JSON 파일을 ~/.openshot_qt/comfyui/ 에 복사하세요.

  4. OpenShot을 재시작하거나 필요하면 프로젝트를 다시 여세요.

OpenShot은 워크플로우를 자동으로 불러와 적절한 AI 메뉴에 표시합니다. OpenShot에서 실행하면 선택한 소스 파일이 워크플로우에 전달되고, 워크플로우 최종 출력 노드의 결과물이 Project Files 로 다시 가져와집니다.

OpenShot은 ComfyUI에 전송된 정확한 요청을 확인하려는 고급 사용자를 위해 .openshot_qt/comfyui/debug.json 페이로드도 작성합니다.

AI 작업 대화상자

Create with AI`와 :guilabel:`Enhance with AI 모두 동일한 생성 대화상자를 엽니다.

../_images/comfyui-prompt-dialog.jpg

이 대화상자가 중요한 이유:

  • 모든 AI 입력을 한 곳에 모아둡니다.

  • 작업 대기열에 추가하기 전에 필수 항목을 검증합니다.

  • 비용이 많이 드는 실행 전에 추적 프롬프트를 설정할 수 있습니다.

대화상자에서 할 수 있는 일:

  • 워크플로우/작업을 선택하세요.

  • 프롬프트 텍스트를 입력하세요.

  • 선택한 소스 파일을 미리보기(향상 워크플로우용).

  • 생성된 미디어의 출력 이름을 설정하세요.

  • 추적 워크플로우를 위해 추적 점/사각형을 제공합니다.

  • Generate 로 작업을 시작하거나 Cancel 로 닫으세요.

추적 (마스크, 블러, 하이라이트)

추적 워크플로우(Blur…, Highlight…, Mask…)는 포함할 영역과 제외할 영역을 표시하는 영역 화면을 사용합니다.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

이것이 중요한 이유

추적은 효과가 움직이는 대상에 시간 경과에 따라 붙어 있도록 도와줍니다. 예를 들어, 얼굴을 블러 처리하거나, 선수를 하이라이트하거나, 여러 프레임에 걸쳐 동일한 객체를 따르는 깨끗한 마스크를 생성할 수 있습니다.

추적 아이콘

아이콘 / 마커

의미

파란 점

양성 추적 좌표 (전경/대상 시드 포인트).

빨간 점

음성 추적 좌표 (배경/제외 시드 포인트).

파란 사각형

양성 영역 시드 (넓은 대상 힌트).

빨간 사각형

음성 영역 시드 (넓은 제외 힌트).

삭제 아이콘

현재 모든 추적 시드(점/사각형)를 지우고 다시 시작합니다.

추적 작동 방식

OpenShot은 양성 및 음성 마커를 시드 좌표로 추적 모델에 보내어 대상의 마스크를 생성하고 시간에 따라 추적합니다. 더 나은 시드는 보통 더 깨끗한 마스크와 적은 드리프트를 만듭니다. [sam2]

사용 방법

  1. 대상이 명확히 보이는 프레임을 선택하세요.

  2. 대상에 파란 점 하나로 시작하세요.

  3. 필요한 경우에만 인근 배경에 빨간 점을 추가하세요.

  4. 더 빠른 넓은 선택이 필요할 때 사각형을 추가하세요.

  5. 움직임/형태가 변할 때 추가 프레임에서 반복하세요.

시간에 따른 조정 (프레임 슬라이더):

  • 클립 내 다른 순간으로 프레임 슬라이더를 이동하세요.

  • 추적이 흐트러지기 시작하는 프레임에 점/사각형을 추가하거나 조정하세요.

  • 특히 가림, 빠른 움직임, 큰 형태 변화가 있는 곳에만 추가 시드 포인트를 사용하세요.

마스크 미리보기 출력 (이 추적 과정에서):

../_images/comfyui-mask-example-preview.jpg

최선의 방법

  • 먼저 짧은 테스트 클립을 사용하세요.

  • 간단하게 시작하세요: 보통 파란 점 하나면 충분합니다.

  • 추적이 실패하는 곳에만 점을 더 추가하세요.

  • 필요한 경우, 더 세밀한 긍정/부정 점과 사각형 세트를 추가하세요.

  • 긍정 점과 부정 점을 명확하게 분리하세요.

  • 트래킹이 복잡해지면 삭제 아이콘을 사용하여 더 깔끔한 시드로 다시 시작하세요.

[sam2]

SAM2 (Segment Anything Model 2) 프로젝트: facebookresearch/sam2

작업 대기열, 진행 상황 및 취소

생성 을 클릭하면 요청이 대기열에 추가되어 OpenShot의 AI 작업 대기열에서 실행됩니다.

  • 진행 상황은 프로젝트 파일 에서 (배지와 상태 텍스트로) 표시됩니다.

  • 완료된 출력물은 프로젝트 파일 로 다시 가져옵니다.

  • 진행률 표시줄이 있는 생성된 프로젝트 파일을 마우스 오른쪽 버튼으로 클릭하고 :guilabel:`작업 취소`를 선택하여 활성 작업을 취소할 수 있습니다.

  • 출력물은 .openshot_qt/comfyui-output/ 아래에 저장됩니다.

내장 JSON 워크플로우

아래 섹션은 ``comfyui/``에 내장된 JSON 템플릿에 직접 매핑됩니다. 각 하위 섹션에는 이를 사용하는 이유, 실행 방법 및 주요 세부 정보가 설명되어 있습니다.

AI로 생성하기

이미지… (txt2img-basic)

  • 이유: 텍스트 프롬프트로 정지 이미지를 생성합니다.

  • 방법: AI로 생성하기 -> 이미지… 를 선택하고 프롬프트를 입력한 후 생성하세요.

  • 세부 정보: ``sd_xl_base_1.0.safetensors``와 함께 ``comfyui/txt2img-basic.json``을 사용합니다.

비디오… (txt2video-svd)

  • 이유: 텍스트로 짧은 비디오 클립을 생성합니다.

  • 방법: AI로 생성하기 -> 비디오… 를 선택하고 프롬프트를 입력한 후 생성하세요.

  • 세부 정보: WAN 비디오 생성 모델과 함께 ``comfyui/txt2video-svd.json``을 사용합니다.

사운드… (txt2audio-stable-open)

  • 이유: 텍스트 프롬프트로 비음악 오디오를 생성합니다.

  • 방법: AI로 생성하기 -> 사운드… 를 선택하고 프롬프트를 입력한 후 생성하세요.

  • 세부 정보: Stable Audio Open 모델과 함께 ``comfyui/txt2audio-stable-open.json``을 사용합니다.

음악… (txt2music-ace-step)

  • 이유: 스타일/태그(및 선택적 가사)로 음악을 생성합니다.

  • 방법: AI로 생성하기 -> 음악… 를 선택하고 프롬프트 텍스트를 입력한 후 생성하세요.

  • 세부 정보: Ace-Step 1.5 체크포인트와 함께 ``comfyui/txt2music-ace-step.json``을 사용합니다.

AI로 향상하기

이미지 스타일 변경… (img2img-basic)

  • 이유: 원본 구성을 유지하면서 기존 이미지를 재스타일링합니다.

  • 방법: 이미지에서 AI로 향상하기 를 선택하고 스타일 프롬프트를 입력한 후 생성하세요.

  • 세부 정보: ``sd_xl_base_1.0.safetensors``와 함께 ``comfyui/img2img-basic.json``을 사용합니다.

이미지에서 비디오로… (img2video-svd)

  • 이유: 정지 이미지를 생성된 비디오 샷으로 변환합니다.

  • 방법: 이미지에서 AI로 향상하기 를 선택하고 프롬프트 지침을 제공한 후 생성하세요.

  • 세부 정보: WAN 이미지-비디오 모델과 함께 ``comfyui/img2video-svd.json``을 사용합니다.

비디오 스타일 변경… (video2video-basic)

  • 이유: 원본 비디오에 새로운 시각적 스타일을 적용합니다.

  • 방법: 비디오에서 AI로 향상하기 를 선택하고 스타일 프롬프트를 입력한 후 생성하세요.

  • 세부 정보: ``sd_xl_base_1.0.safetensors``와 함께 ``comfyui/video2video-basic.json``을 사용합니다.

해상도 향상 (이미지) (upscale-realesrgan-x4)

  • 이유: 저해상도 이미지를 업스케일합니다.

  • 방법: 이미지에서 AI로 향상하기 를 선택하고 해상도 향상을 선택한 후 생성하세요.

  • 세부 정보: ``RealESRGAN_x4plus.safetensors``와 함께 ``comfyui/upscale-realesrgan-x4.json``을 사용합니다.

해상도 향상 (비디오) (video-upscale-gan)

  • 이유: 더 높은 명확한 디테일을 위해 비디오 프레임을 업스케일합니다.

  • 방법: 비디오에서 AI로 향상하기 를 선택하고 해상도 향상을 선택한 후 생성하세요.

  • 세부 정보: ``RealESRGAN_x4plus.safetensors``와 함께 ``comfyui/video-upscale-gan.json``을 사용합니다.

부드러운 모션 (2배 프레임 속도) (video-frame-interpolation-rife2x)

  • 이유: 더 부드러운 모션을 위해 프레임 속도를 증가시킵니다.

  • 방법: 비디오에서 AI로 향상하기 를 선택하고 부드러운 모션을 선택한 후 생성하세요.

  • 세부 정보: ``rife47.pth``와 함께 ``comfyui/video-frame-interpolation-rife2x.json``을 사용합니다.

장면 분할 (video-segment-scenes-transnet)

  • 이유: 장면 변화를 자동으로 감지하고 긴 클립을 여러 구간으로 분할합니다.

  • 방법: 비디오에서 AI로 향상하기 를 선택하고 장면 분할을 선택한 후 생성하세요.

  • 세부 정보: TransNetV2와 함께 ``comfyui/video-segment-scenes-transnet.json``을 사용합니다.

음성에서 자막 추가 (video-whisper-srt)

  • 이유: 음성을 자막/캡션 파일로 전사합니다.

  • 방법: 비디오에서 Enhance with AI 를 선택하고, 자막을 선택한 후 생성합니다.

  • 세부 정보: ``comfyui/video-whisper-srt.json``을 사용하고 SRT 출력을 생성합니다.

트래킹 워크플로우 (SAM2)

이 워크플로우들은 동일한 영역/트래킹 입력 흐름을 사용하며 트래킹 컨텍스트 메뉴에 그룹화되어 있습니다.

블러… (이미지) (image-blur-anything-sam2)

  • 이유: 정지 이미지에서 선택한 대상 영역을 흐리게 처리합니다.

  • 방법: 대상의 점/사각형을 선택한 후 생성합니다.

  • 세부 정보: SAM2 이미지 분할과 함께 ``comfyui/image-blur-anything-sam2.json``을 사용합니다.

하이라이트… (이미지) (image-highlight-anything-sam2)

  • 이유: 정지 이미지에서 선택한 대상 영역을 강조합니다.

  • 방법: 대상의 점/사각형을 선택한 후 생성합니다.

  • 세부 정보: SAM2 이미지 분할과 함께 ``comfyui/image-highlight-anything-sam2.json``을 사용합니다.

마스크… (이미지) (image-mask-anything-sam2)

  • 이유: 선택한 대상 영역에 대한 이미지 마스크를 생성합니다.

  • 방법: 대상의 점/사각형을 선택한 후 생성합니다.

  • 세부 정보: SAM2 이미지 분할과 함께 ``comfyui/image-mask-anything-sam2.json``을 사용합니다.

블러… (비디오) (video-blur-anything-sam2)

  • 이유: 비디오에서 움직이는 대상을 추적하고 흐리게 처리합니다.

  • 방법: 영역 화면에서 대상/배경을 표시한 후 생성합니다.

  • 세부 정보: SAM2 비디오 추적과 함께 ``comfyui/video-blur-anything-sam2.json``을 사용합니다.

하이라이트… (비디오) (video-highlight-anything-sam2)

  • 이유: 비디오에서 움직이는 대상을 추적하고 강조합니다.

  • 방법: 영역 화면에서 대상/배경을 표시한 후 생성합니다.

  • 세부 정보: SAM2 비디오 추적과 함께 ``comfyui/video-highlight-anything-sam2.json``을 사용합니다.

마스크… (비디오) (video-mask-anything-sam2)

  • 이유: 움직이는 대상을 따라가는 애니메이션 마스크를 생성합니다.

  • 방법: 영역 화면에서 대상/배경을 표시한 후 생성합니다.

  • 세부 정보: SAM2 비디오 추적과 함께 ``comfyui/video-mask-anything-sam2.json``을 사용합니다.

초보자를 위한 시작점

이 도구들이 처음이라면, 다음부터 시작하세요:

  1. Create with AI -> Image

  2. Enhance with AI -> Increase Resolution

  3. Enhance with AI -> Smooth Motion

  4. Enhance with AI -> Split into Scenes

  5. Enhance with AI -> Add Captions

문제 해결

AI 메뉴가 나타나지 않거나 작업이 즉시 실패하는 경우:

  1. ComfyUI가 실행 중이며 설정된 URL에서 접근 가능한지 확인하세요.

  2. 필요한 모델이 ComfyUI 환경에 존재하는지 확인하세요.

  3. 선택한 워크플로우에 필요한 커스텀 노드 패키지가 설치되어 있는지 확인하세요.

  4. 긴 클립의 경우 배치/청크 크기를 줄이세요.

  5. 먼저 짧은 클립이나 정지 이미지로 다시 테스트하세요.

일반적인 성능 및 캐시 조정에 대해서는 환경 설정 와 재생 를 참조하세요.