هوش مصنوعی پیشرفته: ComfyUI

OpenShot می‌تواند به یک سرور محلی ComfyUI متصل شود و گردش‌های کاری هوش مصنوعی را از منوهای زمینه فایل‌های پروژه و جدول زمانی اجرا کند. این صفحه توضیح می‌دهد که این ابزارها چیستند، به چه سخت‌افزاری نیاز دارند و قالب‌های گردش کار داخلی در کجا زندگی می‌کنند.

هشدار

ویژگی‌های هوش مصنوعی در OpenShot آزمایشی هستند و نیاز به ایستگاه کاری پیشرفته دارند.

• این ابزارها برای لپ‌تاپ‌ها، دسکتاپ‌های میان‌رده یا سیستم‌های اقتصادی توصیه نمی‌شوند.

• شما باید یک سرور محلی ComfyUI را اجرا کنید.

• باید انتظار دانلود مدل‌ها، تنظیمات و رفع اشکال جریان کاری را داشته باشید.

حداقل سخت‌افزار پیشنهادی

قطعه	توصیه
کارت گرافیک	NVIDIA 5070 12GB یا بهتر (16-24GB VRAM به شدت ترجیح داده می شود)
پردازنده	پردازنده Ryzen 9 5900 یا معادل آن با چند هسته‌ای با فرکانس بالا
حافظه سیستم	۶۴ گیگابایت رم یا بیشتر
فضای ذخیره‌سازی	۲۰۰ گیگابایت فضای آزاد برای مدل‌ها، کش و خروجی‌های تولید شده
تجربه	آشنایی با نمودارها، مدل‌ها و وابستگی‌های گره‌ای ComfyUI

اگر سیستم شما پایین‌تر از این سطح باشد، کارها متوقف، شکست خورده و نتایج ناپایدار تولید خواهند کرد. اگر کارت گرافیک شما ۸ گیگابایت یا کمتر VRAM داشته باشد، هنگام اجرای این مدل‌ها با کمبود حافظه مواجه خواهید شد.

نصب و راه‌اندازی

قبل از امتحان هر جریان کاری هوش مصنوعی در OpenShot، از این مسیر راه‌اندازی سریع استفاده کنید:

1. ComfyUI را نصب کنید و تأیید کنید که به درستی اجرا می‌شود.

2. گره‌های سفارشی مورد نیاز را (در زیر فهرست شده) نصب کنید.

3. فایل‌های مدل مورد نیاز (در زیر فهرست شده) را در پوشه‌های مدل مربوطه دانلود کنید.

4. ComfyUI را راه اندازی کنید، سپس Edit->Preferences->Advanced را باز کنید و ComfyUI URL را تنظیم کنید.

5. روی Check کلیک کنید تا تأیید شود OpenShot به سرور دسترسی دارد.

برای جزئیات کامل نصب ComfyUI، به مخزن رسمی مراجعه کنید: ComfyUI on GitHub.

گره‌های سفارشی مورد نیاز

• ComfyUI-Frame-Interpolation

• ComfyUI-VideoHelperSuite

• ComfyUI-Video-Segmentation

• ComfyUI-Whisper

• OpenShot-ComfyUI

مدل‌ها / فایل‌های مورد نیاز

• ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

• ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

• ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

• ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

• ComfyUI/models/clip_vision/clip_vision_g.safetensors

• ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

• ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

• ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

• ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_small.pt

• ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

• ComfyUI/models/sam2/sam2_hiera_small.pt

• ComfyUI/models/stt/whisper/large-v3.pt

• ComfyUI/models/stt/whisper/medium.pt

• ComfyUI/models/text_encoders/t5-base.safetensors

• ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

• ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

• ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

• ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan2.2_vae.safetensors

• ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

آنچه کاربران در OpenShot می‌بینند

وقتی ComfyUI در دسترس است، OpenShot ابزارهای هوش مصنوعی را در منوهای زمینه‌ای نمایش می‌دهد:

• ایجاد با هوش مصنوعی برای ساخت دارایی‌های جدید

  

• بهبود با هوش مصنوعی (تصاویر) برای پردازش دارایی‌های تصویری

  

• بهبود با هوش مصنوعی (ویدیوها) برای پردازش دارایی‌های ویدیویی

  

فایل‌های تولید شده به Project Files با متن پیشرفت و نشان‌های صف اضافه می‌شوند. خروجی‌ها در مسیر .openshot_qt/comfyui-output/ ذخیره می‌شوند.

شروع یک پروژه جدید یا باز کردن یک پروژه موجود پوشه‌های کاری موقت AI در .openshot_qt را پاک می‌کند تا با صفحه‌ای تمیز شروع کنید. پروژه‌های ذخیره شده شما تحت تأثیر قرار نمی‌گیرند و هر دارایی که قبلاً در پوشه PROJECTNAME_Assets کپی شده باشد، در دایرکتوری همان پروژه باقی می‌ماند.

اگر ComfyUI در دسترس نباشد، OpenShot منوهای هوش مصنوعی را غیرفعال می کند. URL سرور را در Edit->Preferences->Advanced پیکربندی کنید، سپس از دکمه Check برای تست اتصال استفاده کنید.

قالب‌های جریان کاری

OpenShot الگوهای داخلی را از comfyui/ می خواند. همچنین الگوهای کاربر سفارشی را از ~/.openshot_qt/comfyui/ بارگیری می کند.

برای افزودن جریان کاری خود:

1. در ComfyUI، برگه جریان کاری مورد نظر خود را باز کنید.

2. گزینه Export (API) را انتخاب کنید تا جریان کاری را به صورت فایل *.json ذخیره کنید.

3. آن فایل JSON را در ~/.openshot_qt/comfyui/ کپی کنید.

4. OpenShot را مجدداً راه‌اندازی کنید یا در صورت نیاز پروژه را دوباره باز کنید.

OpenShot به‌طور خودکار جریان کاری را بارگذاری کرده و در منوی AI مناسب نمایش می‌دهد. وقتی آن را از OpenShot فعال می‌کنید، فایل منبع انتخاب شده به جریان کاری ارسال می‌شود و خروجی از گره نهایی جریان کاری به Project Files وارد می‌شود.

OpenShot همچنین یک فایل .openshot_qt/comfyui/debug.json برای کاربران پیشرفته می‌نویسد که می‌خواهند درخواست دقیق ارسال شده به ComfyUI را بررسی کنند.

کادر گفتگوی عملیات AI

هر دو Create with AI و Enhance with AI همان کادر گفتگوی تولید را باز می‌کنند.

چرا این کادر گفتگو مهم است:

• تمام ورودی‌های AI را در یک مکان نگه می‌دارد.

• قبل از قرار دادن کار در صف، فیلدهای ضروری را اعتبارسنجی می‌کند.

• اجازه می‌دهد قبل از اجرای پرهزینه، اعلان‌های ردیابی را تنظیم کنید.

کارهایی که می‌توانید در این کادر گفتگو انجام دهید:

• جریان کاری/عملیات را انتخاب کنید.

• متن درخواست را وارد کنید.

• پیش‌نمایش فایل منبع انتخاب شده (برای جریان‌های کاری بهبود).

• نام خروجی برای رسانه تولید شده را تنظیم کنید.

• نقاط/مستطیل‌های ردیابی را برای جریان‌های کاری ردیابی فراهم کنید.

• کار را با Generate شروع کنید یا با Cancel ببندید.

ردیابی (ماسک، تار کردن، برجسته‌سازی)

جریان‌های کاری ردیابی (Blur...، Highlight...، Mask...) از صفحه منطقه‌ای استفاده می‌کنند که در آن مشخص می‌کنید چه چیزی را شامل و چه چیزی را نادیده بگیرید.

چرا این مهم است

ردیابی کمک می‌کند تا افکت شما در طول زمان به یک سوژه متحرک متصل بماند. به عنوان مثال، می‌توانید یک صورت را تار کنید، یک بازیکن را برجسته کنید یا یک ماسک تمیز ایجاد کنید که همان شیء را در فریم‌های متعدد دنبال می‌کند.

نمادهای ردیابی

نماد / نشانگر	معنی
نقطه آبی	مختصات ردیابی مثبت (نقطه شروع پیش‌زمینه/سوژه).
نقطه قرمز	مختصات ردیابی منفی (نقطه شروع پس‌زمینه/حذف).
مستطیل آبی	نقطه شروع منطقه مثبت (اشاره کلی به سوژه).
مستطیل قرمز	نقطه شروع منطقه منفی (اشاره کلی به حذف).
حذف نماد	تمام نقاط شروع ردیابی فعلی (نقاط/مستطیل‌ها) را پاک کنید و دوباره شروع کنید.

نحوه کار ردیابی

OpenShot نشانگرهای مثبت و منفی شما را به عنوان مختصات شروع به مدل ردیابی ارسال می‌کند که برای سوژه ماسک می‌سازد و سپس آن را در طول زمان دنبال می‌کند. نقاط شروع بهتر معمولاً ماسک‌های تمیزتر و انحراف کمتری ایجاد می‌کنند. [sam2]

نحوه استفاده از آن

1. یک فریم را انتخاب کنید که سوژه به وضوح قابل مشاهده باشد.

2. با یک نقطه آبی روی سوژه شروع کنید.

3. فقط در صورت نیاز نقاط قرمز را روی پس‌زمینه نزدیک اضافه کنید.

4. وقتی به انتخاب گسترده سریع‌تر نیاز دارید، مستطیل اضافه کنید.

5. وقتی حرکت/شکل تغییر می‌کند، در فریم‌های اضافی تکرار کنید.

تنظیم در طول زمان (لغزنده فریم):

• لغزنده فریم را به لحظات مختلف در کلیپ حرکت دهید.

• در فریم‌هایی که ردیابی شروع به انحراف می‌کند، نقاط/مستطیل‌ها را اضافه یا تنظیم کنید.

• نقاط شروع اضافی را فقط در صورت نیاز استفاده کنید، به ویژه در موارد پوشیدگی، حرکت سریع یا تغییرات عمده شکل.

خروجی پیش‌نمایش ماسک (از این فرآیند ردیابی):

بهترین روش‌ها

• ابتدا از یک کلیپ آزمایشی کوتاه استفاده کنید.

• ساده شروع کنید: یک نقطه آبی معمولاً کافی است.

• فقط در جایی که ردیابی شکست می‌خورد، نقاط بیشتری اضافه کنید.

• در صورت نیاز، مجموعه‌ای دقیق‌تر از نقاط مثبت/منفی و مستطیل‌ها اضافه کنید.

• نقاط مثبت و منفی را به‌وضوح جدا نگه دارید.

• اگر ردیابی به هم ریخت، از آیکون حذف استفاده کنید و با نقاط شروع تمیزتر دوباره شروع کنید.

[sam2]

پروژه SAM2 (مدل بخش‌بندی هر چیزی ۲): facebookresearch/sam2

صف کارها، پیشرفت و لغو

پس از کلیک روی تولید، درخواست در صف کارهای هوش مصنوعی OpenShot قرار می‌گیرد و اجرا می‌شود.

• پیشرفت در فایل‌های پروژه (نشان‌ها و متن وضعیت) نمایش داده می‌شود.

• خروجی‌های تکمیل‌شده به فایل‌های پروژه وارد می‌شوند.

• کارهای فعال را می توان با کلیک راست روی فایل پروژه تولید شده با نوار پیشرفت و انتخاب Cancel Job لغو کرد.

• خروجی‌ها در مسیر .openshot_qt/comfyui-output/ ذخیره می‌شوند.

جریان‌های کاری JSON داخلی

بخش‌های زیر مستقیماً به قالب‌های JSON داخلی در comfyui/ نگاشت می‌شوند. هر بخش فرعی توضیح می دهد که چرا ممکن است از آن استفاده کنید، نحوه اجرای آن و جزئیات کلیدی.

ایجاد با هوش مصنوعی

تصویر... (txt2img-basic)

• چرا: تولید تصاویر ثابت از متن ورودی.

• چگونه: انتخاب کنید ایجاد با هوش مصنوعی -> تصویر...، متن ورودی را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/txt2img-basic.json با sd_xl_base_1.0.safetensors استفاده می کند.

ویدئو... (txt2video-svd)

• چرا: تولید کلیپ‌های کوتاه ویدئویی از متن.

• چگونه: انتخاب کنید ایجاد با هوش مصنوعی -> ویدئو...، متن ورودی را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/txt2video-svd.json با مدل های تولید ویدیوی WAN استفاده می کند.

صدا... (txt2audio-stable-open)

• چرا: تولید صدای غیرموسیقیایی از متن ورودی.

• چگونه: انتخاب کنید ایجاد با هوش مصنوعی -> صدا...، متن ورودی را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/txt2audio-stable-open.json با مدل های باز صوتی پایدار استفاده می کند.

موسیقی... (txt2music-ace-step)

• چرا: تولید موسیقی از سبک/برچسب‌ها (و متن اختیاری).

• چگونه: انتخاب کنید ایجاد با هوش مصنوعی -> موسیقی...، متن ورودی را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/txt2music-ace-step.json با یک ایست بازرسی Ace-Step 1.5 استفاده می کند.

بهبود با هوش مصنوعی

تغییر سبک تصویر... (img2img-basic)

• چرا: تغییر سبک یک تصویر موجود در حالی که ترکیب اصلی حفظ می‌شود.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک تصویر، متن سبک را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/img2img-basic.json با sd_xl_base_1.0.safetensors استفاده می کند.

تصویر به ویدئو... (img2video-svd)

• چرا: تبدیل یک تصویر ثابت به یک ویدئوی تولید شده.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک تصویر، راهنمایی متنی وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/img2video-svd.json با مدل های WAN تصویر به ویدئو استفاده می کند.

تغییر سبک ویدئو... (video2video-basic)

• چرا: اعمال سبک بصری جدید به ویدئوی منبع.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک ویدئو، متن سبک را وارد کنید، سپس تولید کنید.

• جزئیات: از comfyui/video2video-basic.json با sd_xl_base_1.0.safetensors استفاده می کند.

افزایش وضوح (تصویر) (upscale-realesrgan-x4)

• چرا: افزایش وضوح تصاویر کم‌کیفیت.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک تصویر، گزینه افزایش وضوح را انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/upscale-realesrgan-x4.json با RealESRGAN_x4plus.safetensors استفاده می کند.

افزایش وضوح (ویدئو) (video-upscale-gan)

• چرا: افزایش وضوح فریم‌های ویدئو برای جزئیات ظاهری بیشتر.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک ویدئو، گزینه افزایش وضوح را انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-upscale-gan.json با RealESRGAN_x4plus.safetensors استفاده می کند.

حرکت نرم (دو برابر نرخ فریم) (video-frame-interpolation-rife2x)

• چرا: افزایش نرخ فریم برای حرکت روان‌تر درک شده.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک ویدئو، گزینه حرکت نرم را انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-frame-interpolation-rife2x.json با rife47.pth استفاده می کند.

تقسیم به صحنه‌ها (video-segment-scenes-transnet)

• چرا: تشخیص خودکار تغییرات صحنه و تقسیم کلیپ‌های بلند به بخش‌ها.

• چگونه: انتخاب کنید بهبود با هوش مصنوعی روی یک ویدئو، گزینه تقسیم صحنه را انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-segment-scenes-transnet.json با TransNetV2 استفاده می کند.

افزودن زیرنویس از گفتار (video-whisper-srt)

• چرا: تبدیل گفتار به فایل‌های زیرنویس/کپشن.

• چگونه: در یک ویدیو گزینه Enhance with AI را انتخاب کنید، کپشن‌ها را برگزینید، سپس تولید کنید.

• جزئیات: از comfyui/video-whisper-srt.json استفاده می کند و خروجی SRT را ایجاد می کند.

گردش‌های کاری ردیابی (SAM2)

این گردش‌های کاری از همان جریان ورودی منطقه/ردیابی استفاده می‌کنند و در منوی زمینه ردیابی گروه‌بندی شده‌اند.

تاری... (تصویر) (image-blur-anything-sam2)

• چرا: تاری نواحی انتخاب‌شده موضوع در یک تصویر ثابت.

• چگونه: نقاط/مستطیل‌ها را برای موضوع انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/image-blur-anything-sam2.json با تقسیم بندی تصویر SAM2 استفاده می کند.

برجسته‌سازی... (تصویر) (image-highlight-anything-sam2)

• چرا: تأکید بر نواحی انتخاب‌شده موضوع در یک تصویر ثابت.

• چگونه: نقاط/مستطیل‌ها را برای موضوع انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/image-highlight-anything-sam2.json با تقسیم بندی تصویر SAM2 استفاده می کند.

ماسک... (تصویر) (image-mask-anything-sam2)

• چرا: ایجاد ماسک تصویری برای نواحی انتخاب‌شده موضوع.

• چگونه: نقاط/مستطیل‌ها را برای موضوع انتخاب کنید، سپس تولید کنید.

• جزئیات: از comfyui/image-mask-anything-sam2.json با تقسیم بندی تصویر SAM2 استفاده می کند.

تاری... (ویدیو) (video-blur-anything-sam2)

• چرا: ردیابی و تاری موضوع متحرک در ویدیو.

• چگونه: موضوع/پس‌زمینه را در صفحه منطقه علامت‌گذاری کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-blur-anything-sam2.json با ردیابی ویدیوی SAM2 استفاده می کند.

برجسته‌سازی... (ویدیو) (video-highlight-anything-sam2)

• چرا: ردیابی و برجسته‌سازی موضوع متحرک در ویدیو.

• چگونه: موضوع/پس‌زمینه را در صفحه منطقه علامت‌گذاری کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-highlight-anything-sam2.json با ردیابی ویدیوی SAM2 استفاده می کند.

ماسک... (ویدیو) (video-mask-anything-sam2)

• چرا: ایجاد ماسک متحرک که موضوع متحرک را دنبال می‌کند.

• چگونه: موضوع/پس‌زمینه را در صفحه منطقه علامت‌گذاری کنید، سپس تولید کنید.

• جزئیات: از comfyui/video-mask-anything-sam2.json با ردیابی ویدیوی SAM2 استفاده می کند.

نقاط شروع برای کاربران جدید

اگر با این ابزارها تازه‌کار هستید، با موارد زیر شروع کنید:

1. Create with AI -> Image

2. Enhance with AI -> Increase Resolution

3. Enhance with AI -> Smooth Motion

4. Enhance with AI -> Split into Scenes

5. Enhance with AI -> Add Captions

عیب‌یابی

اگر منوهای AI ظاهر نمی‌شوند یا کارها فوراً شکست می‌خورند:

1. اطمینان حاصل کنید که ComfyUI در حال اجرا است و در آدرس پیکربندی شده قابل دسترسی است.

2. تأیید کنید که مدل‌های مورد نیاز در محیط ComfyUI شما وجود دارند.

3. تأیید کنید که بسته‌های گره سفارشی برای گردش کاری که انتخاب کرده‌اید نصب شده‌اند.

4. اندازه دسته/بخش‌ها را برای کلیپ‌های طولانی کاهش دهید.

5. ابتدا با یک کلیپ کوتاه یا تصویر ثابت دوباره آزمایش کنید.

برای بهینه‌سازی عملکرد کلی و تنظیم کش، به تنظیمات و پخش مراجعه کنید.