الذكاء الاصطناعي المتقدم: ComfyUI

يستطيع OpenShot الاتصال بخادم ComfyUI محلي وتشغيل مسارات عمل الذكاء الاصطناعي من قوائم سياق ملفات المشروع والمخطط الزمني. تشرح هذه الصفحة ماهية هذه الأدوات، والأجهزة التي تتطلبها، وأين توجد قوالب سير العمل المضمنة.

تحذير

ميزات الذكاء الاصطناعي في OpenShot هي تجريبية وتتطلب محطة عمل عالية الأداء.

• لا يُنصح باستخدام هذه الأدوات على الحواسيب المحمولة، أو الحواسيب المكتبية متوسطة الأداء، أو الأنظمة الاقتصادية.

• يجب عليك تشغيل خادم محلي لـ ComfyUI.

• يجب أن تتوقع تنزيل النماذج، وأعمال الإعداد، واستكشاف أخطاء سير العمل وإصلاحها.

الحد الأدنى من الأجهزة الموصى بها

المكون	التوصية
وحدة معالجة الرسومات	NVIDIA 5070 بسعة 12 جيجابايت أو أفضل (يفضل بشدة ذاكرة VRAM سعة 16-24 جيجابايت)
وحدة المعالجة المركزية	وحدة معالجة Ryzen 9 5900 أو ما يعادلها متعددة النوى ذات سرعة عالية
ذاكرة النظام	ذاكرة وصول عشوائي 64 جيجابايت أو أكثر
التخزين	مساحة خالية 200 جيجابايت للنماذج، والتخزين المؤقت، والمخرجات المولدة
الخبرة	الراحة في التعامل مع مخططات ComfyUI، والنماذج، واعتمادات العقد

إذا كان نظامك أقل من هذه المستويات، ستتوقف الوظائف، وتفشل، وتنتج نتائج غير مستقرة. إذا كانت وحدة معالجة الرسومات لديك تحتوي على 8 جيجابايت أو أقل من ذاكرة الفيديو، فسوف تنفد الذاكرة عند تشغيل هذه النماذج.

التثبيت والإعداد

استخدم مسار الإعداد السريع هذا قبل تجربة أي سير عمل للذكاء الاصطناعي في OpenShot:

1. قم بتثبيت ComfyUI وتأكد من تشغيله بشكل صحيح.

2. قم بتثبيت العقد المخصصة المطلوبة (المدرجة أدناه).

3. قم بتنزيل ملفات النماذج المطلوبة (المدرجة أدناه) في مجلدات النماذج المطابقة.

4. ابدأ ComfyUI، ثم افتح Edit->Preferences->Advanced وقم بتعيين ComfyUI URL.

5. انقر على التحقق لتأكيد أن OpenShot يمكنه الوصول إلى الخادم.

للحصول على تفاصيل التثبيت الكاملة لـ ComfyUI، راجع المستودع الرسمي: ComfyUI على GitHub.

العقد المخصصة المطلوبة

• ComfyUI-Frame-Interpolation

• ComfyUI-VideoHelperSuite

• ComfyUI-Video-Segmentation

• ComfyUI-Whisper

• OpenShot-ComfyUI

النماذج / الملفات المطلوبة

• ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

• ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

• ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

• ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

• ComfyUI/models/clip_vision/clip_vision_g.safetensors

• ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

• ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

• ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

• ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_small.pt

• ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

• ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

• ComfyUI/models/sam2/sam2_hiera_small.pt

• ComfyUI/models/stt/whisper/large-v3.pt

• ComfyUI/models/stt/whisper/medium.pt

• ComfyUI/models/text_encoders/t5-base.safetensors

• ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

• ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

• ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

• ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan_2.1_vae.safetensors

• ComfyUI/models/vae/wan2.2_vae.safetensors

• ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

ما يراه المستخدمون في OpenShot

عندما يتوفر ComfyUI، يعرض OpenShot أدوات الذكاء الاصطناعي في قوائم السياق:

• إنشاء باستخدام الذكاء الاصطناعي لإنشاء أصول جديدة

  

• تحسين باستخدام الذكاء الاصطناعي (الصور) لمعالجة أصول الصور

  

• تحسين باستخدام الذكاء الاصطناعي (الفيديوهات) لمعالجة أصول الفيديو

  

يتم إضافة الملفات المُنشأة إلى ملفات المشروع مع نص التقدم وشارات الطابور. يتم حفظ المخرجات تحت .openshot_qt/comfyui-output/.

بدء مشروع جديد أو فتح مشروع موجود يمسح مجلدات العمل المؤقتة .openshot_qt الخاصة بالذكاء الاصطناعي لتبدأ من جديد. مشاريعك المحفوظة لا تتأثر، وأي أصول تم نسخها سابقًا إلى مجلد PROJECTNAME_Assets تبقى في دليل ذلك المشروع.

إذا لم يكن ComfyUI متاحًا، يقوم OpenShot بتعطيل AI القوائم. قم بتكوين عنوان URL للخادم في Edit->Preferences->Advanced، ثم استخدم الزر Check لاختبار الاتصال.

قوالب سير العمل

OpenShot يقرأ القوالب المضمنة من comfyui/. كما يقوم أيضًا بتحميل قوالب المستخدم المخصصة من ~/.openshot_qt/comfyui/.

لإضافة سير عمل خاص بك:

1. في ComfyUI، افتح تبويب سير العمل الذي تريد استخدامه.

2. اختر تصدير (API) لحفظ سير العمل كملف *.json.

3. انسخ ملف JSON هذا إلى ~/.openshot_qt/comfyui/.

4. أعد تشغيل OpenShot، أو أعد فتح المشروع إذا لزم الأمر.

سيقوم OpenShot بتحميل سير العمل تلقائيًا وعرضه في قائمة الذكاء الاصطناعي المناسبة. عند تشغيله من OpenShot، يتم تمرير ملف المصدر المحدد إلى سير العمل، ويتم استيراد المخرجات من العقدة النهائية لسير العمل إلى ملفات المشروع.

يكتب OpenShot أيضًا حمولة .openshot_qt/comfyui/debug.json للمستخدمين المتقدمين الذين يرغبون في فحص الطلب الدقيق المرسل إلى ComfyUI.

مربع حوار إجراء الذكاء الاصطناعي

يفتح كل من إنشاء بالذكاء الاصطناعي و تحسين بالذكاء الاصطناعي نفس مربع حوار التوليد.

لماذا هذا الحوار مهم:

• يحافظ على جميع مدخلات الذكاء الاصطناعي في مكان واحد.

• يتحقق من صحة الحقول المطلوبة قبل وضع المهمة في الطابور.

• يتيح لك إعداد مؤشرات التتبع قبل العمليات المكلفة.

ما يمكنك فعله في مربع الحوار:

• اختر سير العمل/الإجراء.

• أدخل نص الموجه.

• معاينة ملف المصدر المحدد (لسير العمل التحسيني).

• حدد اسم المخرجات للوسائط المُنشأة.

• قدم نقاط/مستطيلات التتبع لسير العمل التتبعي.

• ابدأ المهمة باستخدام توليد أو أغلق باستخدام إلغاء.

التتبع (قناع، تمويه، تمييز)

تستخدم سير عمل التتبع (تمويه...، تمييز...، قناع...) شاشة منطقة حيث تحدد ما يجب تضمينه وما يجب تجاهله.

لماذا هذا مهم

يساعد التتبع تأثيرك على البقاء مرتبطًا بموضوع متحرك مع مرور الوقت. على سبيل المثال، يمكنك تمويه وجه، تمييز لاعب، أو إنشاء قناع نظيف يتبع نفس الكائن عبر العديد من الإطارات.

أيقونات التتبع

الأيقونة / العلامة	المعنى
نقطة زرقاء	إحداثية تتبع إيجابية (نقطة بذرة المقدمة/الموضوع).
نقطة حمراء	إحداثية تتبع سلبية (نقطة بذرة الخلفية/الاستبعاد).
مستطيل أزرق	بذرة منطقة إيجابية (تلميح عام للموضوع).
مستطيل أحمر	بذرة منطقة سلبية (تلميح عام للاستبعاد).
حذف الأيقونة	امسح جميع بذور التتبع الحالية (نقاط/مستطيلات) وابدأ من جديد.

كيف يعمل التتبع

يرسل OpenShot علاماتك الإيجابية والسلبية كنقاط بذرة إلى نموذج التتبع، الذي يبني قناعًا للموضوع ثم يتبعه مع مرور الوقت. عادةً ما تنتج البذور الأفضل أقنعة أنظف وانحرافًا أقل. [sam2]

كيفية استخدامه

1. اختر إطارًا يكون فيه الموضوع واضحًا.

2. ابدأ بنقطة زرقاء واحدة على الموضوع.

3. أضف نقاطًا حمراء على الخلفية القريبة فقط إذا لزم الأمر.

4. أضف مستطيلات عندما تحتاج إلى تحديد واسع أسرع.

5. كرر على إطارات إضافية عند تغير الحركة/الشكل.

التعديل مع مرور الوقت (شريط تمرير الإطار):

• حرك شريط تمرير الإطار إلى لحظات مختلفة في المقطع.

• أضف أو عدل النقاط/المستطيلات على الإطارات التي يبدأ فيها التتبع بالانحراف.

• استخدم نقاط بذرة إضافية فقط حيثما دعت الحاجة، خاصةً عند الانسدادات، الحركة السريعة، أو التغيرات الكبيرة في الشكل.

معاينة مخرجات القناع (من عملية التتبع هذه):

أفضل الممارسات

• استخدم مقطع اختبار قصير أولاً.

• ابدأ ببساطة: غالبًا ما تكون نقطة زرقاء واحدة كافية.

• أضف المزيد من النقاط فقط حيث يفشل التتبع.

• إذا لزم الأمر، أضف مجموعة أكثر تفصيلاً من النقاط والمستطيلات الإيجابية/السلبية.

• حافظ على فصل النقاط الإيجابية والسلبية بوضوح.

• إذا أصبح التتبع فوضويًا، استخدم أيقونة الحذف وابدأ من جديد بنقاط بداية أنظف.

[sam2]

مشروع SAM2 (نموذج تقسيم أي شيء 2): facebookresearch/sam2

قائمة الانتظار، التقدم، والإلغاء

بعد النقر على توليد، يتم وضع الطلب في قائمة انتظار ويُنفذ في قائمة انتظار مهام الذكاء الاصطناعي في OpenShot.

• يُعرض التقدم في ملفات المشروع (الشارات ونص الحالة).

• يتم استيراد المخرجات المكتملة مرة أخرى إلى ملفات المشروع.

• Active jobs can be canceled by right-clicking the generated project file with the progress bar and choosing Cancel Job.

• يتم حفظ المخرجات تحت .openshot_qt/comfyui-output/.

سير العمل المدمج بصيغة JSON

The sections below map directly to built-in JSON templates in comfyui/. Each subsection describes why you might use it, how to run it, and key details.

الإنشاء باستخدام الذكاء الاصطناعي

صورة... (txt2img-basic)

• السبب: توليد صور ثابتة من نص توجيهي.

• كيفية: اختر الإنشاء باستخدام الذكاء الاصطناعي -> صورة...، أدخل نص التوجيه، ثم أنشئ.

• التفاصيل: يستخدم comfyui/txt2img-basic.json مع sd_xl_base_1.0.safetensors.

فيديو... (txt2video-svd)

• السبب: توليد مقاطع فيديو قصيرة من نص.

• كيفية: اختر الإنشاء باستخدام الذكاء الاصطناعي -> فيديو...، أدخل نص التوجيه، ثم أنشئ.

• تفاصيل: يستخدم comfyui/txt2video-svd.json مع نماذج إنشاء فيديو WAN.

صوت... (txt2audio-stable-open)

• السبب: توليد صوت غير موسيقي من نصوص توجيهية.

• كيفية: اختر الإنشاء باستخدام الذكاء الاصطناعي -> صوت...، أدخل نص التوجيه، ثم أنشئ.

• تفاصيل: يستخدم comfyui/txt2audio-stable-open.json مع نماذج مفتوحة للصوت الثابت.

موسيقى... (txt2music-ace-step)

• السبب: توليد موسيقى من نمط/علامات (وكلمات اختيارية).

• كيفية: اختر الإنشاء باستخدام الذكاء الاصطناعي -> موسيقى...، أدخل نص التوجيه، ثم أنشئ.

• تفاصيل: الاستخدامات comfyui/txt2music-ace-step.json مع نقطة تفتيش Ace-Step 1.5.

التحسين باستخدام الذكاء الاصطناعي

تغيير نمط الصورة... (img2img-basic)

• السبب: إعادة تصميم صورة موجودة مع الحفاظ على التكوين الأصلي.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على صورة، أدخل نص النمط، ثم أنشئ.

• التفاصيل: يستخدم comfyui/img2img-basic.json مع sd_xl_base_1.0.safetensors.

صورة إلى فيديو... (img2video-svd)

• السبب: تحويل صورة ثابتة إلى لقطة فيديو مولدة.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على صورة، قدم توجيه النص، ثم أنشئ.

• التفاصيل: يستخدم comfyui/img2video-svd.json مع نماذج WAN لتحويل الصورة إلى الفيديو.

تغيير نمط الفيديو... (video2video-basic)

• السبب: تطبيق نمط بصري جديد على فيديو المصدر.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على فيديو، أدخل نص النمط، ثم أنشئ.

• التفاصيل: يستخدم comfyui/video2video-basic.json مع sd_xl_base_1.0.safetensors.

زيادة الدقة (صورة) (upscale-realesrgan-x4)

• السبب: تكبير الصور منخفضة الدقة.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على صورة، اختر زيادة الدقة، ثم أنشئ.

• Details: Uses comfyui/upscale-realesrgan-x4.json with RealESRGAN_x4plus.safetensors.

زيادة الدقة (فيديو) (video-upscale-gan)

• السبب: تكبير إطارات الفيديو لتفاصيل ظاهرة أعلى.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على فيديو، اختر زيادة الدقة، ثم أنشئ.

• Details: Uses comfyui/video-upscale-gan.json with RealESRGAN_x4plus.safetensors.

حركة سلسة (معدل إطارات مضاعف 2x) (video-frame-interpolation-rife2x)

• السبب: زيادة معدل الإطارات لحركة أكثر سلاسة.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على فيديو، اختر الحركة السلسة، ثم أنشئ.

• Details: Uses comfyui/video-frame-interpolation-rife2x.json with rife47.pth.

التقسيم إلى مشاهد (video-segment-scenes-transnet)

• السبب: الكشف التلقائي عن تغييرات المشاهد وتقسيم المقاطع الطويلة إلى أجزاء.

• كيفية: اختر التحسين باستخدام الذكاء الاصطناعي على فيديو، اختر تقسيم المشاهد، ثم أنشئ.

• Details: Uses comfyui/video-segment-scenes-transnet.json with TransNetV2.

إضافة ترجمات من الكلام (video-whisper-srt)

• لماذا: نسخ الكلام إلى ملفات ترجمة/عناوين.

• كيف: اختر تحسين باستخدام الذكاء الاصطناعي على فيديو، حدد الترجمات، ثم أنشئ.

• تفاصيل: يستخدم comfyui/video-whisper-srt.json وينشئ إخراج SRT.

سير عمل التتبع (SAM2)

تستخدم هذه العمليات نفس تدفق إدخال المنطقة/التتبع ويتم تجميعها في قائمة سياق التتبع.

تمويه... (صورة) (image-blur-anything-sam2)

• لماذا: تمويه مناطق الموضوع المحددة في صورة ثابتة.

• كيف: اختر نقاط/مستطيلات للموضوع، ثم أنشئ.

• تفاصيل: يستخدم comfyui/image-blur-anything-sam2.json مع تجزئة الصور SAM2.

تسليط الضوء... (صورة) (image-highlight-anything-sam2)

• لماذا: إبراز مناطق الموضوع المحددة في صورة ثابتة.

• كيف: اختر نقاط/مستطيلات للموضوع، ثم أنشئ.

• تفاصيل: يستخدم comfyui/image-highlight-anything-sam2.json مع تجزئة الصور SAM2.

قناع... (صورة) (image-mask-anything-sam2)

• لماذا: إنشاء قناع صورة لمناطق الموضوع المحددة.

• كيف: اختر نقاط/مستطيلات للموضوع، ثم أنشئ.

• تفاصيل: يستخدم comfyui/image-mask-anything-sam2.json مع تجزئة صور SAM2.

تمويه... (فيديو) (video-blur-anything-sam2)

• لماذا: تتبع وتمويه موضوع متحرك في الفيديو.

• كيف: ضع علامة على الموضوع/الخلفية في شاشة المنطقة، ثم أنشئ.

• التفاصيل: يستخدم comfyui/video-blur-anything-sam2.json مع تتبع فيديو SAM2.

تسليط الضوء... (فيديو) (video-highlight-anything-sam2)

• لماذا: تتبع وتسليط الضوء على موضوع متحرك في الفيديو.

• كيف: ضع علامة على الموضوع/الخلفية في شاشة المنطقة، ثم أنشئ.

• تفاصيل: يستخدم comfyui/video-highlight-anything-sam2.json مع تتبع فيديو SAM2.

قناع... (فيديو) (video-mask-anything-sam2)

• لماذا: إنشاء قناع متحرك يتبع موضوعًا متحركًا.

• كيف: ضع علامة على الموضوع/الخلفية في شاشة المنطقة، ثم أنشئ.

• تفاصيل: يستخدم comfyui/video-mask-anything-sam2.json مع تتبع فيديو SAM2.

نقاط البداية للمستخدمين الجدد

إذا كنت جديدًا على هذه الأدوات، ابدأ بـ:

1. إنشاء باستخدام الذكاء الاصطناعي -> صورة

2. تحسين باستخدام الذكاء الاصطناعي -> زيادة الدقة

3. تحسين باستخدام الذكاء الاصطناعي -> تحريك سلس

4. تحسين باستخدام الذكاء الاصطناعي -> تقسيم إلى مشاهد

5. تحسين باستخدام الذكاء الاصطناعي -> إضافة ترجمات

استكشاف الأخطاء وإصلاحها

إذا لم تظهر قوائم الذكاء الاصطناعي أو فشلت الوظائف فورًا:

1. تحقق من أن ComfyUI يعمل ويمكن الوصول إليه على عنوان URL المُعد.

2. تأكد من وجود النماذج المطلوبة في بيئة ComfyUI الخاصة بك.

3. تأكد من تثبيت حزم العقد المخصصة لسير العمل الذي اخترته.

4. قلل من حجم الدُفعات/القطع للمقاطع الطويلة.

5. أعد الاختبار أولاً بمقطع قصير أو صورة ثابتة.

لتحسين الأداء العام وضبط التخزين المؤقت، راجع التفضيلات و التشغيل.