OmniHuman-1: تحويل الصور الثابتة إلى فيديوهات حية باستخدام الذكاء الصناعي

OmniHuman-1 هو نموذج ذكاء صناعي طورته شركة ByteDance، الشركة الأم لتطبيق TikTok، الذي يتيح تحويل الصور الثابتة إلى فيديوهات حية بالكامل مع حركات واقعية وإيماءات طبيعية. تم تدريب النموذج على أكثر من 18,700 ساعة من الفيديوهات، وهو لا يقتصر على تحريك الصور الثابتة فقط، بل يجعلها حية باستخدام النصوص، الصوت، وإشارات حركات الجسم.

يمكنك زيارة الموقع الرسمي لـ OmniHuman-1 هنا.

ما هو OmniHuman-1؟

يعد OmniHuman إطارًا متعدد الأنماط للذكاء الصناعي، تم تطويره بواسطة باحثين في ByteDance. يتيح النموذج إنشاء فيديوهات بشرية واقعية استنادًا إلى صورة واحدة فقط وإشارة حركة مثل الصوت أو الفيديو. سواء كانت صورة بورتريه، نصف جسم، أو صورة للجسم بالكامل، يتعامل OmniHuman مع جميع الحالات بحركات حية، وإيماءات طبيعية، وانتباه مذهل للتفاصيل. في جوهره، يعد OmniHuman نموذجًا لتوليد الفيديوهات البشرية المعتمدة على أنماط متعددة. وهذا يعني أنه يدمج أنواعًا مختلفة من المدخلات، مثل الصور والمقاطع الصوتية، لإنشاء فيديوهات واقعية.

نظرة عامة على OmniHuman-1

الميزات الرئيسية لـ OmniHuman-1

• التكييف متعدد الأنماط للحركة: يجمع بين الصور وإشارات الحركة مثل الصوت أو الفيديو لإنشاء فيديوهات واقعية.
• التزامن الواقعي مع حركات الشفاه والإيماءات: يتطابق بدقة حركات الشفاه والإيماءات مع الكلام أو الموسيقى، مما يجعل الصور الرمزية تبدو طبيعية.
• دعم المدخلات المختلفة: يتعامل مع صور البورتريه، والنصف جسم، والجسم بالكامل بكل سلاسة.
• التنوع عبر الأبعاد: يمكنه توليد فيديوهات بأبعاد مختلفة لتلبية أنواع المحتوى المختلفة.
• إنتاج عالي الجودة: ينتج فيديوهات فوتوغرافية واقعية مع تعبيرات وجه دقيقة، وإيماءات، وتزامن ممتاز.
• الرسوم المتحركة ما وراء البشر: يمكن لـ OmniHuman-1 تحريك الرسوم المتحركة، والحيوانات، والأشياء الاصطناعية للتطبيقات الإبداعية.

أمثلة على تطبيقات OmniHuman-1

1. الغناء

يمكن لـ OmniHuman إحياء الموسيقى، سواء كانت أوبرا أو أغاني بوب. يقوم النموذج بالتقاط تفاصيل الموسيقى وترجمتها إلى حركات طبيعية للجسم وتعبيرات الوجه. على سبيل المثال:

• الإيماءات تتطابق مع إيقاع وأسلوب الأغنية.
• تعبيرات الوجه تتماشى مع مزاج الموسيقى.

2. الحديث

يتمتع OmniHuman بمهارة عالية في التعامل مع الإيماءات والتزامن مع حركات الشفاه. يقوم بتوليد صور رمزية حية تتحدث بشكل واقعي. تشمل التطبيقات:

• المؤثرين الافتراضيين.
• المحتوى التعليمي.
• المحتوى الترفيهي.

3. الرسوم المتحركة والأنمي

لا يقتصر OmniHuman على البشر فقط. يمكنه تحريك:

• الرسوم المتحركة.
• الحيوانات.
• الأشياء الاصطناعية.

يعد هذا التنوع مناسبًا للتطبيقات الإبداعية مثل الأفلام المتحركة أو الألعاب التفاعلية.

4. صور البورتريه والنصف جسم

يقدم OmniHuman نتائج حية حتى في السيناريوهات القريبة. سواء كانت ابتسامة خفيفة أو إيماءة درامية، يلتقط النموذج كل التفاصيل مع دقة مذهلة.

5. المدخلات الفيديو

يمكن لـ OmniHuman أيضًا محاكاة أفعال معينة من مقاطع الفيديو المرجعية. على سبيل المثال:

• استخدم فيديو لشخص يرقص كإشارة حركة، ثم يقوم OmniHuman بإنشاء فيديو لشخص آخر يؤدي نفس الرقص.
• دمج إشارات الصوت والفيديو لتحريك أجزاء الجسم المحددة، مما يخلق صورة رمزية تتحدث مع محاكاة للكلام والإيماءات.

السلبيات والإيجابيات

الإيجابيات:

• واقعية عالية.
• مدخلات متعددة ومتنوعة.
• وظائف متعددة الأنماط.
• تطبيقات واسعة.
• يعمل مع بيانات محدودة.

السلبيات:

• توفر محدود.
• يتطلب موارد حسابية ضخمة.
• يتطلب قوة معالجة كبيرة.

كيف تستخدم OmniHuman-1؟

1. الخطوة 1: المدخلات – تبدأ بصورة واحدة لشخص. يمكن أن تكون صورة شخصية، صورة مشهورة، أو حتى شخصية كرتونية. ثم تضيف إشارة حركة مثل مقطع صوتي لشخص يغني أو يتحدث.
2. الخطوة 2: المعالجة – يستخدم OmniHuman تقنية التكييف متعدد الأنماط للحركة. وهذا يسمح للنموذج بفهم وتحويل إشارات الحركة إلى حركات بشرية واقعية.
3. الخطوة 3: النتيجة – النتيجة هي فيديو عالي الجودة يظهر أن الشخص في الصورة يغني أو يتحدث أو يقوم بأفعال كما هو موضح في إشارة الحركة.

أسئلة شائعة

• ما هو OmniHuman-1 وكيف يعمل؟
• هل يمكن لـ OmniHuman إنشاء فيديوهات من أي نوع من الصور؟
• هل OmniHuman متاح للاستخدام العام؟
• ما هي الصناعات التي يمكن أن تستفيد من OmniHuman؟

المزيد من المعلومات هنا.