كشفت جوجل عن ميزة جديدة في سلسلة هواتف Pixel 11 تهدف إلى تسهيل التواصل بين المستخدمين الصم وضعاف السمع والأشخاص الذين لا يجيدون لغة الإشارة، من خلال تحويل إشارات اليد إلى نص مكتوب بشكل مباشر باستخدام كاميرا الهاتف وتقنيات الذكاء الاصطناعي.
كاميرا الهاتف تترجم لغة الإشارة إلى نص.
تسعى جوجل من خلال هذه التقنية إلى جعل الهاتف وسيلة تساعد على إجراء محادثات أكثر طبيعية في المواقف اليومية، بدلاً من اضطرار الشخص الأصم إلى التوقف عن استخدام لغة الإشارة والاعتماد على الكتابة للتواصل مع الطرف الآخر.
تقنية مصممة مع التركيز على الخصوصية.
تولي جوجل اهتماماً كبيراً بخصوصية المستخدمين، إذ يعتمد النظام على معالجة نقاط الحركة الخاصة بجسم الشخص مباشرة على الهاتف، بدلاً من إرسال تسجيل الفيديو الخام إلى خوادم الشركة. حيث يتم إرسال البيانات المتعلقة بهذه النقاط للترجمة، بينما يتم التخلص من الفيديو الأصلي.
تشير جوجل ديب مايند إلى أن النموذج قد تم تدريبه على أكثر من 100 ألف ساعة من البيانات التي تغطي أكثر من 50 لغة إشارة. كما جرى اختبار أدائه مع مستخدمين يستخدمون اليد اليسرى، إضافة إلى حالات استخدام يد واحدة، وهي حالة قد تحدث عندما يمسك الشخص الهاتف باليد الأخرى.
عند الإطلاق، تدعم الميزة لغة الإشارة الأمريكية وتحويلها إلى الإنجليزية على هواتف Pixel 11، بينما تخطط جوجل لتوسيع دعم اللغات والأجهزة مستقبلاً.
توضح جوجل أن ترجمة لغة الإشارة تختلف عن ترجمة الكلام، لأن لغات الإشارة لها قواعد ومفردات مستقلة ولا تعتمد على تحويل الكلمات بشكل حرفي. لذلك سيكون الاختبار الحقيقي للميزة هو مدى قدرتها على التعامل مع المحادثات السريعة والطبيعية وفي ظروف الإضاءة والاستخدام اليومية، وليس فقط في بيئات الاختبار المنظمة.
إذا نجحت التقنية في التعامل مع هذه الحالات بكفاءة، فقد تمثل خطوة مهمة نحو جعل الهواتف الذكية أدوات أكثر شمولاً، وتسهيل التواصل اليومي بين الصم والأشخاص الذين لا يعرفون لغة الإشارة.