دورة التعرف على الكلام

الدرس 1 • الفونيمات والوحدات اللغوية

يقدم مفهوم الفونيمات والمقاطع والكلمات وعلم العروض كوحدات لغوية. ويوفر المفردات المستخدمة في جميع فصول التعرف اللاحقة.

الدرس 2 • الخصائص الصوتية للكلام

يفحص التردد والسعة وخصائص المجال الزمني لإشارات الكلام. يربط الإنتاج المادي بالسمات الصوتية القابلة للقياس.

الدرس 3 • كيف ينتج البشر الكلام

يغطي تشريح القناة الصوتية وعلم الأصوات النطقي. يؤسس الأساس المادي الذي يجب أن تراعيه جميع نماذج التعرف.

الدرس 1 • الضوضاء وما قبل المعالجة

يغطي الترشيح المسبق وكشف نشاط الصوت وتقليل الضوضاء. يضمن جودة السمات قبل إدخال البيانات في أي نموذج تعرف.

الدرس 2 • تحليل المجال الترددي

يطبق تحويل فورييه للكشف عن المحتوى الطيفي للكلام. يربط تحليل التردد باستخراج السمات المستخدم في الفصول اللاحقة.

الدرس 3 • استخراج ميزات MFCC

اشتقاق معاملات ميل للترددات الرأسية خطوة بخطوة. تعد MFCCs السمات اليدوية المهيمنة المستخدمة في أنظمة التعرف التقليدية.

الدرس 4 • بنوك المرشحات ومقياس ميل

يقدم مقاييس التردد الإدراكية وتصميم بنك المرشحات. يشرح سبب توافق مرشحات مقياس ميل مع الإدراك السمعي البشري.

الدرس 1 • مقدمة في النمذجة الإحصائية

يؤطر التعرف على الكلام كمسألة فك تشفير احتمالية. يؤسس نظرية بايز وتقدير الاحتمالية كركيزة نظرية.

الدرس 2 • نماذج الخليط الغوسي للصوتيات

يقدم GMMs كتوزيعات انبعاث ضمن HMMs. يشرح كيف تلتقط المخاليط تباين متجهات السمات الصوتية.

الدرس 3 • خوارزميات تدريب HMM

يغطي خوارزميات بوم-ويلش وفيتيربي للتدريب وفك التشفير. يربط الخطوات الخوارزمية بتقدير المعاملات العملي.

الدرس 4 • شرح نماذج ماركوف المخفية

يحدد حالات HMM والانتقالات واحتمالات الملاحظة. يتعلم المتدربون نمذجة متواليات الفونيمات كسلاسل ماركوف ذات حالات مخفية.

الدرس 1 • الشبكات التلافيفية في الكلام

يطبق CNNs على سمات الطيف الطيفي لاستخراج الأنماط المحلية. يوضح كيف يقلل الالتفاف من التباين الطيفي قبل نمذجة المتواليات.

الدرس 2 • التصنيف الزمني المتصل

يشرح خسارة CTC لمحاذاة المخرجات متغيرة الطول دون تجزئة صريحة. يتيح التدريب من البداية إلى النهاية مباشرة من الصوت إلى النص.

الدرس 3 • نماذج الانتباه والمحول

يقدم الانتباه الذاتي والانتباه متعدد الرؤوس ومشفر-مفكك المحول. يضع المحولات كأساس حالي متطور.

الدرس 4 • الشبكات المتكررة للمتواليات

يقدم RNNs و LSTMs و GRUs لنمذجة متواليات الكلام الزمنية. يشرح التدرجات المتلاشية وكيف تحلها الوحدات المُبوَّبة.

الدرس 1 • خطوط أنابيب التدريب والأدوات

يستعرض الأدوات مفتوحة المصدر ويصف تكوين سير عمل التدريب. يكتسب المتدربون خبرة عملية مع الأدوات المعيارية في المجال.

الدرس 2 • نظرة عامة على معمارية النظام

يحدد جميع مكونات نظام التعرف الحديث وتفاعلاتها. يوفر مخططًا يستخدمه المتدربون عند تجميع خطوط الأنابيب الكاملة.

الدرس 3 • جمع البيانات وإعدادها

يغطي تصميم المدونة وبروتوكولات التسجيل ومعايير النسخ. تحدد جودة إعداد البيانات أداء النموذج بشكل مباشر.

الدرس 4 • تحليل الأخطاء وتنقيحها

يعلم التشخيص المنهجي لأخطاء الاستبدال والحذف والإدراج. يوجه التحسين التكراري لدقة التعرف.

الدرس 1 • استراتيجيات متانة الضوضاء

يطبق التدريب متعدد الظروف وزيادة البيانات وتطبيع السمات. يبني نماذج تعمم عبر بيئات ضوضاء غير مألوفة.

الدرس 2 • طرق تكيف المتحدث

يغطي تكيف MLLR و MAP و i-vector لتخصيص النماذج. يقلل من معدلات الخطأ عند توفر بيانات محدودة خاصة بالمتحدث.

الدرس 3 • مصادر التباين في الكلام

يفهرس تباين المتحدث والقناة والبيئة الذي يقلل الدقة. يحفز تقنيات التكيف المقدمة في الأقسام اللاحقة.

الدرس 4 • التعلم بالنقل والضبط الدقيق

يستفيد من النماذج المدربة مسبقًا ويضبطها بدقة على المجالات المستهدفة. يقلل بشكل كبير من متطلبات البيانات والحوسبة للتطبيقات الجديدة.

الدرس 1 • النماذج متعددة اللغات وعبر اللغات

يستكشف التدريب المسبق متعدد اللغات والنقل عبر اللغات بدون أمثلة. يهيئ المتدربين لبناء أنظمة تعرف للغات ذات الموارد المحدودة.

الدرس 2 • نماذج Whisper ومتعددة المهام

يفحص تدريب Whisper ضعيف الإشراف على بيانات الويب واسعة النطاق. يغطي التكييف متعدد المهام للنسخ والترجمة والتعرف على اللغة.

الدرس 3 • مفاهيم التعلم الذاتي الإشراف

يشرح التعلم التبايني والتنبؤ المُقنَّع وتعلم التمثيل بدون تسميات. يثبت لماذا يُعتبر التعلم الذاتي الإشراف تحويليًا للكلام محدود الموارد.

الدرس 4 • الضبط الدقيق للنماذج المدربة مسبقًا

يوفر سير عمل عمليًا للضبط الدقيق للنماذج الكبيرة على مجموعات البيانات المخصصة. يغطي جدولة معدل التعلم وتراكم التدرج والتقييم.

الدرس 1 • التعرف بالتدفق وفي الوقت الفعلي

تكييف النماذج الدفعية للاستدلال بالتدفق من خلال المعالجة القائمة على الشرائح. يعالج زمن الاستجابة والنظر المسبق وإدارة الفرضيات الجزئية.

الدرس 2 • تحسين النماذج للاستدلال

يطبق التكميم والتقليم وتقطير المعرفة لتقليل حجم النموذج. يوازن بين الدقة وزمن الاستجابة لقيود النشر في الوقت الفعلي.

الدرس 3 • البنية التحتية للخدمة وواجهات API

يغطي الحاويات البرمجية وأطر خدمة النماذج وتصميم REST أو gRPC API. يتيح نشر خدمات التعرف بشكل قابل للتطوير وقابل للصيانة.

الدرس 4 • النشر على الحافة وعلى الأجهزة

نشر نماذج مضغوطة على الأجهزة المحمولة والمضمنة ذات الموارد المحدودة. يغطي التحسين المدرك للعتاد وفوائد الخصوصية على الجهاز.