دورة Python لهندسة البيانات

الدرس 1 • تدفق التحكم والتكرار

طبّق الجمل الشرطية، والحلقات التكرارية، وفهم القوائم لمعالجة تسلسلات سجلات البيانات. يُترجم مباشرةً إلى منطق التحويل على مستوى الصف المستخدم في خطوط أنابيب ETL.

الدرس 2 • الدوال ومعالجة الأخطاء

عرّف دوال قابلة لإعادة الاستخدام مع وسائط وقيم افتراضية وقيم إرجاع، ثم تعامل مع الاستثناءات بسلاسة. يُتيح كتابة شيفرة خط أنابيب معيارية ومتسامحة مع الأخطاء.

الدرس 3 • أساسيات صياغة بايثون وأنواع البيانات

غطِّ المتغيرات، والعوامل، والأنواع المدمجة بما في ذلك السلاسل النصية، والأعداد الصحيحة، والأعداد العشرية، والقيم المنطقية. يُوفّر الأساس الصياغي لكتابة أي منطق لخط أنابيب بيانات.

الدرس 4 • المجموعات: القوائم، الصفوف، القواميس، المجموعات

استكشف أنواع المجموعات القابلة للتغيير وغير القابلة للتغيير ومقايضات أدائها. تُشكّل هذه الهياكل أساس معالجة البيانات في الذاكرة خلال المقرر.

الدرس 1 • الصيغ الثنائية: Parquet و Avro

اقرأ واكتب ملفات Parquet العمودية و Avro القائمة على الصف باستخدام مكتبات بايثون. هذه الصيغ هي المعيار في معماريات بحيرات البيانات الحديثة.

الدرس 2 • العمل مع الملفات النصية و CSV

افتح، واقرأ، واكتب الملفات النصية باستخدام مديري السياق، ثم حلّل ملفات CSV باستخدام المكتبة القياسية. يغطي تنسيق البيانات الأولية الأكثر شيوعًا في خطوط الأنابيب الدفعية.

الدرس 3 • عمليات نظام الملفات والمسارات

تنقّل بين الدلائل، وابحث عن الملفات باستخدام الأنماط، وأدر المسارات باستخدام وحدتي pathlib و os. يعمل على أتمتة خطوات اكتشاف الملفات الشائعة في مهام الاستيعاب الدفعي.

الدرس 1 • أساسيات DataFrames و Series

أنشئ DataFrames من القواميس، و CSV، و JSON، ثم افحص الهيكل وأنواع البيانات. يُشكّل الأساس لكل أعمال التحويل القائمة على Pandas.

الدرس 2 • التصفية، والفرز، والاختيار

طبّق الأقنعة البوليانية، ومحددات loc/iloc، وعمليات الفرز لعزل مجموعات البيانات الفرعية ذات الصلة. يدعم بشكل مباشر تصفية جودة البيانات في مراحل خط الأنابيب.

الدرس 3 • التجميع والتجميع بالتصنيف والجدولة المحورية

لخّص البيانات باستخدام عمليات groupby، agg، و pivot لإنتاج مخرجات تحليلية. يُتيح حساب المقاييس وإعداد التقارير ضمن مهام خط الأنابيب.

الدرس 4 • تنظيف البيانات وفرض النوع

تعامل مع القيم المفقودة، والتكرارات، والأنواع غير الصحيحة لإنتاج مجموعات بيانات نظيفة ومتسقة. التنظيف هو أكثر خطوة مستهلكة للوقت في خطوط أنابيب البيانات الواقعية.

الدرس 1 • العمل مع قواعد بيانات نوسكيول

اتصل بمخازن المستندات والمفاتيح-القيمة، ونفّذ عمليات CRUD، وخرّط النتائج إلى كائنات بايثون. يُوسّع اتصال خط الأنابيب إلى ما بعد الأنظمة العلائقية.

الدرس 2 • قواعد البيانات العلائقية مع SQLAlchemy

أنشئ اتصالات، واعكس المخططات الهيكلية، ونفّذ SQL مباشرة باستخدام واجهة API الأساسية لـ SQLAlchemy. يُوفّر طبقة وصول لقواعد البيانات لا تعتمد على نوع قاعدة البيانات لشيفرة خط الأنابيب.

الدرس 3 • تجميع الاتصالات وأفضل الممارسات

هيّئ مجمعات الاتصالات، وأدر بيانات الاعتماد بأمان، وتجنب الأنماط المعاكسة الشائعة. يضمن الموثوقية والأمان على مستوى الإنتاج في شيفرة الوصول إلى قاعدة البيانات.

الدرس 1 • تسجيل خط الأنابيب والمراقبة

جهّز خطوط الأنابيب بتسجيل منظم، ومقاييس، وتنبيهات لتمكين المراقبة التشغيلية. يحوّل النصوص البرمجية إلى عمليات قابلة للملاحظة وجاهزة للإنتاج.

الدرس 2 • منطق التحويل وقواعد الأعمال

نفّذ تعيينات الحقول، والأعمدة المشتقة، وقواعد التحقق من الصحة كدوال بايثون خالصة. يغلف منطق الأعمال في وحدات تحويل قابلة للاختبار وإعادة الاستخدام.

الدرس 3 • تحميل البيانات إلى الأنظمة المستهدفة

اكتب البيانات المحولة إلى قواعد البيانات، ومستودعات البيانات، والتخزين الكائني باستخدام موصلات بايثون. يُكمل خط الأنابيب بتوصيل البيانات النظيفة إلى وجهتها.

الدرس 4 • معمارية ETL وأنماط التصميم

افهم مراحل خط الأنابيب، وتدفق البيانات، وأنماط التصميم الشائعة مثل ELT ومعمارية الميداليات. يضع الإطار المفاهيمي لكل أعمال تنفيذ خط الأنابيب.

الدرس 1 • البنية التحتية كشيفرة لخطوط أنابيب البيانات

عرّف الموارد السحابية برمجيًا باستخدام أدوات IaC القائمة على بايثون لأتمتة إعداد البيئة. يُقلل من التجهيز اليدوي ويضمن بنية تحتية لخط الأنابيب قابلة لإعادة الإنتاج.

الدرس 2 • الاستيعاب المستند إلى الأحداث مع قوائم انتظار الرسائل

أنتج واستهلك الرسائل من قوائم الانتظار وموضوعات التدفق لتشغيل تنفيذ خط الأنابيب. يربط خطوط أنابيب بايثون بمعماريات البيانات المستندة إلى الأحداث والوقت الفعلي.

الدرس 3 • التفاعل مع مستودعات البيانات المدارة

اتصل بمستودعات البيانات السحابية عبر موصلات بايثون، ونفّذ الاستعلامات، وحمّل البيانات بكفاءة. يُتيح لخطوط أنابيب بايثون خدمة أعباء العمل التحليلية على نطاق واسع.

الدرس 1 • معالجة الأخطاء واستراتيجيات إعادة المحاولة

هيّئ عمليات إعادة المحاولة، والمهل الزمنية، وتنبيهات SLA لجعل خطوط الأنابيب المنسّقة مرنة في مواجهة الأعطال العابرة. يُقلل بشكل مباشر من التدخل اليدوي في بيئات الإنتاج.

الدرس 2 • DAG الديناميكي والمعلمة

أنشئ DAGs برمجيًا ومرّر معاملات وقت التشغيل إلى المهام لتنفيذ خط أنابيب مرن. يُتيح التنسيق القابل للتوسع للعديد من متغيرات خط الأنابيب المتشابهة.

الدرس 3 • مفاهيم التنسيق ومشهد الأدوات

افهم DAGs، وتبعيات المهام، ودور المنسقين في هندسة البيانات. يُوفّر الأساس المفاهيمي قبل تنفيذ شيفرة التنسيق.

الدرس 4 • بناء DAGs باستخدام Apache Airflow

عرّف DAGs، والعوامل، وتبعيات المهام في Airflow باستخدام بايثون لجدولة تشغيل خط الأنابيب. Airflow هو المنسق الأكثر انتشارًا في هندسة البيانات.

الدرس 1 • جودة الشيفرة والتغليف

فرض النمط باستخدام أدوات الـ linters، وتحقق من الأنواع باستخدام mypy، وغلّف شيفرة خط الأنابيب كوحدات بايثون قابلة للتثبيت. يرفع قابلية صيانة الشيفرة إلى معايير هندسة البرمجيات المهنية.

الدرس 2 • اختبارات الوحدة والتكامل لخطوط الأنابيب

اكتب اختبارات وحدة قائمة على pytest لدوال التحويل واختبارات تكامل لتفاعلات قاعدة البيانات. الاختبارات تمنع الانحدار وتتحقق من صحة خط الأنابيب.

الدرس 3 • المعالجة المتوازية والمتزامنة

طبّق أنماط تعدد العمليات، وتعدد الخيوط، والبرمجة غير المتزامنة لمهام خط الأنابيب المرتبطة بالإدخال/الإخراج والمعالج. يُقلل بشكل كبير من وقت تشغيل خط الأنابيب من البداية إلى النهاية.

الدرس 4 • تحليل الأداء وتحسين شيفرة بايثون

تحديد الاختناقات باستخدام أدوات التحليل وتطبيق تقنيات المتجهات والتقسيم والتخزين المؤقت لتحسين معدل النقل والإنتاجية، حيث يُعد تحسين الأداء أمرًا بالغ الأهمية لخطوط أنابيب البيانات واسعة النطاق.