دورة مهندس بنية البيانات الضخمة

الدرس 1 • طبقات التخزين ومتاجر البيانات: تخزين الكائنات، مستودعات البيانات، محركات OLAP، ومتاجر key-value

يوضح هذا القسم طبقات التخزين للمنصات الموزعة، بما في ذلك تخزين الكائنات، والمستودعات، ومحركات OLAP، ومتاجر key-value. ستتعلم التخطيط، والفهرسة، واستراتيجيات دورة الحياة لتوازن التكلفة والسرعة والتوثيق.

الدرس 2 • نظرة عامة على أنماط منصات البيانات الموزعة (lambda، kappa، lakehouse)

يقدم هذا القسم أنماط lambda، وkappa، ولakehouse لمنصات البيانات الموزعة. ستُقارن بين معمارياتها، وتكاليفها، وآثار الحوكمة لاختيار النمط المناسب لسياقك.

الدرس 3 • أنماط تكامل المكونات: pub/sub، event sourcing، materialized views، وmicro-batch مقابل التكامل المستمر

يشرح هذا القسم كيفية تفاعل المكونات الموزعة باستخدام pub/sub، وevent sourcing، والـmaterialized views. ستُقارن بين تدفقات micro-batch والتدفقات المستمرة، وتتعلم اختيار الأنماط للتوثيق والتأخير.

الدرس 4 • محركات معالجة التدفق: Kafka Streams، Flink، Spark Structured Streaming، ودلالات event-time

يستعرض هذا القسم محركات معالجة التدفق مثل Kafka Streams، وFlink، وSpark Structured Streaming. ستتعلم دلالات event-time، والمعالجة الحالية، وضمانات exactly-once لخطوط الأنابيب في الوقت الفعلي القوية.

الدرس 5 • مبادئ التوسعة: sharding، partitioning، auto-scaling، ومعالجة backpressure

يغطي هذا القسم مبادئ التوسعة لمنصات البيانات الموزعة، بما في ذلك sharding، وpartitioning، وauto-scaling، ومعالجة backpressure. ستتعلم تصميم السعة، وتجنب hotspots، وحماية الأنظمة تحت الحمل.

الدرس 6 • معالجة الدفعات والتنسيق: Airflow، Dagster، Luigi، وأنماط جدولة الوظائف

يشرح هذا القسم معالجة الدفعات والتنسيق لمنصات البيانات الموزعة. ستُقارن بين Airflow، وDagster، وLuigi، وتصمم DAGs، وتتعامل مع التبعيات، وتطبق أنماط الجدولة والإعادة للتوثيق.

الدرس 7 • طبقات التقديم وBI: مستودعات تحليلية، OLAP cubes، feature stores، وAPIs منخفضة التأخير

يركز هذا القسم على طبقات التقديم وBI التي تعرض البيانات للمستخدمين والتطبيقات. ستُصمم مستودعات تحليلية، وOLAP cubes، وfeature stores، وAPIs منخفضة التأخير التي تدعم لوحات التحكم والتعلم الآلي.

الدرس 1 • تنظيم منتجات البيانات: تصميم مدفوع بالمجال، مساحات أسماء مجموعات البيانات، فصل المنطقة/المستأجر، والانضمام عبر المجالات

استكشف كيفية تنظيم منتجات البيانات باستخدام تصميم مدفوع بالمجال. حدد مساحات أسماء مجموعات البيانات، وافصل المناطق والمستأجرين، وخطط للانضمام عبر المجالات مع الحفاظ على الملكية والأمان والاكتشاف.

الدرس 2 • خيارات التخزين الفيزيائي: متاجر كائنات متوافقة مع S3، صيغ Delta/Apache Iceberg/Parquet، عمودي مقابل صفي

قارن خيارات التخزين الفيزيائي للبيانات الكبيرة، بما في ذلك متاجر كائنات متوافقة مع S3 وصيغ الجداول مثل Delta وIceberg. افهم الصيغ العمودية مقابل الصفية، والضغط، وآثار ضبط الأداء.

الدرس 3 • ممارسات بيانات الوصف: schemas-on-read مقابل schemas-on-write، الإصدارات، ومعالجة تطور المخطط

افهم استراتيجيات بيانات الوصف لمنصات البيانات الكبيرة، مقارنة schema-on-read وschema-on-write. تعلم الإصدارات، وقواعد التوافق، وكيفية إدارة تطور المخطط بأمان عبر المنتجين والمستهلكين.

الدرس 4 • استراتيجيات التقسيم والـbucketing: قائمة على الزمن، قائمة على المجال، مفاتيح مركبة وتكاليفها

استكشف استراتيجيات التقسيم والـbucketing لجداول البيانات الكبيرة، مقارنة المفاتيح الزمنية، والمجالية، والمركبة. تعلم كيف تؤثر الخيارات على التكلفة، والانحراف، والملفات الصغيرة، وتأخير الاستعلام، والصيانة طويلة الأمد.

الدرس 5 • تصميم المخطط للمنتجات والمخزون: أبعاد متغيرة ببطء، تسلسلات الكتالوج، التوافر

تعلم كيفية نمذجة المنتجات والمخزون للتحليل والعمليات. استخدم الأبعاد المتغيرة ببطء، وتسلسلات الكتالوج، وسمات التوافر لدعم قرارات التسعير، والتسويق، والتلبية.

الدرس 6 • طبقات التخزين المنطقية: خام (landing)، مصمم/منظف، وجاهز للتقديم/المستهلك—الغرض ودورة الحياة

اكتشف كيفية هيكلة طبقات التخزين المنطقية من منطقة الهبوط الخام إلى المناطق المصممة والجاهزة للتقديم. تعلم الأغراض، وSLAs، والاحتفاظ، وكيفية تدفق البيانات بين الطبقات لدعم التحليل، والتعلم الآلي، وحالات الاستخدام التشغيلية.

الدرس 7 • تصميم المخطط للطلبات والمدفوعات: سلامة المعاملات، نماذج الأحداث مقابل الحالة، والـidempotency

صمم مخططات للطلبات والمدفوعات التي تحافظ على سلامة المعاملات. قارن بين نماذج الأحداث والحالة، وتعامل مع idempotency، وادعم التسوية، والإرجاع، والتقارير المالية اللاحقة.

الدرس 8 • تصميم المخطط لمجموعات البيانات الرئيسية: العملاء (الهوية، معالجة PII، سمات دورة الحياة)

صمم مخططات لمجموعات بيانات العملاء التي تتعامل مع الهوية، وPII، وسمات دورة الحياة. تعلم حل الهوية، وتتبع الموافقة، وكيفية دعم التخصيص مع الامتثال للوائح الخصوصية.

الدرس 1 • اعتبارات Idempotency وexactly-once: transactional sinks، معاملات Kafka، watermarking، والإزالة المكررة

افحص idempotency ودلالات exactly-once في خطوط الأنابيب. تعلم كيف تعمل transactional sinks، ومعاملات Kafka، وwatermarking، وأنماط deduplication معاً لتجنب العد المزدوج وضمان نتائج تحليلية متسقة.

الدرس 2 • الإثراء في الوقت الحقيقي والمعالجة الحالية: الانضمام مع متجر العميل/الملف الشخصي، النوافذ، التجميعات، ومعالجة البيانات المتأخرة

استكشف الإثراء في الوقت الحقيقي والمعالجة الحالية للتدفق. افهم كيفية دمج تدفقات الأحداث مع متاجر العملاء أو الملف الشخصي، وإدارة النوافذ والتجميعات، ومعالجة الأحداث المتأخرة وخارج الترتيب والمكررة في الإنتاج بشكل صحيح.

الدرس 3 • التسليم والاستهلاك في الوقت الحقيقي: materialized views، لوحات تحكم وقت حقيقي، التنبيه، وfeature stores

افهم كيفية تسليم بيانات الوقت الحقيقي للمستهلكين عبر materialized views، ولوحات التحكم، وأنظمة التنبيه، وfeature stores. تعلم أنماط تقديم الاستعلامات منخفضة التأخير مع الحفاظ على البيانات طازجة ومتسقة وفعالة التكلفة.

الدرس 4 • تصميم خط أنابيب clickstream وقت حقيقي: التجهيز، طبقات الجامع، Kafka/Event Hubs، خطوات معالجة التدفق

صمم خط أنابيب clickstream وقت حقيقي من البداية إلى النهاية. غطِّ التجهيز في تطبيقات الويب والجوال، وطبقات الجامع والحافة، ومواضيع Kafka أو Event Hubs، وخطوات معالجة التدفق اللازمة لبناء تغذيات تحليل سلوكية موثوقة.

الدرس 5 • خط أنابيب مبيعات يومية وهوامش: مصادر (الطلبات، المدفوعات، تكلفة المنتج)، التسوية، backfills، وجداول التقارير

يمشي هذا القسم عبر خط أنابيب مبيعات يومية وهوامش ملموس. تعلم كيفية دمج بيانات الطلبات، والمدفوعات، وتكلفة المنتج، وأداء التسوية وbackfills، ونشر جداول تقارير موثوقة يعتمد عليها فرق المالية والأعمال.

الدرس 6 • الملاحظة في خطوط الأنابيب: المقاييس، التتبع، SLAs، خطافات lineage، واستراتيجيات retry/backoff

تعلم ممارسات الملاحظة لخطوط أنابيب البيانات، بما في ذلك المقاييس، والتتبع، وSLAs، وخطافات lineage، واستراتيجيات retry/backoff القوية التي تساعد في كشف وتصحيح و حل حوادث الإنتاج بسرعة.

الدرس 7 • جودة البيانات في خطوط الأنابيب: التحقق، فحوصات المخطط، nulls والنطاقات، كشف الشذوذ، وأنماط الحجر الصحي

ركز على إدارة جودة البيانات في خطوط الأنابيب. استكشف قواعد التحقق، وفحوصات المخطط، وقيود null والنطاقات، وتقنيات كشف الشذوذ، وأنماط الحجر الصحي التي تعزل السجلات السيئة دون حظر تدفقات البيانات الحرجة.

الدرس 1 • الاحتفاظ، الحجز القانوني، وضوابط البيانات عبر الحدود: سياسات الاحتفاظ، التشويه الاسمي، وإقامة البيانات الإقليمية

تعلم كيفية تصميم استراتيجيات الاحتفاظ والحجز القانوني للبيانات الكبيرة. افهم الحذف المدفوع بالسياسة، والتشويه الاسمي، وضوابط الإقامة عبر الحدود التي ترضي المتطلبات التنظيمية مع الحفاظ على القيمة التحليلية والأعمال.

الدرس 2 • فرض السياسة: policy-as-code، طلبات الوصول الآلية، الموافقات، ومسارات التدقيق

تعلم كيفية التعبير عن سياسات الحوكمة ككود وفرضها. افهم محركات السياسة، والموافقات الآلية، وتدفقات الوصول، ومسارات التدقيق التي توفر ضوابط متسقة وقابلة للاختبار وقابلة للملاحظة عبر أدوات البيانات والبيئات.

الدرس 3 • الاستجابة للحوادث ومعالجة الاختراق: الكشف، الاحتواء، الطب الشرعي، وتدفقات الإخطار

دراسة كيفية التحضير لمعالجة حوادث الأمان في منصات البيانات. تعلم استراتيجيات الكشف، وكتيبات الاحتواء، والطب الشرعي على السجلات ومجموعات البيانات، وتدفقات الإخطار، وكيفية دمج دروس الحوادث في الهندسة المعمارية والسياسة.

الدرس 4 • المصادقة وإدارة الهوية: IAM، SSO، OAuth2، والهويات المتكاملة للخدمات والمستخدمين

تعلم كيفية تصميم أسس الهوية لمنصات البيانات الكبيرة باستخدام IAM، وSSO، وOAuth2، والتكامل. افهم أنماط الهويات البشرية والخدمية، ونظافة البيانات الاعتمادية، ودمج دلائل المؤسسة مع مزودي السحابة.

الدرس 5 • التشفير وإدارة المفاتيح: TLS للنقل، التشفير المغلف عند الراحة، أنماط KMS، وممارسات الدوران

افهم استراتيجيات التشفير لبيانات في النقل وعند الراحة في أنظمة البيانات الكبيرة. تعلم أنماط TLS، والتشفير المغلف، وتكامل KMS، وتصميم تسلسل المفاتيح، وسياسات الدوران، وكيفية توازن الأداء والتكلفة والامتثال.

الدرس 6 • كتالوج البيانات وlineage: أدوات الكتالوج، استخراج بيانات الوصف الآلي، التقاط lineage، وكتالوجات مجموعات البيانات القابلة للبحث

افهم كيف تدعم الكتالوجات وlineage الحوكمة في منصات البيانات الكبيرة. تعلم التقاط بيانات الوصف التقنية والأعمال، وبناء كتالوجات قابلة للبحث، وتتبع تدفقات البيانات، واستخدام lineage لتحليل التأثير والامتثال والاستجابة للحوادث.

الدرس 7 • اكتشاف ومعالجة PII: تصنيف آلي، التوكنة، الإخفاء، وتقنيات التشويه الاسمي

استكشف تقنيات اكتشاف ومعالجة PII في مجموعات البيانات الكبيرة. تعلم التصنيف الآلي، والتوكنة، والإخفاء، وأنماط التشويه الاسمي التي تحمي الأفراد مع تمكين التحليل والاختبار وأحمال التعلم الآلي.

الدرس 1 • اختبار الفوضى وهندسة المرونة: حقن الأخطاء، تمارين failover، وكتيبات التشغيل

يقدم هذا القسم اختبار الفوضى وهندسة المرونة لأنظمة البيانات. ستتعلم تقنيات حقن الأخطاء، وتمارين failover، وفرضيات الحالة الثابتة، وكيفية الحفاظ على كتيبات تشغيلية فعالة.

الدرس 2 • الاختبار والتحقق: اختبارات الوحدة للتحويلات، اختبارات التكامل، اختبارات عقود البيانات، وبيئات المسرح

يغطي هذا القسم استراتيجيات الاختبار التي تحمي جودة البيانات وموثوقية خطوط الأنابيب. ستتعلم اختبارات الوحدة للتحويلات، واختبارات التكامل، واختبارات عقود البيانات، وكيفية استخدام بيئات المسرح بأمان.

الدرس 3 • النسخ الاحتياطي والاسترداد من الكوارث: النسخ الاحتياطي لمتاجر الكائنات، الاسترداد في نقطة زمنية للمستودعات، تخطيط RPO/RTO

تعلم كيفية تصميم النسخ الاحتياطي والاسترداد من الكوارث لمنصات البيانات. نغطي النسخ الاحتياطي لتخزين الكائنات، والاسترداد في نقطة زمنية للمستودعات، وأهداف RPO/RTO، وكيفية اختبار وتوثيق إجراءات الاسترداد.

الدرس 4 • التوافر العالي وتحمل الأخطاء: استراتيجيات التكرار، أنماط multi-AZ وmulti-region

تعلم أنماط التوافر العالي وتحمل الأخطاء في منصات البيانات الكبيرة. نغطي استراتيجيات التكرار، وتصاميم multi-AZ وmulti-region، والحصص والإجماع، وتكاليف بين التكلفة والمرونة.

الدرس 5 • تخطيط السعة وتحسين التكلفة: سياسات دورة حياة التخزين، الضغط، الترقية، وضوابط تكلفة الاستعلام

يركز هذا القسم على تخطيط السعة وتحسين التكلفة لمنصات البيانات. ستقدر احتياجات التخزين والحوسبة، وتستخدم سياسات دورة الحياة، والضغط والترقية، وتطبق ضوابط تكلفة الاستعلام والميزانيات.

الدرس 6 • المراقبة والتنبيه: SLIs/SLOs الرئيسية لخطوط الأنابيب، لوحات التحكم، الفحوصات الاصطناعية، وتصعيد التنبيه

يشرح هذا القسم كيفية مراقبة خطوط أنابيب البيانات وبنية التحتية باستخدام SLIs وSLOs. ستُصمم لوحات التحكم، والفحوصات الاصطناعية، وتوجيه التنبيهات بحيث تُكتشف الحوادث مبكراً وتُصعد بفعالية.

الدرس 1 • المستودعات التحليلية ومحركات الاستعلام: Snowflake، BigQuery، Redshift، ClickHouse—اعتبارات التكلفة والتوازي

حلل المستودعات التحليلية ومحركات الاستعلام الرئيسية. قارن بين Snowflake، وBigQuery، وRedshift، وClickHouse في الأداء، والتوازي، والمرونة، ونماذج التكلفة لتصميم معماريات تحليلية قابلة للتوسعة وفعالة.

الدرس 2 • اعتبارات التكلفة، الأداء، والتشغيل: حسابات TCO، SLAs، وتوافق نظام بيئي المورد

افهم كيفية توازن التكلفة، والأداء، والعمليات لمنصات البيانات. تعلم نمذجة TCO، وتصميم SLA وSLO، وتخطيط السعة، وكيف تؤثر أنظمة المورد البيئية على الأدوات، والدعم، والاستدامة طويلة الأمد.

الدرس 3 • اختيار مجموعة سحابية أو مفتوحة المصدر: خدمات مدارة مقابل مستضافة ذاتياً واعتبارات الاقفال من المورد

تعلم كيفية الاختيار بين المدارة السحابية والمستضافة ذاتياً. قارن التكلفة، والسيطرة، والمخاطر، وتقييم الاقفال من المورد، وصمم معماريات محمولة باستخدام صيغ مفتوحة، وخدمات معيارية، واستراتيجيات متعددة السحابة.

الدرس 4 • وسطاء الرسائل وأدوات CDC: Kafka، Confluent، AWS Kinesis، Debezium، وتكاليف الإنتاجية والتأخير

راجع وسطاء الرسائل وأدوات CDC لحركة البيانات في الوقت الحقيقي. قارن بين Kafka، وConfluent، وAWS Kinesis، وDebezium في الإنتاجية، والتأخير، والمتانة، وملاءمة النظام البيئي لتصميم تدفقات تدفق وchange data capture قوية.

الدرس 5 • التخزين وصيغ الجداول: Delta Lake مقابل Apache Iceberg مقابل Hudi—الاتساق، الضغط، ومعالجة بيانات الوصف

قارن بين Delta Lake، وIceberg، وHudi لتخزين lakehouse. افهم صيغ الجداول، وضمانات ACID، والضغط، وتطور المخطط، ومعالجة بيانات الوصف لاختيار المحرك المناسب للاحتياجات التدفقية والدفعات والحوكمة.

الدرس 6 • معالجات التدفق وfeature stores: Flink، Spark، Feast، وأنماط خطوط ميزات ML

استكشف كيف تدعم معالجات التدفق وfeature stores التعلم الآلي في الوقت الحقيقي. تعلم أنماط Flink وSpark، ومفاهيم Feast، وتصميم خطوط ميزات منخفضة التأخير وموثوقة توازن الدقة والتكلفة والتعقيد التشغيلي.