មេរៀនរងទី 1តារាងភ្ជាប់ផ្នែក៖ pub/sub, event sourcing, materialized views, និង micro-batch ធៀបនឹង continuous integrationផ្នែកនេះពន្យល់ពីរបៀបដែលផ្នែកដែលចែកចាយធ្វើអន្តរកម្មដោយប្រើ pub/sub, event sourcing, និង materialized views។ អ្នកនឹងប្រៀបធៀប micro-batch និងការហូរបន្ត និងរៀនជ្រើសរើសតារាងសម្រាប់ភាពជឿជាក់និងការពន្យារពេល។
សារដែលមិនភ្ជាប់ផ្នែក pub/subEvent sourcing សម្រាប់ស្ថានភាពប្រព័ន្ធដែលមិនផ្លាស់ប្តូរMaterialized views សម្រាប់ម៉ូដែលអានរហ័សMicro-batch ធៀបនឹង pipeline បន្តការដំណើរការដែលហេតុការណ៍តែមួយ និង idempotentមេរៀនរងទី 2ម៉ាស៊ីនដំណើរការស្ទ្រីម៖ Kafka Streams, Flink, Spark Structured Streaming, និង event-time semanticsផ្នែកនេះស្វែងយល់ពីម៉ាស៊ីនស្ទ្រីមដូចជា Kafka Streams, Flink, និង Spark Structured Streaming។ អ្នកនឹងរៀន event-time semantics, ការដំណើរការដែលមានស្ថានភាព និងការធានាហេតុការណ៍តែមួយសម្រាប់ pipeline ពេលវេលាជាក់ស្តែងដ៏រឹងមាំ។
ការរចនា topology របស់ Kafka StreamsApache Flink ការដំណើរការស្ទ្រីមដែលមានស្ថានភាពគំនិត Spark Structured StreamingEvent-time, ingestion-time, និង processing-timeWatermarks, lateness, និង windowingមេរៀនរងទី 3គោលការណ៍ពង្រីក៖ sharding, partitioning, auto-scaling, និងការគ្រប់គ្រង backpressureផ្នែកនេះគ្របដណ្តប់គោលការណ៍ពង្រីកសម្រាប់វេទិកាទិន្នន័យដែលចែកចាយ រួមទាំង sharding, partitioning, auto-scaling, និង backpressure។ អ្នកនឹងរៀនរចនាសមត្ថភាព ជៀសវាង hotspots និងការពារប្រព័ន្ធក្រោមសំណើ។
យុទ្ធសាស្ត្រការបែងចែកទិន្នន័យ sharding និង routingកូនសោ partitioning និងការជៀសវាង hotspotការពង្រីកផ្តេកធៀបនឹងបញ្ឈរគោលនយោបាយ auto-scaling និងសញ្ញាយុទ្ធសាស្ត្រ backpressure និង load sheddingមេរៀនរងទី 4ការដំណើរការកញ្ចប់និងការសម្របសម្រួល៖ Airflow, Dagster, Luigi, និងតារាងការណែនាំការងារផ្នែកនេះពន្យល់ពីការដំណើរការកញ្ចប់និងការសម្របសម្រួលសម្រាប់វេទិកាទិន្នន័យដែលចែកចាយ។ អ្នកនឹងប្រៀបធៀប Airflow, Dagster, និង Luigi, រចនា DAGs, គ្រប់គ្រងការពឹងផ្អែក និងអនុវត្តតារាងការណែនាំនិងការព្យាយាមឡើងវិញសម្រាប់ភាពជឿជាក់។
ការរចនា DAGs និងការពឹងផ្អែកភារកិច្ចគំនិត Airflow និងការអនុវត្តល្អបំផុតDagster និង Luigi ម៉ូដែលស្ថាបត្យកម្មការណែនាំការងារ, SLAs, និងប្រតិទិនការព្យាយាមឡើងវិញ, backfills, និងការគ្រប់គ្រងបរាជ័យមេរៀនរងទី 5ស្រទាប់សេវាកម្មនិង BI៖ ឃ្លាំងវិភាគ, OLAP cubes, feature stores, និង API ពេលទាបផ្នែកនេះផ្តោតលើស្រទាប់សេវាកម្មនិង BI ដែលបើកទិន្នន័យទៅកាន់អ្នកប្រើប្រាស់និងកម្មវិធី។ អ្នកនឹងរចនាឃ្លាំងវិភាគ, OLAP cubes, feature stores, និង API ពេលទាបដែលគាំទ្រផ្ទាំងត្រួតពិនិត្យនិងការរៀនម៉ាស៊ីន។
ម៉ូដែលវិមាត្រសម្រាប់របាយការណ៍ BIស្រទាប់អត្ថន័យនិងកាតាឡុកសូចនាករOLAP cubes និងតារាងប្រមូលការរចនា feature store សម្រាប់ប្រព័ន្ធ MLតារាង API វិភាគពេលទាបមេរៀនរងទី 6ការរចនាស្រទាប់ទទួលយក៖ message brokers, change data capture, SDKs, និង agentsផ្នែកនេះគ្របដណ្តប់ការរចនាស្រទាប់ទទួលយកដោយប្រើ brokers, CDC, SDKs, និង agents។ អ្នកនឹងរៀនរបៀបចាប់ហេតុការណ៍និងការផ្លាស់ប្តូរមូលដ្ឋានទិន្នន័យដោយអាចទុកចិត្ត គ្រប់គ្រង schema និងរចនាទម្រង់ទទួលយកដែលពង្រីកបាននិងអាចសង្កេត។
ការរចនាប្រមូលហេតុការណ៍និងកំណត់ហេតុប្រធានបទនិងការបែងចែក message brokerស្ថាបត្យកម្ម change data captureការប្រមូលទិន្នន័យដោយ SDK និង agentការវិវត្ត schema និងត្រូវគ្នាមេរៀនរងទី 7ស្រទាប់ផ្ទុកនិងឃ្លាំងទិន្នន័យ៖ object storage, data warehouses, OLAP engines, និង key-value storesផ្នែកនេះលម្អិតស្រទាប់ផ្ទុកសម្រាប់វេទិកាដែលចែកចាយ រួមទាំង object storage, ឃ្លាំងទិន្នន័យ, OLAP engines, និង key-value stores។ អ្នកនឹងរៀនការរៀបចំ ការសន្ជារ និងយុទ្ធសាស្ត្រវដ្តជីវិតដើម្បីសមតុល្យតម្លៃ ល្បឿន និងភាពជឿជាក់។
ការរៀបចំ data lake និងការរៀបចំឯកសារទម្រង់ columnar និង metadata តារាងការជ្រើសរើសការរចនាឃ្លាំងទិន្នន័យពពកOLAP engines និងម៉ូដែលផ្ទុក cubeតារាង key-value និង wide-column storeមេរៀនរងទី 8ទិដ្ឋភាពទូទៅនៃតារាងវេទិកាទិន្នន័យដែលចែកចាយ (lambda, kappa, lakehouse)ផ្នែកនេះណែនាំតារាង lambda, kappa, និង lakehouse សម្រាប់វេទិកាទិន្នន័យដែលចែកចាយ។ អ្នកនឹងប្រៀបធៀបស្ថាបត្យកម្មរបស់ពួកវា ការជិះដឹង និងផលប៉ះពាល់ការគ្រប់គ្រង ដើម្បីជ្រើសរើសតារាងត្រឹមត្រូវសម្រាប់បរិបទរបស់អ្នក។
ស្រទាប់និងហូរនៃស្ថាបត្យកម្ម Lambdaស្ថាបត្យកម្ម Kappa ជាមួយកំណត់ហេតុរួមការរចនា Lakehouse និងតារាង ACIDការជិះដឹងតារាងនិងកត្តាសម្រេចផ្លូវធ្វើការពីចម្ងាយនិងការធ្វើឱ្យទំនើបជាបណ្តើរៗ