مقدّمة في هندسة البيانات

 المدة: أسبوع واحد
المهارات المكتسبة:

• هياكل البيانات (Data Structures)
• طرق تخزين البيانات
• تعريف خطوط البيانات (Data Pipelines)
• البنية العامة لهندسة البيانات
• تعريف البيانات الضخمة
• الأنظمة الموزّعة

مخرجات التعلّم

ستتعرّف على دورة حياة البيانات والمصطلحات الأساسية لهندسة البيانات. كما ستتعرّف على الصورة الشاملة للعملية وعلى بنى البيانات الضخمة والمنصّات التي تحدّد متى تصبح البيانات “ضخمة”.

المهارات البرمجية لمهندسي البيانات

المدة: أسبوع واحد
المهارات المكتسبة:

• التعامل مع الملفات وإطارات البيانات DataFrames باستخدام Python
• التعرّف إلى البرمجة كائنية التوجّه (OOP) في Python
• نظام التشغيل Linux
• البرمجة النصّية Shell Scripting
• نشر التطبيقات باستخدام Docker
• أوامر Docker الأساسية

مخرجات التعلّم

ستُنمّي مهاراتك في Python وتتعلم كيف يستخدمها مهندسو البيانات في استخراج وتحويل وتحميل البيانات. ستتعلّم أيضاً التعامل مع بيئات Linux وتشغيل السكربتات scripts، بالإضافة إلى استخدام Docker لنشر الأدوات والتطبيقات بسرعة وكفاءة.

مقدّمة في قواعد البيانات

المدة: أسبوع واحد
المهارات المكتسبة:

• نماذج البيانات وعلاقاتها
• التطبيع Normalization وإلغاء التطبيع في SQL
• الكتابة بلغة Python للوصول إلى قواعد البيانات
• أنواع قواعد بيانات NoSQL

مخرجات التعلّم

ستتعرّف على نماذج البيانات المختلفة وأساسيّات قواعد بيانات SQL وNoSQL. ستستخدم أنظمة إدارة قواعد البيانات الشائعة وتصل إليها برمجيًا عبر Python.

خطوط البيانات: الاستخراج، التحويل، التحميل (ETL)

المدة: أسبوع واحد
المهارات المكتسبة:

• استخراج البيانات من مصادر متنوعة
• تحليل البيانات Parsing، تصفيتها، والتحقّق من صلاحيتها
• تحميل البيانات في أنظمة الملفات، قواعد البيانات(السحابية وغيرها)، وبحيرات البيانات Data Lakes
• كتابة أوامر برمجية لتحقيق استخراج، تحويل وتحميل البيانات ETL

مخرجات التعلّم

ستتعرّف على حزم البيانات Data Stacks الأكثر استخدامًا في كل مرحلة، من استخراج البيانات إلى تحويلها وصولًا إلى تحميلها. في نهاية الأسبوع، ستقوم ببناء خط بيانات كامل (Pipeline).

مستودعات البيانات وأتمتة خطوط البيانات

المدة: أسبوع واحد
المهارات المكتسبة:

• هندسة مستودعات البيانات
• نماذج النجمة Star والندفة Snowflake
• عمليات OLTP مقابل OLAP
• أتمتة عمليات ETL في Linux
• أتمتة وتنظيم خطوط البيانات باستخدام Apache Airflow

مخرجات التعلّم

ستتعلّم كيفية بناء مستودعات البيانات والاستعلام عنها. ومع فهم الصورة الشاملة لهندسة البيانات، ستتعلّم كيفية أتمتة وتشغيل خطوط البيانات.

البيانات الضخمة نظام: Hadoop وSpark

• الأنظمة الموزّعة لتخزين ومعالجة البيانات
• بنية وواجهة المستخدم Hadoop Cluster
• نظام HDFS لتخزين البيانات الضخمة
• Spark لمعالجة البيانات الضخمة

مستودعات البيانات ضمن نظام Hadoop

المدة: أسبوع واحد
المهارات المكتسبة:

• فهم Apache Hive كمستودع بيانات
• فهم محرّكات الاستعلام Querying Engines
• أساسيات التعلّم الآلة مع Spark MLlib

مخرجات التعلّم

ستتعلّم كيفية التعامل مع مستودعات البيانات الضخمة وإعداد Apache Hive على خوادم Hadoop وتحميل البيانات من النظام المحلّي وHDFS. كما ستتعرّف إلى مفهوم محرّكات الاستعلام، وإلى أساسيات تعلم الآلة Machine Learning باستخدام SparkML.

تدفّق البيانات الضخمة والأتمتة

المدة: أسبوع واحد
المهارات المكتسبة:

• Apache Kafka للأنظمة المراسلة
• Apache Flink لتدفّق البيانات
• Apache Sqoop لنقل البيانات من قواعد البيانات
• تجهيز البيانات لمهندسي ذكاء الأعمال BI

مخرجات التعلّم

ستتعرف على أدوات جديدة ضمن بيئة Hadoop، بدءاً من أنظمة المراسلة مع Apache Kafka وكيفية استخدامه لإنتاج واستهلاك البيانات. ثم ستنتقل لمصادر البيانات المتدفقة مع Apache Flink، وترحيل البيانات العلائقية إلى مستودع البيانات. ستتعلم أيضاً أدوات مثل Apache Oozie/Airflow للأتمتة، وستفهم العلاقة التكاملية بين مهندسي البيانات ومهندسي ذكاء الأعمال.

هندسة البيانات على AWS

المدة: أسبوع واحد
المهارات المكتسبة:

• استخدام AWS عبر وحدة التحكم الـ Console كما واجهة الأوامر المكتوبةCLI
• AWS Kinesis لجمع وتدفق البيانات
• AWS S3 كبحيرة بيانات سحابية Data Lake
• الوصول إلى S3 عبر CLI وبرمجيًا

مخرجات التعلّم

بجانب العمل مع البيانات محليًا، ستتعلم جمع البيانات وتخزينها في السحابة. هذا الأسبوع، ستستكشف مختلف الخدمات التي تقدمها مزودات السحابة مثل AWS لمعالجة البيانات الضخمة.

هندسة البيانات على Azure

المدة: أسبوع واحد
المهارات المكتسبة:

• Azure Data Factory كأداة لاستيعاب البيانات (Ingestion)
• خدمات البيانات العلائقية وغير العلائقية
• المعالجة والتحليل باستخدام Databricks، Synapse، HDInsight وغيرها
• Power BI لإنشاء لوحات المعلومات Dashboards

مخرجات التعلّم

تعلم كيفية معالجتها وتحليلها واستخدام أدوات Azure لإنشاء تصورات مرئية للبيانات.