مهندس بيانات (تطوير خطوط البيانات)

Eice Technology

نظرة عامة على الدور

نحن نبحث عن مهندس بيانات ذو مهارات عالية لتصميم وبناء وتحسين خطوط بيانات للأنظمة المؤسسية في الكويت. سيكون المرشح المثالي لديه خبرة قوية في إدخال البيانات، والتحويل، ومراقبة الجودة، وتكامل BI/لوحات المعلومات، مع قدرة مثبتة على العمل على كل من معالجة البيانات الدفعة والتدفق.

المسؤوليات الرئيسية
تطوير خطوط بيانات

استخراج البيانات من الأنظمة العليا (مثل Seabed وSahala وغيرها).

تصميم وتنفيذ آليات إدخال البيانات (الدفعة والتدفق) إلى البيئات المركزية (Data Lake / Data Warehouse).

دمج مصادر البيانات المتعددة مع ضمان اتساق المخطط والتوافق.

تنفيذ جودة البيانات (QC)

تحديد وتنفيذ فحوصات جودة البيانات (الاكتفاء، الدقة، الاتساق، التوقيت، التعامل مع النسخ المكررة).

بناء تسجيلات آلية، وتنبيهات، وتقارير لفشل QC.

الاستفادة من أطر العمل مثل Great Expectations وDeequ وdbt tests للتحقق من QC.

تحويل البيانات

تطبيق قواعد التحويل لتحويل البيانات الخام إلى تنسيقات جاهزة للوحة المعلومات.

تنفيذ قواعد الأعمال، والتصفية، والتجميع، والإثراء.

تحضير مجموعات البيانات للوحة المعلومات التحليلية وسير العمل التشغيلي.

دمج الأنظمة ولوحات المعلومات

ضمان التكامل السلس للبيانات المعالجة في لوحات BI (Power BI وTableau وQlikSense).

تعريض البيانات لواجهات برمجة التطبيقات، والبرامج النصية الآلية، وسير العمل النظامي.

تحسين الأداء للوحة المعلومات والتطبيقات المستهلكة.

التوثيق والتسليم

توثيق بنية خطوط البيانات، وتدفق البيانات، ومنطق التحويل، وقواعد QC.

تحضير أدلة المستخدم والتوثيق الفني للصيانة والتحسينات.

الاختبار والتحقق

إجراء تحقق من البيانات من المصدر إلى الهدف.

اختبار منطق التحويل، وقواعد QC، والتكامل مع لوحات المعلومات/الأنظمة.

إجراء اختبارات شاملة للموثوقية والدقة.

المهارات والمؤهلات المطلوبة& المؤهلات

الخبرة التقنية: SQL وPython/Scala وSpark وأدوات ETL (ADF وAirflow وTalend وGlue وSSIS).

منصات البيانات: خبرة عملية مع Data Lakes (مثل S3 وADLS) وData Warehouses (Snowflake وRedshift وSynapse وBigQuery).

BI/التصور: خبرة في التكامل مع Power BI وTableau أو QlikSense.

الخبرة السحابية: خدمات Azure / AWS / GCP لخطوط البيانات.

التحكم في الإصدارات & CI/CD: Git، وخطوط أنابيب DevOps، والنشر الآلي.

مهارات أخرى: أطر جودة البيانات (Great Expectations وDeequ)، وحل المشكلات بشكل قوي، وممارسات التوثيق والاختبار.

المؤهلات المفضلة

خبرة في مشاريع هندسة البيانات على نطاق واسع في سوق الشرق الأوسط / الكويت.

التعرف على الأنظمة العليا مثل Seabed وSahala.

التعرض للمعمارية في الوقت الحقيقي/تدفق البيانات (Kafka وKinesis وEvent Hub).