مهندس بيانات مستشار

Total-TECH Co

وصف الوظيفة

1- إدخال بيانات المؤسسة وهندسة البيانات: تصميم وبناء أنابيب إدخال قابلة للتوسع وإعادة الاستخدام (في الوقت الحقيقي والدفعة) على GCP (GCS، BigQuery، Dataflow).

تطوير أنابيب معلمات باستخدام خدمات Google الأصلية و/أو خرائط Informatica IDMC وتدفقات المهام.

تنفيذ أنماط CDC، التحميلات غير القابلة للتكرار، معالجة البيانات المتأخرة، وتطور المخطط.

تحسين استراتيجيات إدخال BigQuery (الدفعة مقابل البث، التقسيم، التجميع).

إقامة التحكم في الإصدارات، CI/CD، وترقية البيئة (dev/test/prod).

النتائج:

أنابيب أصلية على GCP (Dataflow، Composer، Cloud Run) و/أو خرائط/تدفقات مهام IDMC.

تصميمات مخطط BigQuery (خام / مرحلة / مناطق منسقة مع تقسيم & تجميع).

أنابيب CI/CD، عناصر النشر، ودفاتر التشغيل.

2-تخطيط البيانات والتحويل: تحليل بيانات المصدر وتحليل جودة البيانات والأنماط.

تصميم خرائط مستوى الحقل، قواعد الأعمال، الانضمامات، التجميعات، والمشتقات.

تنفيذ التحويلات باستخدام BigQuery SQL، Dataflow، أو منطق تحويل IDMC.

النتائج:

وثيقة تخطيط المصدر إلى الهدف (STM).

خرائط التحويل.

3- التنسيق، الأتمتة وهندسة الاعتمادية: بناء ومعلمات سير العمل من البداية إلى النهاية باستخدام Cloud Composer (Airflow) و/أو تدفقات مهام IDMC.

تحديد تبعيات الوظائف، الجداول الزمنية، SLAs، واستراتيجيات التعامل مع الفشل.

تنفيذ المحاولات، استراتيجيات التراجع، نقاط التحقق، وإمكانية إعادة التشغيل.

دمج المراقبة والتسجيل والتنبيه باستخدام أدوات Cloud Monitoring، Cloud Logging، وChatOps.

النتائج:

سير عمل تنسيق جاهز للإنتاج مع معلمات واعية بالبيئة.

تقويم الجدولة، مخططات الاعتماد، ومصفوفة SLA.

تنبيه، لوحات مراقبة، وإجراءات التشغيل القياسية.

4- مراقبة أنابيب البيانات، الأداء، وتحسين التكاليف: مراقبة صحة الأنابيب، حداثة البيانات، الأحجام، وأنماط الشذوذ.

دعم ومراقبة أنابيب البيانات أثناء ساعات الفراغ وعطلات نهاية الأسبوع، واستكشاف المشكلات وحلها لضمان الالتزام بـ SLA.

تتبع وإدارة SLAs المتعلقة بوقت التشغيل، الفشل، التكلفة، وزمن تأخر البيانات.

تحسين أداء BigQuery (إعادة هيكلة الاستعلام، تقليم التقسيم، عرض المواد).

إدارة وتحسين تكاليف GCP (دورة حياة التخزين، استخدام الوحدات، تحسين الاستعلام، التخزين المؤقت).

النتائج:

تقارير العمليات اليومية/الأسبوعية وتقارير SLA.

خطط تحسين الأداء والتكاليف مع مقاييس قبل/بعد.

إرشادات ضبط BigQuery واستراتيجية تجسيد البيانات.

المتطلبات:

• 5+ سنوات من الخبرة كمهندس بيانات أو مطور ETL.
• المهارات المطلوبة فنية وإدارية: خبرة قوية في منصة Google Cloud: BigQuery، GCS، Data Stream، Dataflow، Cloud Composer، IAM، Cloud Monitoring.
• إجادة SQL (محسّن لـ BigQuery) ونمذجة البيانات للتحليلات.
• خبرة عملية في بناء أنابيب بيانات قابلة للتوسع وذات جودة إنتاج.
• خبرة في CI/CD، التحكم في الإصدار المعتمد على Git، وممارسات DevOps.
• [اختياري] خبرة في Informatica Intelligent Data Management Cloud (IDMC) CDI، الإدخال الضخم، تدفقات المهام.
• درجة البكالوريوس في علوم الكمبيوتر، تكنولوجيا المعلومات، نظم المعلومات، أو مجال ذي صلة.

مُعَلَّم كـ: cdi. ، ci/cd ، devops ، ETL ، informatica ، SQL