مهندس بيانات أول Emaratech

المسؤوليات الرئيسية

• تحمل مسؤولية منصة بحيرة البيانات المؤسسية الحالية، مع ضمان القابلية للتوسع والموثوقية والأداء.
• قيادة تصميم وهندسة وتنفيذ حلول بحيرة البيانات السحابية الأصلية والتكاملات.
• إدارة وتحسين خطوط إدخال البيانات على Oracle OCI، باستخدام أدوات مثل Apache NiFi وKafka ومعالجة دفعات البيانات والتقاط البيانات أو CSV.
• تصميم وتنفيذ خطوط أنابيب لإدخال بيانات الشبكة وتنسيقات الملفات (مثل Parquet وAvro وOCR وما إلى ذلك)، مع ضمان التخزين الفعال والمعالجة والاسترجاع.
• بناء وتكوين وضبط محركات الاستعلام مثل Trino (Presto) وSpark وHive لتحليلات وتقارير فعالة.
• تنفيذ وصيانة إدارة البيانات الوصفية، وإدارة البيانات، وأطر الأمان.
• مراقبة واستكشاف أداء النظام، مع ضمان الوفاء بمستويات الخدمة المطلوبة لإدخال البيانات والمعالجة وأحمال الاستعلامات.
• أتمتة نشر المنصة والمراقبة والصيانة باستخدام البنية التحتية ككود (Terraform وCloudFormation وما إلى ذلك).
• التعاون مع مهندسي البيانات والمحللين والفرق التجارية لفهم متطلبات البيانات وتقديم حلول تعظم من قابلية الوصول إلى البيانات وقابليتها للاستخدام.
• الحفاظ على منصة البيانات محدثة بأحدث التقنيات مفتوحة المصدر والحيادية السحابية، وتطبيق التحديثات والتحسينات عند الحاجة.

5+ سنوات من الخبرة المثبتة والعملية في تنفيذ وإدارة بحيرات البيانات الكبيرة في السحابة (OCI). خبرة قوية في:

• إدخال البيانات & التنسيق: Apache NiFi وApache Kafka وCSV وغيرها
• أطر معالجة البيانات: Apache Spark وPySpark وTrino (Presto) وHive وFlink.
• التخزين & معمارية بحيرات البيانات: Delta Lake وApache Hudi وIceberg والتخزين الكائن السحابي (S3).
• أدوات الاستعلام & التحليلات: Trino/Presto وSparkSQL وMetabase أو Apache Superset.
• خبرة في تنسيقات ملفات بحيرة البيانات مثل Apache Parquet وAvro وORC وCSV وما إلى ذلك بما في ذلك الإدخال والتحليل والتحليلات داخل بحيرة البيانات.
• فهم قوي لإدارة البيانات ونسبها وفهرستها وأطر الأمان (Apache Atlas).
• خبرة في CI/CD وIaC (ArgoCD وTerraform وAnsible) للنشر التلقائي.
• خبرة عملية بأفضل ممارسات أمان السحابة، بما في ذلك IAM والتشفير وأمان الشبكات.
• إجادة قوية في Python أو Java لمهام هندسة البيانات والأتمتة.
• قدرة مثبتة على العمل بشكل مستقل وفهم البيئات القائمة بسرعة وتحقيق النتائج دون تدريب مكثف.

المهارات المفضلة

• التعرض لعمليات التعلم الآلي المتكاملة مع بحيرات البيانات.
• خبرة في خطوط بيانات البث المباشر.
• الإلمام بالتحويط والتنظيم (Docker وKubernetes).
• معرفة باستراتيجيات تحسين التكلفة في منصات البيانات السحابية.