مطور باي سبارك

Valuelabs

ValueLabs توظف: مهندس بيانات PySpark | منصة بيانات Cloudera (CDP)

الموقع: دبي
الخبرة: 5+ سنوات
نوع التوظيف: دوام كامل

عن ValueLabs

ValueLabs هي شركة تكنولوجيا عالمية ملتزمة بتقديم حلول مبتكرة وتجارب استثنائية للعملاء. نحن نقوم بتوسيع فريق هندسة البيانات لدينا في دبي ونبحث عن مهندس بيانات ماهر مع خبرة قوية في PySpark و منصة بيانات Cloudera (CDP).

نظرة عامة على الدور

بصفتك مهندس بيانات، ستقوم بتصميم وصيانة أنابيب ETL قابلة للتوسع، مع ضمان جودة البيانات العالية، والأداء، والموثوقية عبر نظام البيانات لدينا.

المسؤوليات الرئيسية

• إنشاء وتحسين أنابيب ETL باستخدام PySpark على CDP
• إدخال البيانات من RDBMS، وAPIs، وأنظمة الملفات إلى بحيرات/مخازن البيانات
• تنظيف وتحويل مجموعات بيانات كبيرة لدعم التحليلات
• تحسين كود PySpark ومكونات Cloudera للأداء
• تنفيذ فحوصات جودة البيانات وروتين التحقق
• أتمتة سير العمل باستخدام Apache Oozie، Airflow، أو أدوات مشابهة
• مراقبة صحة الأنابيب واستكشاف المشكلات
• التعاون مع الفرق متعددة الوظائف لتلبية متطلبات البيانات
• توثيق العمليات، والكود، والتكوينات

المؤهلات المطلوبة

• بكالوريوس/ماجستير في علوم الحاسوب، هندسة البيانات، أو مجال ذي صلة
• خبرة لا تقل عن 5 سنوات في أدوار هندسة البيانات

المهارات الفنية

• PySpark (RDDs، DataFrames، تحسين)
• منصة بيانات Cloudera (مدير Cloudera، Hive، Impala، HDFS، HBase)
• تخزين البيانات وSQL (Hive، Impala)
• أدوات البيانات الضخمة (Hadoop، Kafka)
• تنسيق سير العمل (Oozie، Airflow)
• سكريبتات Linux والأتمتة

المهارات الشخصية

• قدرات تحليلية وحل مشكلات قوية
• مهارات تواصل ممتازة
• لاعب فريق مع القدرة على العمل بشكل مستقل
• دقيق مع التركيز على دقة البيانات