مطور باي سبارك

Valuelabs

ValueLabs توظف: مهندس بيانات PySpark | منصة بيانات Cloudera (CDP)

الموقع: دبي
الخبرة: 5+ سنوات
نوع التوظيف: دوام كامل

عن ValueLabs

ValueLabs هي شركة تقنية عالمية ملتزمة بتقديم حلول مبتكرة وتجارب عملاء استثنائية. نحن نوسع فريق هندسة البيانات لدينا في دبي ونبحث عن مهندس بيانات ماهر Data Engineer ذو خبرة قوية في PySpark ومنصة بيانات Cloudera (CDP).

نظرة عامة على الدور

كـ مهندس بيانات، ستقوم بتصميم وصيانة خطوط ETL القابلة للتوسع، مع ضمان جودة البيانات العالية والأداء والموثوقية عبر نظام بياناتنا.

المسؤوليات الرئيسية

• بناء وتحسين خطوط ETL باستخدام PySpark على CDP
• استيراد البيانات من RDBMS وAPIs وأنظمة الملفات إلى بحيرات/مخازن البيانات
• تنظيف وتحويل مجموعات البيانات الكبيرة لدعم التحليلات
• ضبط كود PySpark ومكونات Cloudera للأداء
• تنفيذ فحوصات جودة البيانات وروتينات التحقق
• أتمتة سير العمل باستخدام Apache Oozie أو Airflow أو أدوات مشابهة
• مراقبة صحة الخطوط وحل المشكلات
• التعاون مع الفرق متعددة الوظائف لتلبية متطلبات البيانات
• توثيق العمليات والكود والتكوينات

المؤهلات المطلوبة

• بكالوريوس/ماجستير في علوم الكمبيوتر أو هندسة البيانات أو مجال ذي صلة
• خبرة لا تقل عن 5 سنوات في أدوار هندسة البيانات

المهارات التقنية

• PySpark (RDDs، DataFrames، تحسين)
• منصة بيانات Cloudera (مدير Cloudera، Hive، Impala، HDFS، HBase)
• تخزين البيانات وSQL (Hive، Impala)
• أدوات البيانات الكبيرة (Hadoop، Kafka)
• تنسيق سير العمل (Oozie، Airflow)
• برمجة Linux والأتمتة

المهارات الشخصية

• قدرات تحليلية وحل مشاكل قوية
• مهارات اتصال ممتازة
• القدرة على العمل بشكل مستقل كعضو في الفريق
• دقيق مع التركيز على دقة البيانات