مطور باي سبارك

Valuelabs

صاحب عمل نشط

نشرت قبل 17 ساعة

الخبرة

5 - 7 سنوات

موقع العمل

دبي - الإمارات العربية المتحدة

التعليم

بكالوريوس في العلوم(أجهزة الكمبيوتر)

الجنسية

أي جنسية

جنس

غير مذكور

عدد الشواغر

1 عدد الشواغر

الوصف الوظيفي

الأدوار والمسؤوليات

بصفتك مهندس بيانات، ستقوم بتصميم وصيانة خطوط ETL القابلة للتوسع، مع ضمان جودة البيانات العالية والأداء والموثوقية عبر نظام البيانات الخاص بنا.

المسؤوليات الرئيسية

  • بناء وتحسين خطوط ETL باستخدام PySpark على CDP
  • استيراد البيانات من RDBMS وAPIs وأنظمة الملفات إلى بحيرات/مخازن البيانات
  • تنظيف وتحويل مجموعات البيانات الكبيرة لدعم التحليلات
  • ضبط كود PySpark ومكونات Cloudera للأداء
  • تنفيذ فحوصات جودة البيانات وروتينات التحقق
  • أتمتة سير العمل باستخدام Apache Oozie أو Airflow أو أدوات مشابهة
  • مراقبة صحة الخطوط واستكشاف المشكلات
  • التعاون مع الفرق متعددة الوظائف لتلبية متطلبات البيانات
  • توثيق العمليات والكود والتكوينات

الملف الشخصي المطلوب للمرشحين

المؤهلات المطلوبة

  • بكالوريوس/ماجستير في علوم الحاسوب أو هندسة البيانات أو مجال ذي صلة
  • خبرة لا تقل عن 5 سنوات في أدوار هندسة البيانات

المهارات التقنية

  • PySpark (RDDs وDataFrames والتحسين)
  • منصة بيانات Cloudera (مدير Cloudera وHive وImpala وHDFS وHBase)
  • تخزين البيانات وSQL (Hive وImpala)
  • أدوات البيانات الكبيرة (Hadoop وKafka)
  • تنسيق سير العمل (Oozie وAirflow)
  • برمجة Linux والأتمتة

المهارات الشخصية

  • قدرات تحليلية وحل المشكلات قوية
  • مهارات تواصل ممتازة
  • لاعب فريق مع القدرة على العمل بشكل مستقل
  • اهتمام بالتفاصيل مع تركيز على دقة البيانات

القطاع المهني للشركة

المجال الوظيفي / القسم

الكلمات الرئيسية

  • مطور باي سبارك

تنويه: نوكري غلف هو مجرد منصة لجمع الباحثين عن عمل وأصحاب العمل معا. وينصح المتقدمون بالبحث في حسن نية صاحب العمل المحتمل بشكل مستقل. نحن لا نؤيد أي طلبات لدفع الأموال وننصح بشدة ضد تبادل المعلومات الشخصية أو المصرفية ذات الصلة. نوصي أيضا زيارة نصائح أمنية للمزيد من المعلومات. إذا كنت تشك في أي احتيال أو سوء تصرف ، راسلنا عبر البريد الإلكتروني abuse@naukrigulf.com

Valuelabs

ValueLabs is a global technology company committed to delivering innovative solutions and exceptional client experiences. We are expanding our data engineering team in Hyderabad and are looking for a skilled Data Engineer with strong expertise and the Cloudera Data Platform (CDP).

https://www.naukri.com/job-listings-270426910410

وظائف مماثلة

مهندس البيانات

مهندس البيانات

مهندس بيانات أزور (ADF أو مصنع بيانات أزور)

Confidential Company

  • 6 - 12 سنوات
  • الدوحة - قطر

مهندس بيانات Azure

مهندس البيانات

عرض الكل