مهندس بيانات كلوديرا

Midis Group

Job Title
مهندس بيانات كلوديرا
Job Scope
نحن نبحث عن مهندس بيانات كلوديرا ذو خبرة مع خبرة عملية قوية في كلوديرا CDP ، هادوب ، سبارك ، هايف ، و HDFS . سيكون المرشح المثالي مسؤولاً عن بناء وصيانة خطوط بيانات ضخمة ، وتحسين تدفقات البيانات ، ودعم بيئات الإنتاج لضمان الموثوقية والأداء.
Main Duties and Responsibilities
•
تصميم وبناء وصيانة خطوط بيانات ضخمة باستخدام مكونات كلوديرا CDP.
•
تطوير وتحسين تدفقات ETL/ELT باستخدام سبارك ، هايف ، وهادوبيكوسستم.
•
إدارة وصيانة تخزين HDFS ، مع ضمان توفر عالي وأداء.
•
تنفيذ أنشطة دعم الإنتاج ، بما في ذلك حل المشكلات ، والمراقبة ، وضبط الأداء.
•
العمل مع علماء البيانات والمحللين وفرق الهندسة الأخرى لدعم المبادرات المعتمدة على البيانات.
•
ضمان حوكمة البيانات والأمان والامتثال عبر بيئات البيانات الضخمة.
•
استكشاف مشكلات مستوى الكلاستر المتعلقة باستخدام الموارد ، والجدولة ، والتكوين.
•
المشاركة في تصميم الحلول ، ومناقشات العمارة ، والوثائق الفنية.
Position Requirements
•
خبرة عملية قوية مع كلوديرا CDP .
•
إتقان نظام هادوب: HDFS ، YARN ، MapReduce ، هايف ، إمبالا.
•
خبرة قوية في العمل مع Apache Spark (يفضل PySpark أو Scala).
•
فهم جيد للأنظمة الموزعة وهندسة البيانات الضخمة.
•
خبرة في دعم الإنتاج واستكشاف الأخطاء في بيئات البيانات الضخمة.
•
مهارات SQL قوية وخبرة في تحسين الاستعلامات ذات النطاق الكبير.
•
إلمام بـ Linux ، وبرمجة الشيل ، وأدوات الأتمتة.
•
الخبرة في التحكم في الإصدار (Git) وتدفقات العمل CI/CD تعتبر ميزة.
Education
درجة البكالوريوس في علوم الكمبيوتر أو أي مجال ذي صلة
Experience
•
الخبرة مع منصات السحابة (AWS ، Azure ، GCP) لأحمال البيانات الضخمة.
•
التعرض لـ Kafka ، NiFi ، Oozie ، أو أدوات تنظيم البيانات المماثلة.
•
معرفة بـ Docker و Kubernetes أو بيئات الحاويات.
•
فهم لمفاهيم الأمان والتشفير وحوكمة البيانات.
• #LI-GA2