مهندس بيانات (PySpark)

GSSTech Group

المسؤوليات الرئيسية

• تصميم وتطوير وصيانة خطوط أنابيب ETL/ELT القابلة للتوسع باستخدام PySpark على CDP
• ضمان سلامة البيانات وموثوقيتها وتحسين الأداء

• تطوير أطر الإدخال لجمع البيانات من قواعد البيانات العلائقية وواجهات برمجة التطبيقات والمصادر المتدفقة وأنظمة الملفات
• تحميل البيانات الهيكلية وغير الهيكلية في بيئات Data Lake/Data Warehouse

• معالجة وتنظيف وتحويل مجموعات البيانات الكبيرة باستخدام PySpark
• بناء مكونات معالجة بيانات قابلة لإعادة الاستخدام

• تعديل وظائف Spark ومكونات Cloudera للأداء الأمثل
• تحسين الذاكرة والتقسيم وخطط التنفيذ
• تقليل وقت تشغيل ETL وتحسين كفاءة الكلاستر

• تنفيذ فحوصات التحقق من البيانات وآليات المراقبة
• ضمان جودة البيانات والمعايير الحاكمة من البداية إلى النهاية

• أتمتة سير العمل باستخدام أدوات مثل Apache Oozie أو Apache Airflow أو أطر تنظيم مماثلة
• الحفاظ على تكامل CI/CD لخطوط أنابيب البيانات

• مراقبة صحة خطوط الأنابيب وحل المشكلات عند حدوثها
• تقديم الدعم الإنتاجي والتحسينات المستمرة

المهارات والمتطلبات المطلوبة

• 5+ سنوات من الخبرة في هندسة البيانات
• خبرة عملية قوية في PySpark
• خبرة في العمل على منصة بيانات Cloudera (CDP)
• معرفة قوية بنظام Hadoop البيئي (HDFS، Hive، Impala، YARN)
• إجادة في SQL ومفاهيم نمذجة البيانات
• خبرة في أدوات تنظيم سير العمل (Airflow، Oozie، إلخ.)
• فهم جيد لمفاهيم تخزين البيانات
• خبرة في تحسين الأداء والتحسين

من الجيد أن يكون لديك

• خبرة في منصات السحاب (AWS، Azure، GCP)
• معرفة بأدوات البث (Kafka، Spark Streaming)
• التعرض لممارسات DevOps وCI/CD
• خبرة في مجال الخدمات المالية/المصرفية