مهندس بيانات (PySpark)

Client of HireAlpha

تطوير خطوط بيانات: تصميم وتطوير وصيانة خطوط ETL عالية القابلية للتوسع والمثلى باستخدام PySpark على منصة بيانات Cloudera، مع ضمان سلامة البيانات ودقتها.

استيعاب البيانات: تنفيذ وإدارة عمليات استيعاب البيانات من مجموعة متنوعة من المصادر (مثل قواعد البيانات العلائقية، واجهات برمجة التطبيقات، أنظمة الملفات) إلى بحيرة البيانات أو مستودع البيانات على CDP.

تحويل البيانات ومعالجتها: استخدام PySpark لمعالجة وتنظيف وتحويل مجموعات البيانات الكبيرة إلى تنسيقات ذات مغزى تدعم الاحتياجات التحليلية ومتطلبات الأعمال.

تحسين الأداء: إجراء ضبط أداء كود PySpark ومكونات Cloudera، وتحسين استخدام الموارد وتقليل زمن تشغيل عمليات ETL.

جودة البيانات والتحقق: تنفيذ فحوصات جودة البيانات، والمراقبة، وروتينات التحقق لضمان دقة البيانات وموثوقيتها طوال خط الأنابيب.

الأتمتة والتنظيم: أتمتة سير العمل البيانات باستخدام أدوات مثل Apache Oozie، Airflow، أو أدوات التنظيم المشابهة داخل نظام Cloudera البيئي.

المراقبة والصيانة: مراقبة أداء خط الأنابيب، واستكشاف المشاكل.