مهندس بيانات (باي سبارك)

GSSTech Group

المسؤوليات

• تطوير خطوط بيانات: تصميم وتطوير وصيانة خطوط ETL القابلة للتوسع والمُحسّنة باستخدام باي سبارك على منصة كلوديرا للبيانات، مع ضمان سلامة البيانات ودقتها.
• إدخال البيانات: تنفيذ وإدارة عمليات إدخال البيانات من مجموعة متنوعة من المصادر (مثل قواعد البيانات العلائقية، واجهات برمجة التطبيقات، أنظمة الملفات) إلى بحيرة البيانات أو مستودع البيانات على CDP.
• تحويل البيانات ومعالجتها: استخدام باي سبارك لمعالجة وتنظيف وتحويل مجموعات البيانات الكبيرة إلى تنسيقات ذات معنى تدعم الاحتياجات التحليلية ومتطلبات الأعمال.
• تحسين الأداء: إجراء ضبط الأداء لشفرة باي سبارك ومكونات كلوديرا، مع تحسين استخدام الموارد وتقليل وقت تنفيذ عمليات ETL.
• جودة البيانات والتحقق: تنفيذ فحوصات جودة البيانات، والمراقبة، وروتينات التحقق لضمان دقة البيانات وموثوقيتها طوال الخط.
• الأتمتة والتنظيم: أتمتة تدفقات البيانات باستخدام أدوات مثل Apache Oozie، Airflow، أو أدوات تنظيم مشابهة ضمن نظام كلوديرا البيئي.
• المراقبة والصيانة: مراقبة أداء الخط، وتحليل المشكلات، وإجراء الصيانة الدورية على منصة كلوديرا للبيانات والعمليات المرتبطة بالبيانات.
• التعاون: العمل عن قرب مع مهندسي البيانات الآخرين، والمحللين، ومديري المنتجات، وغيرهم من الأطراف المعنية لفهم متطلبات البيانات ودعم مختلف المبادرات المدفوعة بالبيانات.
• التوثيق: الحفاظ على توثيق شامل لعمليات هندسة البيانات، والشيفرات، وتكوينات الخط.

المهارات التقنية

• باي سبارك: إتقان متقدم في باي سبارك، بما في ذلك العمل مع RDDs، DataFrames، وتقنيات التحسين.
• منصة كلوديرا للبيانات: خبرة قوية مع مكونات منصة كلوديرا للبيانات (CDP)، بما في ذلك مدير كلوديرا، هايف، إمبالا، HDFS، وHBase.
• تخزين البيانات: معرفة بمفاهيم تخزين البيانات، وأفضل ممارسات ETL، وخبرة مع أدوات SQL (مثل هايف، إمبالا).
• تقنيات البيانات الكبيرة: إلمام بـ Hadoop، Kafka، وغيرها من أدوات الحوسبة الموزعة.
• التنظيم والجدولة: خبرة مع Apache Oozie، Airflow، أو أطر التنظيم المشابهة.
• البرمجة والأتمتة: مهارات قوية في البرمجة في لينكس.