مهندس منصة بيانات رئيسي (بالانتير أو داتابريكس) Luxoft

وصف المشروع وصف الدور - نحن نبحث عن خبير ذو كفاءة عميقة كمهندس منصة، يمتلك خبرة في هندسة البيانات. يجب أن يكون لهذا الفرد فهم شامل لكل من منصات البيانات وهندسة البرمجيات، مما يمكّنه من دمج المنصة بفعالية ضمن نظام تكنولوجيا المعلومات. المسؤوليات إدارة وتحسين منصات البيانات (داتابريكس، بالانتير). ضمان توفر عالي، أمان، وأداء أنظمة البيانات. تقديم رؤى قيمة حول استخدام منصات البيانات. تحسين الحوسبة والتخزين لمعالجة البيانات على نطاق واسع. تصميم وصيانة مكتبات النظام (بايثون) المستخدمة في خطوط أنابيب ETL وحوكمة المنصة. تحسين عمليات ETL تعزيز وضبط عمليات ETL الحالية لأداء أفضل، وقابلية التوسع، والموثوقية. المهارات يجب أن يكون لديك حد أدنى 10 سنوات من الخبرة في تكنولوجيا المعلومات / البيانات. حد أدنى 5 سنوات من الخبرة كمهندس منصة بيانات / مهندس بيانات. بكالوريوس في تكنولوجيا المعلومات أو مجال ذي صلة. البنية التحتية والسحابة: أزور، AWS (خبرة في التخزين، الشبكات، الحوسبة). أدوات منصة البيانات: أي من بالانتير أو داتابريكس. البرمجة: إتقان PySpark للحوسبة الموزعة و Python لتطوير ETL. SQL: خبرة في كتابة وتحسين استعلامات SQL، ويفضل أن تكون لديك خبرة في قواعد البيانات مثل PostgreSQL، MySQL، Oracle، أو Snowflake. مستودعات البيانات: خبرة في العمل مع مفاهيم مستودعات البيانات ومنصات بالانتير أو داتابريكس. أدوات ETL: الإلمام بأدوات ETL والعمليات نمذجة البيانات: خبرة في نمذجة الأبعاد، التطبيع / عدم التطبيع، وتصميم المخطط. التحكم في الإصدار: الإتقان بأدوات التحكم في الإصدار مثل Git لإدارة قواعد التعليمات البرمجية والتعاون في التطوير. مراقبة خط أنابيب البيانات: الإلمام بأدوات المراقبة (مثل، بروميثيوس، غرافانا، أو سكربتات مراقبة مخصصة) لتتبع أداء خط الأنابيب. أدوات جودة البيانات: خبرة في تنفيذ التحقق من صحة البيانات، والتنظيف، وإطارات الجودة، ويفضل أن يكون مونت كارلو. من الجيد أن تكون لديك الحاويات والتنظيم: دوكر، كوبرنيتس. البنية التحتية كرمز (IaC): تيرافورم. فهم لمجال بيانات الاستثمار (مرغوب). لغات أخرى الإنجليزية: C1 متقدم كبير