مهندس بيانات داتابريكس كبير Luxoft

تطوير وصيانة خطوط أنابيب البيانات القابلة للتوسع وأعمال تحويل البيانات باستخدام Databricks و PySpark و SQL.

دعم ترحيل مجموعات البيانات وخطوط الأنابيب ومنطق التحويل من Palantir Foundry إلى Databricks Delta Lake.

العمل مع بيانات الاستثمار والبيانات المالية، بما في ذلك بيانات السوق، ومراكز المحافظ، والمعاملات، وبيانات التسعير، ومقاييس المخاطر.

بناء وصيانة خطوط أنابيب ETL/ELT التي تتيح توفر البيانات لتحليلات الاستثمار، والتقارير، ونظم إدارة المحافظ.

تنفيذ أطر تحقق البيانات، والمصالحة، والجودة لضمان دقة البيانات المالية واتساقها.

تحسين وظائف Spark، وتكوينات الكلاستر، وصيغ التخزين لتحسين الأداء وكفاءة التكلفة.

الحفاظ على تسلسل البيانات، والتوثيق، وممارسات الحوكمة لتلبية معايير الصناعة المالية.

دعم المراقبة، واستكشاف الأخطاء، وضبط أداء خطوط بيانات الإنتاج.

يجب أن يكون لديك

المهارات الإلزامية:

خبرة متقدمة في Databricks. معرفة عميقة بهندسة Databricks و Delta Lake و تنظيم الوظائف وإدارة الكلاستر وضبط الأداء.

خبرة في العمل مع بيانات الاستثمار، مثل بيانات السوق، وممتلكات المحافظ، والمعاملات، وبيانات التسعير، ومقاييس المخاطر، والأدوات المالية.

مهارات PySpark و Python على مستوى الخبراء. قدرة قوية على تصميم وتحسين وإعادة هيكلة عمليات معالجة البيانات الموزعة.

خبرة متقدمة في SQL ونمذجة البيانات. خبرة في النمذجة البعدية، وأنماط هندسة lakehouse، وتحسين الاستعلامات.

خبرة في منصة السحابة (يفضل Azure). خبرة عملية في نشر وإدارة منصات البيانات في البيئات السحابية، بما في ذلك التخزين والأمان والاعتبارات الشبكية.

من الجيد أن يكون لديك

خبرة عملية قوية في Palantir Foundry. خبرة مثبتة مع خطوط أنابيب Foundry، والأنطولوجيات، وتسلسل البيانات، والتحويلات، وحوكمة المنصة.

خبرة مثبتة في الترحيل من Palantir / إلى Databricks. تجربة موثقة في قيادة أو تنفيذ ترحيل المنصات، بما في ذلك تحويل خطوط الأنابيب، وإعادة تصميم نموذج البيانات، وإجراء التحويل إلى الإنتاج.

الإلمام بـ Dynatrace أو Datadog لرصد النظام والمراقبة.

شهادة Databricks، شهادات سحابية (Azure/AWS)، أو شهادات هندسة بيانات المؤسسات.