مهندس بيانات داتابريكس كبير Luxoft

تطوير وصيانة خطوط بيانات قابلة للتوسع وتدفقات العمل للتحويل باستخدام Databricks و PySpark و SQL.

دعم نقل مجموعات البيانات وخطوط البيانات والمنطق التحويلي من Palantir Foundry إلى Databricks Delta Lake.

العمل مع مجموعات بيانات الاستثمار والمالية، بما في ذلك بيانات السوق، ومراكز المحفظة، والمعاملات، وبيانات التسعير، ومقاييس المخاطر.

بناء وصيانة خطوط ETL/ELT التي تتيح توافر البيانات لتحليلات الاستثمار والتقارير وأنظمة إدارة المحفظة.

تنفيذ أطر تحقق البيانات والمصالحة والجودة لضمان دقة البيانات المالية واتساقها.

تحسين وظائف Spark وتكوينات الكتلة وأشكال التخزين لتحسين الأداء وكفاءة التكلفة.

الحفاظ على سلالة البيانات والتوثيق وممارسات الحوكمة لتلبية معايير الصناعة المالية.

دعم المراقبة واستكشاف الأخطاء وإصلاحها وضبط الأداء لخطوط البيانات الإنتاجية.

يجب أن يكون لديك

المهارات الإلزامية:

خبرة متقدمة في Databricks. معرفة عميقة بهندسة Databricks و Delta Lake وتنسيق الوظائف وإدارة الكتل وضبط الأداء.

خبرة في العمل مع بيانات الاستثمار، مثل بيانات السوق ومحتويات المحفظة والمعاملات وبيانات التسعير ومقاييس المخاطر والأدوات المالية.

مهارات PySpark و Python على مستوى الخبراء. قدرة قوية على تصميم وتحسين وإعادة هيكلة تدفقات معالجة البيانات الموزعة.

خبرة متقدمة في SQL ونمذجة البيانات. خبرة في النمذجة البعدية وأنماط هيكلة lakehouse وتحسين الاستعلامات.

خبرة في منصات السحابة (يفضل Azure). خبرة عملية في نشر وإدارة منصات البيانات في بيئات السحابة، بما في ذلك التخزين والأمان واعتبارات الشبكات.

من الجيد أن تمتلك

خبرة عملية قوية في Palantir Foundry. خبرة مثبتة مع خطوط Foundry والأنطولوجيا وسلالة البيانات والتحويلات وحوكمة المنصة.

خبرة مثبتة في النقل من Palantir / إلى Databricks. خبرة موثقة في قيادة أو تنفيذ عمليات نقل المنصات، بما في ذلك تحويل الخطوط وإعادة تصميم نموذج البيانات وإجراء التحويل إلى الإنتاج.

الإلمام بـ Dynatrace أو Datadog لمراقبة النظام والملاحظة.

شهادة Databricks، شهادات السحابة (Azure/AWS)، أو شهادات هندسة البيانات المؤسسية.