مهندس بيانات داتابريكس كبير Luxoft

تطوير وصيانة خطوط بيانات قابلة للتوسع وعمليات التحويل باستخدام Databricks و PySpark و SQL.

دعم نقل مجموعات البيانات، وخطوط البيانات، والمنطق التحويلي من Palantir Foundry إلى Databricks Delta Lake.

العمل مع مجموعات البيانات المتعلقة بالاستثمار والمالية، بما في ذلك بيانات السوق، ومراكز المحفظة، والمعاملات، وبيانات التسعير، ومقاييس المخاطر.

بناء وصيانة خطوط ETL/ELT التي تتيح توفر البيانات لتحليلات الاستثمار، والتقارير، وأنظمة إدارة المحافظ.

تنفيذ إطار عمل للتحقق من البيانات، والتصالح، والجودة لضمان دقة وتناسق البيانات المالية.

تحسين وظائف Spark، وتكوينات الكلاستر، وصيغ التخزين لتحسين الأداء وكفاءة التكاليف.

الحفاظ على سلالة البيانات، والوثائق، وممارسات الحوكمة لتلبية معايير الصناعة المالية.

دعم مراقبة، واستكشاف الأخطاء، وضبط أداء خطوط بيانات الإنتاج.

يجب أن يكون لديك

المهارات الإلزامية:

خبرة متقدمة في Databricks. معرفة عميقة بهندسة Databricks و Delta Lake، وتنظيم الوظائف، وإدارة الكلاستر، وضبط الأداء.

خبرة في العمل مع بيانات الاستثمار، مثل بيانات السوق، وممتلكات المحفظة، والمعاملات، وبيانات التسعير، ومقاييس المخاطر، والأدوات المالية.

مهارات متقدمة في PySpark و Python. قدرة قوية على تصميم، وتحسين، وإعادة هيكلة عمليات معالجة البيانات الموزعة.

خبرة متقدمة في SQL ونمذجة البيانات. خبرة في النمذجة البُعدية، وأنماط هندسة بحيرة البيانات، وتحسين الاستعلامات.

خبرة في منصات السحابة (يفضل Azure). خبرة عملية في نشر وإدارة منصات البيانات في بيئات السحابة، بما في ذلك التخزين، والأمان، والاعتبارات الشبكية.

من الجيد أن يكون لديك

خبرة عملية قوية في Palantir Foundry. خبرة مثبتة في خطوط Foundry، والأنطولوجيات، وسلالة البيانات، والتحويلات، وحوكمة المنصة.

خبرة مثبتة في النقل من Palantir / إلى Databricks. خبرة مثبتة في قيادة أو تنفيذ عمليات النقل بين المنصات، بما في ذلك تحويل الخطوط، وإعادة تصميم نماذج البيانات، والتحويل إلى الإنتاج.

الإلمام بـ Dynatrace أو Datadog للرصد والمراقبة النظامية.

شهادة Databricks، وشهادات السحابة (Azure/AWS)، أو شهادات هندسة البيانات المؤسسية.