مهندس بيانات أزور

Client of Novancy One

السياق :

كجزء من مشروع ترحيل إلى سحابة أزور، نحن نبحث عن مهندس بيانات لعميلنا قادر على تصميم وتطوير وتحسين خطوط بيانات قوية وقابلة للتوسع، ضمن بيئة بيانات كبيرة تعتمد على بنية ميدالية (تحليلات أزور سنابس، أباتشي سبارك، بايثون/SQL).

• تاريخ البدء: في أقرب وقت ممكن
• الموقع: الدار البيضاء، المغرب

المهام :

• تصميم وتطوير خطوط إدخال وتحويل البيانات
• المشاركة في تنفيذ وتطور بنية بيانات م (برونز/فضة/ذهب)
• تطوير معالجة البيانات الكبيرة باستخدام سبارك (باي سبارك / SQL سبارك)
• تفعيل تدفقات البيانات على تحليلات أزور سنابس
• تحسين أداء معالجة SQL والاستعلامات
• ضمان جودة وموثوقية وشفافية البيانات
• تنفيذ آليات المراقبة والتنبيهات
• المشاركة في اختيارات الهندسة المعمارية التقنية وأفضل الممارسات في هندسة البيانات
• التعاون مع فرق البيانات، BI، عالم البيانات وفرق الطرف الثالث
• المشاركة في مراحل الاختبار والنشر والدعم

المهارات التقنية المطلوبة:

السحابة ومنصة البيانات

• تحليلات أزور سنابس
• داتابريكس
• تخزين بيانات أزور لايك (ADLS)
• مصنع بيانات أزور (ADF) appr ci
• بنية بيانات لايكهاوس

بيانات كبيرة

• أباتشي سبارك، SQL سبارك، باي سبارك
• تحسين المعالجات الموزعة

التطوير

• بايثون، SQL متقدم، إدارة أداء SQL

بنية البيانات

• بنية ميدالية (برونز / فضة / ذهب)
• نمذجة البيانات، إدارة سير العمل الدفعي

الأدوات والمنهجيات

• جيت
• CI/CD appr ci

الميزة الرئيسية:

• خبرة في الذكاء الاصطناعي التوليدي، لا سيما كود كلود (ميزة كبيرة)