مهندس البيانات

Client of AIQU

1. تصميم وبناء وصيانة خطوط بيانات شاملة باستخدام بايثون، مع ضمان إدخال البيانات وتحويلها وتوصيلها بشكل موثوق عبر المنصة.

2. تطوير وتحسين عمليات ETL/ELT لنقل وتحويل البيانات عبر طبقات البرونز والفضة والذهب وفقًا لنمط هندسة الميدالية.

3. كتابة كود بايثون نظيف ومرن وجاهز للإنتاج لمعالجة البيانات ومهام التنسيق والأتمتة.

4. المساعدة في تصميم وتنفيذ نماذج البيانات والمخططات واستراتيجيات التخزين لدعم متطلبات التحليلات والتقارير السفلية.

5. بناء وصيانة تحويلات مستندة إلى SQL وإجراءات مخزنة ووجهات للتحقق من البيانات والمصالحة.

6. تطوير وإدارة أطر إدخال البيانات، مع التعامل مع مجموعة متنوعة من تنسيقات المصادر (ملفات مسطحة، واجهات برمجة التطبيقات، قواعد البيانات، البث).

7. تنفيذ فحوصات جودة البيانات والتحقق منها داخل خطوط البيانات، مع تطبيق القواعد عبر الأبعاد المتعلقة بالكمال والvalidity والتناسق والتفرد والدقة والوقت.

8. مراقبة صحة خطوط البيانات، وبناء آليات التنبيه، وحل مشكلات البيانات في بيئات الإنتاج.

9. المساهمة في خطوط CI/CD لأعباء عمل البيانات، بما في ذلك الاختبار التلقائي والنشر وممارسات التحكم في الإصدارات.

10. إنتاج وثائق تقنية واضحة لخطوط البيانات ونماذج البيانات وكتب التشغيل.

المهارات والخبرة المطلوبة

مهارات قوية في تطوير بايثون مع خبرة عملية في بناء خطوط بيانات الإنتاج (pandas، PySpark، أو ما يعادلها).

مهارات SQL قوية للاستعلامات المعقدة وتحويل البيانات وتحسين الأداء.

خبرة في تصميم وتنفيذ عمليات ETL/ELT على نطاق واسع.

فهم جيد لهندسة الميدالية (برونز / فضة / ذهب) ونماذج التصميم الحديثة لبحيرات البيانات / Lakehouse.

خبرة مع أدوات تنسيق البيانات.

معرفة عملية بمنصات البيانات السحابية (Azure، AWS، أو GCP).

إلمام بقواعد البيانات العلائقية وغير العلائقية.

مهارات قوية في حل المشكلات مع القدرة على تصحيح مشكلات خطوط البيانات المعقدة.

المهارات المرغوبة

التعرض لأدوات جودة البيانات مثل Informatica IDQ، Microsoft Purview، Great Expectations، أو أطر DQ مخصصة.

خبرة مع Informatica EDC أو أدوات مشابهة لتصنيف البيانات والنسب.

إلمام بمنصات حوكمة البيانات مثل Informatica Axon أو Microsoft Purview لإدارة السياسات وعمليات الإشراف.

معرفة بـ Power BI أو أدوات BI الأخرى لتصور البيانات والتقارير.