الوصف الوظيفي

الأدوار والمسؤوليات

المسؤوليات

إدارة وتحسين منصة بيانات داتا بريكس بما في ذلك إعداد مساحة العمل، سياسات الكلاستر، تنسيق الوظائف، كتالوج الوحدة، التحكم في التكاليف، التعددية السكنية.

تصميم وكتابة وصيانة واجهات برمجة التطبيقات المستخدمة في أتمتة المنصة، سير العمل بدون خادم، خطوط نشر، إدارة الإصدار وإدارة المستودعات

ضمان توفر عالي، أمان، وأداء أنظمة البيانات والتي تشمل التحكم في الوصول، إدارة الأسرار، RBAC، المراقبة، التنبيه، RLS، التعامل مع الحوادث، تحسين الأداء.

تقديم رؤى قيمة حول استخدام منصة البيانات (داتا بريكس) والتي تشمل تخصيص التكاليف، تحليلات الاستخدام، أنماط الحمل، القياس.

تنفيذ ميزات جديدة لداتا بريكس، بما في ذلك بدون خادم، خطوط الأنابيب الإعلانية، الوكلاء، lakebase ، إلخ.

تصميم وصيانة مكتبات النظام (بايثون) المستخدمة في خطوط أنابيب ETL وإدارة المنصة (داتا بريكس).

تحسين عمليات ETL

تعزيز وضبط عمليات ETL الحالية للحصول على أداء أفضل، وقابلية التوسع، والموثوقية.

المهارات

يجب أن تتوفر

10 سنوات على الأقل من الخبرة في تكنولوجيا المعلومات / البيانات.

5 سنوات على الأقل من الخبرة كمهندس منصة بيانات داتا بريكس.

3+ سنوات من الخبرة في تصميم وكتابة وصيانة واجهات برمجة التطبيقات المستخدمة في أتمتة المنصة، سير العمل بدون خادم، خطوط نشر، إدارة الإصدار وإدارة المستودعات

بكالوريوس في تكنولوجيا المعلومات أو مجال ذي صلة.

البنية التحتية والسحابة: Azure، AWS (خبرة في التخزين، الشبكات، الحوسبة).

البرمجة: إتقان PySpark للحوسبة الموزعة.

4 سنوات على الأقل من خبرة بايثون لتطوير ETL.

SQL: خبرة في كتابة وتحسين استعلامات SQL، ويفضل أن يكون لديه خبرة في قواعد البيانات مثل PostgreSQL، MySQL، Oracle، أو Snowflake.

تخزين البيانات: خبرة في العمل مع مفاهيم تخزين البيانات ومنصة داتا بريكس.

أدوات ETL: إلمام بأدوات ETL والعمليات

نمذجة البيانات: خبرة في النمذجة البعدية، التطبيع/إزالة التطبيع، وتصميم المخططات.

التحكم في النسخ: إتقان أدوات التحكم في النسخ مثل Git لإدارة قواعد الشفرات والتعاون في التطوير.

مراقبة خطوط أنابيب البيانات: إلمام بأدوات المراقبة (مثل، Prometheus، Grafana، أو سكريبتات المراقبة المخصصة) لتتبع أداء خطوط الأنابيب.

أدوات جودة البيانات: خبرة في تنفيذ التحقق من البيانات، التنظيف، وأطر الجودة، ويفضل أن تكون Monte Carlo.

من الجيد أن يتوفر

التعبئة والتنسيق: Docker، Kubernetes.

البنية التحتية كرمز (IaC): Terraform.

فهم مجال بيانات الاستثمار (مرغوب فيه).

الملف الشخصي المطلوب للمرشحين

نحن نبحث عن مهندس منصة داتا بريكس ذو مهارات عالية مع خبرة قوية في هندسة البيانات. سيكون لدى المرشح فهم عميق لكل من منصات البيانات وهندسة البرمجيات، مما يمكّنه من دمج وتشغيل المنصة بفاعلية ضمن نظام تكنولوجيا المعلومات الأوسع.

تتطلب هذه الوظيفة شخصًا مساهمًا عمليًا يتحمل المسؤولية الكاملة عن العناصر القابلة للتسليم من البداية إلى النهاية، بما في ذلك التصميم، التطوير، الاختبار، النشر، والدعم المستمر.

مهندس/معماري منصة بيانات داتا بريكس Luxoft