مهندس منصة البيانات

Teliolabs Communication Private Limited

المسؤوليات الرئيسية:

• تصميم وبناء منصات بيانات قابلة للتوسع وآمنة، مع ضمان توفر عالي وأداء ممتاز.
• تطوير وتحسين خطوط البيانات وعمليات ETL باستخدام أطر عمل ومنهجيات حديثة.
• تنفيذ منصات الذكاء الاصطناعي والتعلم الآلي، مع ضمان تكامل سلس مع أنظمة بيانات المؤسسات.
• ضمان سلامة البيانات وإدارتها من خلال تطبيق أفضل الممارسات للأمان والامتثال والجودة.
• الإشراف على استراتيجيات وهياكل نقل البيانات من الأنظمة القديمة إلى الهياكل الحديثة المعتمدة على السحابة.
• الاستفادة من خدمات AWS، بما في ذلك على سبيل المثال لا الحصر S3 وRedshift وGlue وEMR وAthena وLambda وDynamoDB وKinesis.
• قيادة اعتماد المصادر المفتوحة، مع دمج أدوات مثل Apache Spark وAirflow وKafka وFlink لمعالجة البيانات.
• التعاون مع الفرق متعددة التخصصات بما في ذلك مهندسي البيانات وعلماء البيانات وDevOps لتحسين تدفقات العمل المتعلقة بالبيانات.
• مراقبة الأداء والقابلية للتوسع، مع معالجة مشكلات الاختناق في معالجة البيانات والتحليلات بشكل استباقي.
• تحديد أفضل الممارسات لنمذجة البيانات وتصميم المخططات وهندسة البيانات عبر مجالات متعددة.
• توجيه وإرشاد فرق الهندسة لتعزيز قدرات البيانات داخل المنظمة.

المهارات والمؤهلات المطلوبة:

• 15+ سنة من الخبرة في هندسة البيانات، وهندسة البيانات، ومنصات السحابة.
• خبرة في خدمات AWS السحابية وخبرة عملية مع أدوات تخزين البيانات والحوسبة والتحليلات.
• معرفة قوية في ETL ومعالجة البيانات، بما في ذلك تدفقات البيانات الدفعة وفي الوقت الحقيقي.

الأدوات: Apache NiFi وTalend وInformatica PowerCenter وAWS Glue وMicrosoft SSIS وMatillion وFivetran وStitch وdbt (أداة بناء البيانات)

• إتقان أدوات المصادر المفتوحة مثل Apache Spark وHadoop وAirflow وKafka وFlink وPresto.
• فهم عميق لعمليات الذكاء الاصطناعي والتعلم الآلي وتكاملها مع منصات البيانات.
• خبرة مثبتة في استراتيجيات نقل البيانات من الأنظمة المحلية إلى السحابة.
• خبرة في تصميم مخططات البيانات والنمذجة والتحسين لقواعد البيانات العلائقية وNoSQL.
• مهارات برمجة قوية في Python وSQL وSpark.
• قدرات قوية في حل المشكلات بعقلية تحليلية واستراتيجية.
• مهارات قيادية واتصالية ممتازة، قادرة على العمل مع المعنيين الفنيين والتجاريين.

المؤهلات المفضلة:

• شهادة مهندس حلول معتمد من AWS أو شهادة تحليل بيانات معتمدة من AWS.
>
• خبرة في العمل في منصات البيانات المدفوعة بالذكاء الاصطناعي أو بيئات MLOps.
• الإلمام بـ Kubernetes وDocker وCI/CD لتدفقات العمل المتعلقة بالبيانات.