مهندس البيانات

Teliolabs Communication Private Limited

الموقع: دبي

من يمكنه التقدم: المرشحون الذين هم حاليًا في دبي
نوع الوظيفة: عقد
الخبرة: الحد الأدنى 8+ سنوات

ملخص الوظيفة:

نحن نبحث عن مهندس بيانات ذو خبرة Data Engineer لتصميم وتطوير وتحسين خطوط بيانات، عمليات ETL، وحلول تكامل البيانات. يجب أن يكون المرشح المثالي لديه خبرة في خدمات السحابة AWS، وأفضل ممارسات هندسة البيانات، وأدوات المصادر المفتوحة، وتصميم مخططات البيانات. تتطلب الوظيفة خبرة عملية في معالجة البيانات على نطاق واسع، وتدفق البيانات في الوقت الحقيقي، وهياكل البيانات المعتمدة على السحابة.

المسؤوليات الرئيسية:

• تطوير وصيانة خطوط بيانات لمعالجة البيانات الهيكلية وغير الهيكلية بكفاءة.
• تنفيذ عمليات ETL/ELT لمعالجة البيانات دفعة وفي الوقت الحقيقي.
• تحسين عمليات معالجة البيانات باستخدام أطر العمل الحوسبة الموزعة.
• ضمان سلامة وجودة البيانات من خلال تقنيات التحقق من البيانات والتنظيف والتحويل.
• العمل مع خدمات السحابة AWS، بما في ذلك S3، Redshift، Glue، Lambda، DynamoDB، وKinesis.
• الاستفادة من أدوات المصادر المفتوحة مثل Apache Spark، Airflow، Kafka، وFlink لمعالجة البيانات.
• إدارة وتحسين أداء قواعد البيانات لكل من بيئات SQL وNoSQL.
• التعاون مع علماء البيانات والمحللين لتمكين نشر نماذج AI/ML والوصول إلى البيانات.
• دعم مبادرات ترحيل البيانات من الأنظمة المحلية إلى منصات البيانات المعتمدة على السحابة.
• ضمان الامتثال ومعايير الأمان في التعامل مع البيانات الحساسة والمُنظمة.
• تطوير نماذج البيانات والمخططات للتخزين والاسترجاع الفعال.

المهارات والمتطلبات المطلوبة:

• 8+ سنوات من الخبرة في هندسة البيانات، وهندسة البيانات، والحوسبة السحابية.
• معرفة قوية بخدمات AWS مثل Glue، Redshift، Athena، Lambda، وS3.
• خبرة في أدوات ETL، بما في ذلك Talend، Apache NiFi، Informatica، dbt، وAWS Glue.
• إجادة في أدوات المصادر المفتوحة مثل Apache Spark، Hadoop، Airflow، Kafka، وFlink.
• مهارات برمجة قوية في Python، SQL، وScala.
• خبرة في تصميم مخطط البيانات، والتطبيع، وتحسين الأداء.
• معرفة بتدفق البيانات في الوقت الحقيقي باستخدام Kafka، Kinesis، أو Apache Flink.
• خبرة في حلول مستودع البيانات وبحيرة البيانات.
• خبرة عملية مع DevOps وCI/CD Pipelines لعمليات هندسة البيانات.
• فهم لخطوط بيانات AI وMachine Learning.
• مهارات تحليل وحل المشكلات قوية.

المؤهلات المفضلة:

• شهادة AWS Certified Data Analytics Specialty أو شهادة AWS Solutions Architect.
• خبرة مع Kubernetes، Docker، ومعالجة البيانات بدون خادم.
• تعرض لممارسات MLOps وهندسة البيانات لحلول AI/ML.
• خبرة مع الحوسبة الموزعة وأطر البيانات الكبيرة.