مهندس البيانات

Teliolabs Communication Private Limited

الموقع: دبي

من يمكنه التقدم: المرشحون الذين يتواجدون حاليًا في دبي
نوع الوظيفة: عقد
الخبرة: الحد الأدنى 8+ سنوات

ملخص الوظيفة:

نبحث عن مهندس بيانات ذو خبرة لتصميم وتطوير وتحسين خطوط بيانات، عمليات ETL، وحلول تكامل البيانات. يجب أن يكون لدى المرشح المثالي خبرة في خدمات السحابة AWS، أفضل ممارسات هندسة البيانات، أدوات المصدر المفتوح، وتصميم مخططات البيانات. يتطلب الدور خبرة عملية في معالجة البيانات على نطاق واسع، وتدفق البيانات في الوقت الحقيقي، وهياكل بيانات قائمة على السحابة.

المسؤوليات الرئيسية:

• تطوير وصيانة خطوط البيانات لمعالجة البيانات المهيكلة وغير المهيكلة بكفاءة.
• تنفيذ عمليات ETL/ELT لمعالجة البيانات دفعة وفي الوقت الحقيقي.
• تحسين سير عمل معالجة البيانات باستخدام أطر العمل الحوسبية الموزعة.
• ضمان سلامة وجودة البيانات من خلال تقنيات التحقق من البيانات، التنظيف، والتحويل.
• العمل مع خدمات السحابة AWS، بما في ذلك S3، Redshift، Glue، Lambda، DynamoDB، وKinesis.
• الاستفادة من أدوات المصدر المفتوح مثل Apache Spark، Airflow، Kafka، وFlink لمعالجة البيانات.
• إدارة وتحسين أداء قواعد البيانات لكل من بيئات SQL وNoSQL.
• التعاون مع علماء البيانات والمحللين لتمكين نشر نماذج AI/ML والوصول إلى البيانات.
• دعم مبادرات ترحيل البيانات من الأنظمة المحلية إلى منصات البيانات السحابية.
• ضمان الامتثال ومعايير الأمان في التعامل مع البيانات الحساسة والمُنظمة.
• تطوير نماذج ومخططات البيانات للتخزين واسترجاع البيانات بشكل فعال.

المهارات والمتطلبات اللازمة:

• 8+ سنوات من الخبرة في هندسة البيانات، هندسة البيانات، والحوسبة السحابية.
• معرفة قوية بخدمات AWS مثل Glue، Redshift، Athena، Lambda، وS3.
• خبرة في أدوات ETL، بما في ذلك Talend، Apache NiFi، Informatica، dbt، وAWS Glue.
• إتقان في أدوات المصدر المفتوح مثل Apache Spark، Hadoop، Airflow، Kafka، وFlink.
• مهارات برمجة قوية في Python، SQL، وScala.
• خبرة في تصميم مخططات البيانات، التطبيع، وتحسين الأداء.
• معرفة بتدفق البيانات في الوقت الحقيقي باستخدام Kafka، Kinesis، أو Apache Flink.
• خبرة في حلول مستودعات البيانات وبحيرات البيانات.
• خبرة عملية مع DevOps وCI/CD Pipelines لعمليات هندسة البيانات.
• فهم لخطوط بيانات AI وتعلم الآلة.
• مهارات تحليل وحل مشاكل قوية.

المؤهلات المفضلة:

• شهادة AWS Certified Data Analytics Specialty أو شهادة AWS Solutions Architect.
• خبرة مع Kubernetes، Docker، ومعالجة البيانات بدون خادم.
• تعرض لممارسات MLOps وهندسة البيانات لحلول AI/ML.
• خبرة مع الحوسبة الموزعة وأطر البيانات الكبيرة.