مهندس منصة البيانات

Teliolabs Communication Private Limited

المسؤوليات الرئيسية:

• تصميم وتخطيط منصات بيانات قابلة للتطوير وآمنة، مع ضمان توفر عالي وأداء ممتاز.
• تطوير وتحسين أنابيب البيانات وعمليات ETL باستخدام أطر عمل حديثة ومنهجيات.
• تنفيذ منصات الذكاء الاصطناعي والتعلم الآلي، مع ضمان التكامل السلس مع أنظمة بيانات المؤسسات.
• ضمان نزاهة البيانات والحوكمة من خلال تطبيق أفضل الممارسات للأمان والامتثال والجودة.
• الإشراف على استراتيجيات وتنفيذ ترحيل البيانات من البنية التحتية القديمة إلى المعمارية السحابية الحديثة.
• استغلال خدمات AWS، بما في ذلك ولكن لا تقتصر على S3، Redshift، Glue، EMR، Athena، Lambda، DynamoDB، وKinesis.
• قيادة اعتماد المصادر المفتوحة، من خلال دمج أدوات مثل Apache Spark، Airflow، Kafka، وFlink لمعالجة البيانات.
• التعاون مع فرق متعددة الوظائف بما في ذلك مهندسي البيانات، وعلماء البيانات، وDevOps لتبسيط تدفقات البيانات.
• مراقبة الأداء وقابلية التوسع، ومعالجة الاختناقات بشكل استباقي في معالجة البيانات والتحليلات.
• تأسيس أفضل الممارسات لنمذجة البيانات وتصميم المخططات وهندسة البيانات عبر مجالات مختلفة.
• توجيه وإرشاد فرق الهندسة لتعزيز قدرات البيانات داخل المؤسسة.

المهارات والمتطلبات المطلوبة:

• أكثر من 15 عامًا من الخبرة في هندسة البيانات، وهندسة البيانات، والمنصات السحابية.
• خبرة في خدمات سحابة AWS وتجربة عملية مع أدوات تخزين البيانات، والحوسبة، والتحليلات.
• معرفة قوية بعمليات ETL ومعالجة البيانات، بما في ذلك تدفق البيانات في الوقت الحقيقي والدفعات.

الأدوات: Apache NiFi، Talend، Informatica PowerCenter، AWS Glue، Microsoft SSIS، Matillion، Fivetran، Stitch، dbt (أداة بناء البيانات)

• إتقان الأدوات مفتوحة المصدر مثل Apache Spark، Hadoop، Airflow، Kafka، Flink، وPresto.
• فهم عميق لعمليات الذكاء الاصطناعي والتعلم الآلي وتكاملها مع منصات البيانات.
• خبرة مثبتة في استراتيجيات ترحيل البيانات من الأنظمة المحلية إلى السحابية.
• خبرة في تصميم مخططات البيانات، والنمذجة، والتحسين لقواعد البيانات العلائقية وNoSQL.
• مهارات برمجة قوية في Python، SQL، وSpark.
• قدرات قوية على حل المشكلات مع عقلية تحليلية واستراتيجية.
• مهارات قيادية واتصالية ممتازة، قادرة على العمل مع أصحاب المصلحة الفنيين والتجاريين.

المؤهلات المفضلة:

• شهادة مهندس حلول معتمد من AWS أو شهادة تحليل بيانات معتمد من AWS.
• خبرة في العمل في منصات البيانات المدفوعة بالذكاء الاصطناعي أو بيئات MLOps.
• الإلمام بـ Kubernetes، Docker، وCI/CD لتدفقات البيانات.