مهندس البيانات

AI71

نشرت في 7 ابريل

الخبرة

8 - 13 سنوات

موقع العمل

ابوظبي - الامارات

التعليم

بكالوريوس في العلوم(أجهزة الكمبيوتر)

الجنسية

أي جنسية

جنس

غير مذكور

عدد الشواغر

1 عدد الشواغر

الوصف الوظيفي

الأدوار والمسؤوليات

ما ستفعله:
  • تطوير وإدارة خطوط بيانات:
    • تصميم وتنفيذ وصيانة خطوط بيانات قابلة للتوسع وموثوقة لاستيراد وتحويل وتحميل البيانات المنظمة وغير المنظمة والتغذيات البيانية في الوقت الحقيقي من مصادر متنوعة.
    • إدارة خطوط البيانات للاستخدام التحليلي والتشغيلي، مع ضمان سلامة البيانات وملاءمتها ودقتها عبر الأنظمة.
    • تنفيذ أدوات جودة البيانات وأطر التحقق ضمن خطوط التحويل.
  • معالجة البيانات وتحسينها:
    • بناء أنظمة فعالة وعالية الأداء من خلال استغلال تقنيات مثل نزع طبيعة البيانات والتقسيم والتخزين المؤقت والمعالجة المتوازية.
    • تطوير تطبيقات معالجة البيانات المتدفقة باستخدام Apache Kafka وتحسين الأداء لمجموعات البيانات الكبيرة.
    • تمكين تعزيز البيانات والترابط عبر المصادر الأساسية والثانوية والثالثة.
  • الهندسة السحابية والبنية التحتية والهندسة المنصة:
    • تطوير ونشر سير العمل البيانية على AWS أو GCP، باستخدام خدمات مثل S3 وRedshift وPub/Sub أو BigQuery.
    • تحويل مهام معالجة البيانات إلى حاويات باستخدام Docker، وتنظيمها باستخدام Kubernetes، وضمان نشر من الدرجة الإنتاجية.
    • التعاون مع فرق المنصة لضمان قابلية التوسع والمرونة وقابلية الملاحظة لخطوط البيانات.
  • هندسة قواعد البيانات:
    • كتابة وتحسين استعلامات SQL المعقدة على قواعد البيانات العلائقية (Redshift وPostgreSQL) وNoSQL (MongoDB).
    • العمل مع مجموعة ELK (Elasticsearch وLogstash وKibana) للبحث والتسجيل والتحليلات في الوقت الحقيقي.
    • دعم بنى Lakehouse ونماذج تخزين البيانات الهجينة لتوفير وصول موحد ومعالجة.
  • حوكمة البيانات والإشراف:
    • تنفيذ حوكمة بيانات قوية، وضوابط وصول، وسياسات إشراف متوافقة مع أفضل ممارسات الامتثال والأمان.
    • إنشاء إدارة البيانات التعريفية، وسلاسل البيانات، وقابلية التدقيق عبر خطوط الأنابيب والبيئات.
  • تمكين التعلم الآلي والتحليلات المتقدمة:
    • التعاون مع علماء البيانات لإعداد وتقديم ميزات لنماذج التعلم الآلي.
    • الحفاظ على الوعي بدمج خطوط التعلم الآلي وضمان جاهزية البيانات للتجريب والنشر.
  • التوثيق والتحسين المستمر:
    • الحفاظ على توثيق شامل بما في ذلك المواصفات الفنية، ومخططات تدفق البيانات، وإجراءات التشغيل.
    • تقييم وتحسين مجموعة هندسة البيانات بشكل مستمر من خلال اعتماد تقنيات جديدة واستراتيجيات الأتمتة

الملف الشخصي المطلوب للمرشحين

ما ستجلبه:

  • أكثر من 8 سنوات من الخبرة في هندسة البيانات ضمن بيئة إنتاجية.
  • معرفة متقدمة بلغة Python وبرمجة سكربتات Linux لمعالجة البيانات والأتمتة.
  • خبرة قوية في قواعد بيانات SQL/NoSQL مثل PostgreSQL وMongoDB.
  • خبرة في بناء أنظمة معالجة البيانات المتدفقة باستخدام Apache Kafka.
  • إجادة استخدام Docker وKubernetes في نشر سير العمل البياني المحاط.
  • فهم جيد لخدمات السحاب (AWS أو Azure).
  • خبرة عملية مع مجموعة ELK (Elasticsearch وLogstash وKibana) للبحث القابل للتوسع والتسجيل.
  • معرفة بالنماذج الذكية التي تدعم إدارة البيانات.
  • خبرة في العمل مع أنظمة Lakehouse، ونزع طبيعة البيانات، وممارسات تصنيف البيانات.
  • درجة بكاليوس أو ماجستير في علوم الكمبيوتر أو الهندسة أو علوم البيانات أو مجال ذي صلة.
  • نجاح مثبت في تصميم وتوسيع وتشغيل أنظمة البيانات في البيئات السحابية والموزعة.
  • قدرة مثبتة على العمل بشكل تعاوني مع فرق متعددة التخصصات بما في ذلك مديري المنتجات، وعلماء البيانات، وDevOps.
إيجابيات عظيمة / خبرة مفضلة /strong>
  • معرفة عملية بأدوات جودة البيانات، وتعقب السلاسل، وحلول قابلية ملاحظة البيانات.
  • خبرة في ترابط البيانات، وتعزيزها من مصادر خارجية، وإدارة سلامة البيانات على نطاق واسع.
  • فهم لأطر حوكمة البيانات وبروتوكولات الامتثال المؤسسية.
  • تعرض لخطوط أنابيب CI/CD لنشر البيانات والبنية التحتية ككود.

القطاع المهني للشركة

  • تكنولوجيا المعلومات - خدمات البرمجيات

المجال الوظيفي / القسم

  • سوفت وير تقنية المعلومات

الكلمات الرئيسية

  • مهندس البيانات

تنويه: نوكري غلف هو مجرد منصة لجمع الباحثين عن عمل وأصحاب العمل معا. وينصح المتقدمون بالبحث في حسن نية صاحب العمل المحتمل بشكل مستقل. نحن لا نؤيد أي طلبات لدفع الأموال وننصح بشدة ضد تبادل المعلومات الشخصية أو المصرفية ذات الصلة. نوصي أيضا زيارة نصائح أمنية للمزيد من المعلومات. إذا كنت تشك في أي احتيال أو سوء تصرف ، راسلنا عبر البريد الإلكتروني abuse@naukrigulf.com

AI71


https://job-boards.eu.greenhouse.io/ai71/jobs/4830184101

وظائف مماثلة

مهندس البيانات

مهندس البيانات

مهندس بيانات أزور (ADF أو مصنع بيانات أزور)

Confidential Company

  • 6 - 12 سنوات
  • الدوحة - قطر

Senior Microsoft Stack BI Engineer

مهندس بيانات أول

Client of Involved Solutions

  • 4 - 9 سنوات
  • دبي - الإمارات العربية المتحدة
عرض الكل