مهندس البيانات

Sheikh Shakhbout Medical City

المهام الرئيسية:

• بناء خطوط بيانات قوية عبر طبقات البرونز والفضة والذهب باستخدام Databricks وSpark وdbt وAzure orchestration.
• تنفيذ عقود البيانات والاختبارات والتحقق من المخططات لحماية الجودة والثقة.
• تطبيق النسب والفهرس وRBAC والبيانات الوصفية لتلبية احتياجات الحوكمة والتدقيق.
• إعداد مجموعات بيانات ذهبية مُنسقة وخصائص وميزات لاستخدام AI وBI
• مراقبة الصحة والتكاليف، وتلبية SLAs، والحفاظ على خطوط البيانات قابلة للرؤية وموثوقة

المسؤوليات الرئيسية: محاذاة معمارية

• اتباع هندسة المرجع المؤسسية لLakehouse على Azure مع تخزين متوافق مع S3 محلي.
• استخراج البيانات من الأنظمة الأساسية باستخدام الدفعات والتدفق. استخدام Goldengate لـ CDC حيثما أمكن وAir byte أو ADF للتحميلات المجدولة.
• إدخال البيانات في البرونز كنسخ أمينة، وتحويلها إلى الفضة باستخدام نماذج متوافقة، ونشر أسواق البيانات الذهبية والكيانات الدلالية.
• استخدام Single Store أو ما شابه حيثما كان مطلوبًا خدمة ذات زمن وصول منخفض كما هو موضح في الهندسة.

الحوكمة ودمج البيانات الوصفية

• فرض الملكية والإشراف من خلال عقود البيانات وحدود النطاق الواضحة.
• تسجيل الأصول في الفهرس بالبيانات الوصفية التجارية والتقنية وتوثيق النسب من البداية إلى النهاية.
• تطبيق الخصوصية من خلال التصميم مع التشفير، والتوكن، والوصول الأقل امتيازًا وفقًا لمتطلبات PHI وPII وFHIR أو خرائط MDR حيثما كان مطلوبًا.
• تتبع مؤشرات الأداء الرئيسية للجودة مثل الحداثة والكمال والصلاحية مع الفحوصات التلقائية.

محاذاة المنصة والتشغيل

• استخدام CI/CD لخطوط البيانات مع ترقية البيئة والتراجع.
• تنفيذ دفاتر التشغيل ولوحات التحكم والتنبيهات للوظائف والوقت المستغرق وحداثة البيانات.
• تحسين الحوسبة والتخزين بما في ذلك التقسيم، وحجم الملفات، والتخزين المؤقت لتحسين التكلفة والأداء.
• التعاون مع هندسة المنصة حول الهوية والأسرار والشبكة وقيود التخزين.

التعاون بين الوظائف

• العمل مع كبير مهندسي البيانات ومهندس AI لترجمة الأنماط إلى تطبيقات ملموسة.
• التعاون مع BI لنشر الكيانات الذهبية إلى الطبقة الدلالية ودعم نماذج Power BI أو Fine BI.
• تمكين AI من خلال تقديم جداول جاهزة للميزات، وعمليات تضمين لاسترجاع الجيل المعزز، وأشكال بيانات صديقة للاستدلال مع تكامل MLflow حيثما كان مناسبًا.
• التوافق مع حوكمة التسليم بشأن الاستيعاب، والأولوية، وجاهزية الإطلاق.

المجموعات والقطاعات الحرجة: امتلاك وتشغيل خطوط البيانات للقطاعات من المستوى الأول تحت إشراف هندسة البيانات. تشمل الأمثلة المرضى واللقاءات والمزودين والطلبات والنتائج والمطالبات والفواتير والبيانات الرئيسية مثل كيانات MDM، وعلم الوراثة مثل VCF وتغذيات مختبر علم الأحياء، والمراقبة التشغيلية مثل سجلات الهوية والوصول.

المتطلبات الأكاديمية / المهارية:

• درجة البكالوريوس في علوم الكمبيوتر أو الهندسة أو مجال ذي صلة.
• أساسيات قوية في SQL ونمذجة الأبعاد أو خزانات البيانات.
• إجادة في Python لمعالجة البيانات والأتمتة.
• خبرة عملية مثل Databricks وSpark وDelta Lake.
• ELT مع dbt بما في ذلك الاختبارات والتوثيق.
• معرفة عملية بـ Azure Data Factory أو Databricks Workflows وAzure Storage وADLS وAzure Active Directory وKey Vault.
• إلمام بـ CI/CD في Azure DevOps أو GitHub و أساسيات الحاويات مع Docker وKubernetes.