مهندس بيانات MS Fabric PySpark

SQLI

وصف الوظيفة

بصفتك مهندس بيانات، ستنضم إلى فريق البيانات لدينا للمشاركة في مشاريع تحليل البيانات الاستراتيجية وتنفيذ حلول معالجة البيانات على نطاق واسع. ستكون مسؤولاً عن تصميم وتحسين وتطوير خطوط بيانات على منصات السحابة، مع التركيز على استخدام PySpark وAzure Data Factory.

ستكون مهامك الرئيسية:

تصميم وتطوير وصيانة خطوط بيانات على نطاق واسع باستخدام PySpark.

تمكين تدفقات البيانات باستخدام Azure Data Factory، مع دمج مصادر ووجهات بيانات متنوعة (SQL، بحيرات البيانات، APIs، إلخ).

ضمان تكامل البيانات من أنظمة مختلفة في بيئة سحابية (Azure).

تحسين أداء معالجة البيانات (SQL، PySpark، إلخ).

التعاون مع فرق الأعمال، ومحللي البيانات، وعلماء البيانات لفهم الاحتياجات وتقديم حلول فعالة وقابلة للتوسع.

المشاركة في تحديد معمارية البيانات واستراتيجية الحوكمة.

إعداد ومراقبة وظائف معالجة البيانات (إدارة الأخطاء، إدارة الأداء).

توثيق الحلول المنفذة واتباع أفضل ممارسات التطوير.

المشاركة في التحسين المستمر للعمليات والأدوات الحالية.

المؤهلات

التعليم والخبرة:

بكالوريوس +5 في علوم الكمبيوتر، علم البيانات، أو مجال معادل.

حد أدنى من 3 سنوات من الخبرة في وظيفة مماثلة، مع خبرة مثبتة في التطوير على PySpark وAzure Data Factory.

المهارات التقنية:

إجادة PySpark لمعالجة البيانات الضخمة في بيئة موزعة.

خبرة كبيرة في إعداد وإدارة Azure Data Factory لبناء وتنظيم خطوط البيانات.

خبرة قوية في قواعد البيانات العلائقية وغير العلائقية (SQL، NoSQL).

معرفة بأدوات إدارة البيانات في نظام Azure البيئي (Azure Data Lake، Azure SQL Database، Azure Blob Storage، إلخ).

معرفة عملية بخدمات السحابة Azure واستخدامها في حلول معالجة البيانات (Azure Databricks، Azure Synapse Analytics، إلخ).

خبرة في أدوات التحكم في الإصدارات (Git، Azure DevOps، إلخ) وأفضل ممارسات تطوير البرمجيات.

معرفة بمفاهيم البيانات الضخمة وتحسين الأداء في البيئات الموزعة.

المهارات الشخصية:

الاستقلالية، والدقة، والانتباه للتفاصيل.

قدرة ممتازة على حل المشكلات التقنية المعقدة.

مهارات تواصل جيدة وقدرة على العمل في فريق.

مهارات تحليلية وقدرة على فهم احتياجات الأعمال لتقديم حلول مناسبة.