مهندس بيانات (تدفق الوقت الحقيقي)

Client of Talentmate

بصفتك مهندس بيانات متخصص في عمليات تدفق البيانات في الوقت الحقيقي، ستلعب دورًا حاسمًا في إدارة وتحسين خط الأنابيب لمعالجة البيانات الحية. ستكون مسؤولاً عن تصميم تدفق البيانات، وضمان وصول البيانات عالية السرعة ومعالجتها بأقل تأخير ممكن. ستعمل بشكل تعاوني مع فرق متعددة التخصصات بما في ذلك علماء البيانات، ومهندسي البرمجيات، ومحللي الأعمال لضمان أن تطبيقات التدفق والبيانات تلبي متطلبات المؤسسة. ستتيح لك عملك استغلال البيانات المتدفقة لاتخاذ قرارات سريعة ومستنيرة، مما يعزز العمليات التجارية العامة والكفاءة. ستحتاج إلى أن تكون لديك قاعدة قوية في هندسة البيانات، وأن تكون بارعًا في العمل مع أدوات معالجة البيانات في الوقت الحقيقي، وأن تمتلك عينًا حريصة على التفاصيل للتعامل مع كميات كبيرة من البيانات بكفاءة.

المسؤوليات

• تصميم وتطوير حلول تدفق البيانات في الوقت الحقيقي لتلبية متطلبات الأعمال.
• بناء وتحسين خطوط معالجة البيانات لضمان توافر عالي.
• التعاون مع مهندسي البرمجيات لدمج أنظمة التدفق مع خدمات السحابة.
• الحفاظ على وتوسيع بنى تدفق البيانات الموزعة حسب الحاجة.
• مراقبة واستكشاف مشاكل الأداء داخل أنظمة البيانات في الوقت الحقيقي.
• العمل عن كثب مع علماء البيانات لتسهيل التحليلات على البيانات المتدفقة.
• تطوير تقنيات استخراج البيانات والتحويل والتحميل (ETL) القوية.
• تنفيذ تدابير أمان البيانات لحماية المعلومات الحساسة أثناء النقل.
• إنشاء سكريبتات تلقائية لتبسيط أنشطة إدارة خط الأنابيب للبيانات.
• توثيق العمليات والحلول البرمجية للرجوع إليها في المستقبل ولتيسير التوسع.
• ضمان الامتثال للمعايير الصناعية ولوائح حوكمة البيانات.
• تقديم التدريب والدعم لأعضاء الفريق حول بنية تدفق البيانات.

المتطلبات

• درجة بكاليوس في علوم الكمبيوتر، أو تكنولوجيا المعلومات، أو مجال ذي صلة.
• خبرة قوية في أطر وأدوات تدفق البيانات في الوقت الحقيقي مثل Apache Kafka.
• خبرة مثبتة في لغات البرمجة مثل Python، Java، أو Scala.
• خبرة في حلول السحابة مثل AWS، Azure، أو Google Cloud Platform.
• فهم للأنظمة الموزعة ونماذج المعالجة المتوازية.
• مهارات ممتازة في حل المشكلات والقدرة على استكشاف القضايا المعقدة.
• المعرفة بتقنيات الحاويات مثل Docker وأدوات التنسيق مثل Kubernetes.
• مهارات تواصل قوية للتعاون بفعالية مع الفرق متعددة التخصصات.