مهندس البيانات

Client of Vurke

المسؤوليات الرئيسية

• تصميم أنابيب ELT أو ETL وتنسيقها مع Airflow أو Prefect.
• نموذج البيانات للتحليلات، تنفيذ CDC، وإدارة المخططات.
• إضافة اختبارات جودة البيانات، النسب، والفهرسة.
• تحسين المستودعات للأداء والتكلفة.
• تأمين البيانات مع الوصول القائم على الأدوار وضوابط الامتثال.

المؤهلات الدنيا

• 3+ سنوات في هندسة البيانات مع SQL وPython قوية.
• خبرة مع BigQuery أو Snowflake أو Redshift ومُنسق.
• التحكم في الإصدارات وCI للبيانات.
• فهم أساسي لـ dbt أو أطر التحويل المماثلة.

المفضل

• البث باستخدام Kafka أو pub/sub.
• Terraform وخدمات البيانات السحابية.
• توقعات عظيمة أو أطر اختبار مماثلة.

الأدوات والتكنولوجيا
Airflow أو Prefect، dbt، Kafka أو Pub/Sub، Python، SQL، Terraform، توقعات عظيمة، BigQuery أو Snowflake أو Redshift، Looker أو Power BI كأدوات تابعة.

المؤشرات الرئيسية / مقاييس النجاح
موثوقية SLA لأنابيب البيانات، درجات جودة البيانات، التكلفة لكل تيرابايت، الوقت ليتوفر البيانات.

أسئلة الفحص الأولي

• كيف ستقوم بتصميم CDC من مصدر OLTP عالي الحجم إلى مستودع؟
• كيف تتحقق من صحة النماذج وتمنع انحراف المخطط؟
• أظهر كيف توازن بين التكلفة والأداء بعد_dimension_b.

مهمة المهارات الاختيارية
بناء أنبوب ELT مع نماذج dbt واختبارات على مجموعة بيانات عينة، ثم إنشاء وثائق النسب.

مسار الحياة المهنية
مهندس بيانات أول، مهندس بيانات موظف، قائد منصة أو عمارة البيانات.

نوع الوظيفة: دوام كامل

موقع العمل: على الطريق