مهندس البيانات

Client of Vurke

المسؤوليات الرئيسية

• تصميم خطوط ELT أو ETL وتنظيمها باستخدام Airflow أو Prefect.
• نمذجة البيانات للتحليلات، وتنفيذ CDC، وإدارة المخططات.
• إضافة اختبارات جودة البيانات، والسلالة، والفهرسة.
• تحسين المستودعات من حيث الأداء والتكلفة.
• تأمين البيانات مع الوصول المعتمد على الأدوار وضوابط الامتثال.

المؤهلات الدنيا

• 3+ سنوات في هندسة البيانات مع SQL وPython القويين.
• خبرة مع BigQuery أو Snowflake أو Redshift ومنظم.
• التحكم في الإصدارات وCI للبيانات.
• فهم أساسي لـ dbt أو أطر التحويل المماثلة.

المفضل

• التدفق مع Kafka أو pub/sub.
• Terraform وخدمات البيانات السحابية.
• Great Expectations أو أطر الاختبار المماثلة.

الأدوات والتقنية
Airflow أو Prefect، dbt، Kafka أو Pub/Sub، Python، SQL، Terraform، Great Expectations، BigQuery أو Snowflake أو Redshift، Looker أو Power BI كأدوات تالية.

مؤشرات الأداء الرئيسية / مقاييس النجاح
خدمة SLA وموثوقية خطوط الأنابيب، درجات جودة البيانات، التكلفة لكل تيرابايت، الوقت حتى توفر البيانات.

أسئلة الفحص الأولية

• كيف ستصمم CDC من مصدر OLTP عالي الحجم إلى مستودع؟
• كيف تتحقق من النماذج وتمنع انحراف المخطط؟
• أظهر كيف توازن بين التكلفة والأداء بعد البعد المتغير ببطء.

مهمة المهارات الاختيارية
بناء خط أنابيب ELT مع نماذج dbt واختبارات على مجموعة بيانات عينة، ثم إنشاء مستندات السلالة.

مسار الحياة المهنية
مهندس بيانات أول مهندس بيانات موظف قائد منصة أو هندسة بيانات.

نوع الوظيفة: دوام كامل

موقع العمل: على الطريق