مهندس البيانات

Client of Vurke

المسؤوليات الرئيسية

• تصميم أنابيب ELT أو ETL وتنسيقها مع Airflow أو Prefect.
• نموذج البيانات للتحليلات، تنفيذ CDC، وإدارة المخططات.
• إضافة اختبارات جودة البيانات، السلالة، والفهرسة.
• ضبط المستودعات للأداء والتكلفة.
• تأمين البيانات مع الوصول المعتمد على الأدوار وضوابط الامتثال.

المؤهلات الدنيا

• 3+ سنوات في هندسة البيانات مع SQL وPython قوية.
• خبرة مع BigQuery أو Snowflake أو Redshift ومنظم.
• تحكم في النسخ وCI للبيانات.
• فهم أساسي لـ dbt أو أطر التحويل المماثلة.

المفضل

• البث باستخدام Kafka أو pub/sub.
• Terraform وخدمات البيانات السحابية.
• توقعات رائعة أو أطر اختبار مماثلة.

الأدوات والتقنيات
Airflow أو Prefect، dbt، Kafka أو Pub/Sub، Python، SQL، Terraform، توقعات رائعة، BigQuery أو Snowflake أو Redshift، Looker أو Power BI كمخرجات.

مؤشرات الأداء الرئيسية / مقاييس النجاح
خدمة SLA للأنابيب والموثوقية، درجات جودة البيانات، التكلفة لكل تيرابايت، الوقت حتى توفر البيانات.

أسئلة الفرز الأولية

• كيف ستقوم بتصميم CDC من مصدر OLTP عالي الحجم إلى مستودع؟
• كيف تتحقق من النماذج وتمنع تغير المخطط؟
• أظهر كيف توازن بين التكلفة والأداء بعد بُعد يتغير ببطء.

مهمة المهارات الاختيارية
بناء أنبوب ELT مع نماذج dbt واختبارات على مجموعة بيانات نموذجية، ثم إنشاء وثائق السلالة.

مسار المهنة
مهندس بيانات أول مهندس بيانات موظف قائد منصة أو هندسة بيانات.

نوع الوظيفة: دوام كامل

موقع العمل: على الطريق