مهندس البيانات

Client of Kalamntina

المسؤوليات:

• تصميم وتطوير وصيانة خطوط ETL/ELT القابلة للتوسع لمعالجة كميات كبيرة من البيانات المنظم وغير المنظم.
• بناء وتحسين بحيرات البيانات ومستودعات البيانات لدعم التحليلات وذكاء الأعمال.
• العمل مع تقنيات البيانات الكبيرة مثل كافكا، سبارك، هايف، ترينو، وأيرفلو.
• دمج البيانات من مصادر متعددة، بما في ذلك قواعد البيانات، واجهات برمجة التطبيقات، التدفقات، الملفات، والتخزين السحابي.
• ضمان جودة البيانات، ونزاهتها، وأمانها عبر جميع البيئات.
• التعاون مع علماء البيانات، والمحللين، ومهندسي DevOps لتقديم خدمات بيانات موثوقة.
• مراقبة، وتحليل المشاكل، وتحسين تدفقات البيانات من حيث الأداء وكفاءة التكلفة.
• توثيق خطوط البيانات، والمخططات، والعمليات للحفاظ على الصيانة.

المؤهلات:

• مهارات SQL قوية، بما في ذلك الاستعلامات المعقدة وضبط الأداء.
• خبرة عملية مع أطر البيانات الكبيرة: كافكا، سبارك، هايف، هادوب، ترينو.
• معرفة بأدوات ETL وجدولة سير العمل: أيرفلو، نيفي، dbt.
• إتقان في بايثون، جافا، أو سكالا لمعالجة البيانات.
• خبرة في نمذجة البيانات وتصميم المخططات لقواعد البيانات العلائقية وNoSQL.
• الإلمام بتخزين الكائنات ومنصات السحابة: مينيو، S3، GCP، أزور، أو السحابة الخاصة.
• فهم لممارسات CI/CD، Git، وتعبئة الحاويات (Docker/Kubernetes).