الوصف الوظيفي

الأدوار والمسؤوليات

المسؤوليات الرئيسية 1. التحقق من الذكاء الاصطناعي ونماذج اللغة الكبيرة (LeverEDGE)

اختبار غير حتمي: تصميم أطر آلية لتقييم مخرجات الذكاء الاصطناعي التوليدي من حيث الهلاوس، والاتساق، والدقة الواقعية مقابل مجموعة بيانات المعيار الذهبي.
تقييم RAG: تنفيذ مقاييس آلية (مثل، RAGAS، الأمانة، ملاءمة الإجابة) للتحقق من أن خطوط إنتاج التوليد المعززة بالاسترجاع تستشهد بدقة بالوثائق الفنية والتنظيمية.
الانحدار التحريري: تصميم مجموعات الانحدار لمراقبة انحراف المطالبات، وضمان أن التحديثات على النموذج لا تؤثر سلبًا على جودة الوثائق الهندسية التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

2. التكامل والتحقق من النظام

تكامل المؤسسات: بناء اختبارات قوية للتحقق من اتساق البيانات بين وكلاء الذكاء الاصطناعي والأنظمة الحرجة (مثل، SAP S/4HANA، Ariba)، لضمان سلامة قائمة المواد (BOM) والبيانات المالية.
مقاييس الأداء: تصميم اختبارات للتحقق من زمن الانتقال ومعدل النقل لنماذج التنبؤ ومحركات تقييم المخاطر باستخدام أدوات مثل Locust، JMeter، أو K6.
التحقق من واجهة برمجة التطبيقات والأمان: أتمتة اختبار بوابات واجهة برمجة التطبيقات الآمنة، والتحقق من التحكم في الوصول القائم على الدور (RBAC) ومنطق إزالة المعلومات الشخصية قبل وصول البيانات إلى نماذج الذكاء الاصطناعي.

3. الحوكمة وقابلية التتبع

محاذاة نموذج V: رسم خرائط حالات الاختبار الآلي إلى متطلبات النظام لإنشاء دليل رقمي للتقارير الرسمية للتحقق والتأكيد (V&V).
امتثال بوابة المرحلة: إعداد حزم جاهزية الاختبار للمراجعات الرسمية، وتقديم دليل كمي على أن الأنظمة مستقرة بما يكفي للانتقال من MVP إلى الإنتاج.
إدارة دورة حياة العيوب: إدارة حلقة التغذية الراجعة بين مساعدي جودة المتطلبات وفرق التطوير، وتتبع عيوب منطق الذكاء الاصطناعي إلى إصدارات النموذج المحددة.

ما ستجلبه المتطلبات التقنية

الأتمتة الأساسية: إتقان عالٍ في Python (Pytest) والمكتبات القياسية (Selenium/Playwright، Requests).
تقييم الذكاء الاصطناعي: خبرة عملية مع أطر تقييم LLM (مثل، DeepEval، TruLens) وإدارة مجموعة بيانات الحقيقة الأرضية.
هندسة الأداء: إتقان في تصميم خطط اختبار الأداء والتنفيذ (Locust، K6، إلخ).
تحقق البيانات: خبرة في SQL وأدوات جودة البيانات (مثل، Great Expectations) لبيانات Lakehouses وقواعد بيانات المتجهات.
CI/CD و DevOps: خبرة قوية في دمج بوابات الجودة في GitLab CI/CD أنابيب.
ممارسات الهندسة: فهم عميق لممارسات ضمان الجودة الحديثة، بما في ذلك Shift Left، هرم الاختبار، وهياكل Mono-repo.

الملف الشخصي المطلوب للمرشحين

تسعى AI71 إلى مهندس أتمتة ضمان الجودة أول لقيادة استراتيجيات التحقق والتأكيد لتحول مجموعة EDGE في الذكاء الاصطناعي. في هذا الدور، ستحدد كيف يبدو الجيد بالنسبة للأنظمة الذكية غير الحتمية، مما يضمن أن النماذج اللغوية الكبيرة (LLMs) ومحركات التنبؤ تلبي معايير الاعتمادية الصارمة المطلوبة لقطاعات الدفاع والشركات.

ستعمل كجسر بين تطوير Agile والهندسة النظامية الرسمية. مهمتك هي بناء أطر اختبار آلية تتحقق من سلوكيات الذكاء الاصطناعي مقابل مجموعات بيانات الحقيقة الأرضية وضمان أن وكلاء الذكاء الاصطناعي لدينا يجتازون مراجعات جاهزية الاختبار الصارمة Test Readiness Reviews (TRR) والتدقيقات الوظيفية للتكوين (FCA).

مهندس ضمان الجودة AI71

مهندس ضمان الجودة
AI71