مهندس تقييم وكلاء مستقلين

Mindrift

نحن نبني مجموعة بيانات لتقييم وكلاء البرمجة بالذكاء الاصطناعي ومدى كفاءة النموذج في التعامل مع مهام المطورين في العالم الحقيقي. ستقوم بإنشاء مهام تحدي ومعايير تقييم ضمن بيئات محاكاة واقعية:

• بناء شركات افتراضية تتبع خطة عالية المستوى - قاعدة الشيفرة، البنية التحتية، والسياق (المحادثات، الوثائق، التذاكر) التي تشكل بيئة واقعية مع تاريخ تطوير
• تجميع ومعايرة المهام من حالات وسيطة للشركة الافتراضية: صياغة التعليمات، تحديد معايير التقييم، وضمان أن تكون المهمة قابلة للحل وأن يكون التقييم عادلاً
• تصميم مهام موضوعة في بيئات معزولة - محاكيات لمحطة عمل مطور: جهاز لينكس مع أدوات تطوير (طرفية، CLI)، خوادم MCP (مستودع، متعقب المهام، مراسل، وثائق، إلخ)، وقاعدة شيفرة تطبيق ويب حقيقي
• كتابة اختبارات تقبل جميع الحلول الصحيحة وترفض الحلول غير الصحيحة - لا تكون صارمة للغاية (تحطيم على طرق صحيحة) ولا متساهلة للغاية (تمرير الحلول السيئة)
• التكرار مع وكيل ذكاء اصطناعي على الاختبارات - التحقق من أنها تكتشف المشكلات الحقيقية، ولا تفوت الحلول السيئة، ولا تتحطم على الجيدة
• مراجعة الشيفرة المكتوبة من قبل الوكلاء، تحليل سبب فشل أو نجاح الوكيل، وتصميم حالات حافة وسيناريوهات عدائية
• التكرار بناءً على الملاحظات من مراجعي الجودة الخبراء الذين يقيمون عملك على معايير الجودة

ما هذا ليس

• ليس تصنيف بيانات
• ليس هندسة تعليمات
• ليس كتابة الشيفرة من الصفر - الوكيل يكتب معظم الشيفرة؛ أنت توجه وتقيم

جزء كبير من العمل يتم بالتعاون مع الذكاء الاصطناعي - من الصعب جدًا إنشاء مهام تتحدى النماذج المتقدمة دون استخدام النماذج المتقدمة.

لماذا هذا صعب

1. النماذج المتقدمة جيدة بالفعل في البرمجة. إنشاء مهمة تتحدى حقًا أفضل النماذج ليس بالأمر التافه. تحتاج إلى فهم عميق لمكان فشل النماذج وما هي السيناريوهات التي تكشف الفرق بين الحل الجيد والسيئ.
2. تحتوي المهام على العديد من الحلول الصحيحة. كتابة اختبارات تقبل جميع الحلول الصحيحة وترفض الحلول غير الصحيحة أصعب مما يبدو.