چه چیزی را، چگونه می‌سنجیم و نتیجه چه بوده است. این صفحه از روی نتایج ثبت‌شده ساخته می‌شود؛ هیچ عددی در آن دستی نوشته نشده است.
ساختگی
آدم‌ها و یادداشت‌ها همه ساختگی‌اند. در هیچ ارزیابی‌ای از داده‌ی آدم واقعی استفاده نشده است.
این صفحه هر بار که ارزیابی‌ها ثبت می‌شوند، با evals/page.py از روی نتایج ثبت‌شده در evals/results دوباره ساخته می‌شود. تازه‌ترین نتایج: 20261019T055740-code.json، 20261019T055626-model.json.
چگونه می‌سنجیم
ارزیابی‌های کدی قطعی‌اند. با هر تغییر اجرا می‌شوند و اگر به حدّی نرسند، ساخت شکست می‌خورد.
ارزیابی‌های مدلی دست‌کم سه بار اجرا می‌شوند. مدل پیشنهاد می‌دهد و کد پیشنهادش را می‌سنجد. میانه، بازه‌ی میان اجراها، توکن‌های ورودی و خروجی و زمان هر فراخوانی ثبت می‌شود. از هر پرونده‌ای که متنش به مدل می‌رسد اثری (hash) نگه داشته می‌شود؛ اگر یکی تغییر کند، اجرای ثبت‌شده دیگر حساب نیست تا دوباره اجرا شود.
هر حد از روی وعده‌ی 3P گذاشته شده، نه از روی نمره‌ای که گرفته است. پایین آوردنش تصمیمی مکتوب لازم دارد.
هزینه فقط از روی قیمت منتشرشده نشان داده می‌شود. هنوز قیمتی ثبت نشده، پس به‌جای حدس می‌نویسد «حساب نشده».
با کد سنجیده می‌شود، با هر تغییر
زمان ثبت · نسخه 9d5b55d+changes · روی macOS-26.6.2-arm64-arm-64bit-Mach-O
وقتی دو نفر هم را می‌بینند: فقط وقتی دلیلی هست حرف بزند، و منبعش را بگوید
وقتی دو نفر هم را می‌بینند، آیا 3P فقط وقتی دلیلی هست حرف می‌زند، منبعش را می‌گوید و در غیر این صورت ساکت می‌ماند، حتی وقتی طرف مقابل آن موضوع را ممنوع کرده است؟ حالت‌های جهت‌دار به انگلیسی و فارسی، روی کارت‌های واقعیِ امضاشده.
سنجه
نتیجه
باید باشد
برآورده شد
دقت
۱
≥ ۰٫۹۵
برآورده شد
بازیابی
۱
≥ ۰٫۹
برآورده شد
سکوت وقتی ربطی نیست
۱
≥ ۰٫۹۵
برآورده شد
سکوت زیر قاعده‌ی افشا
۱
= ۱
برآورده شد
نشت از قاعده‌ی افشا
۰
= ۰
برآورده شد
ارجاع ساختگی یا بی‌ارجاع
۰
= ۰
برآورده شد
جهت‌های سنجیده
۲۵۲
دقت (انگلیسی)
۱
بازیابی (انگلیسی)
۱
دقت (فارسی)
۱
≥ ۰٫۹۵
برآورده شد
بازیابی (فارسی)
۱
≥ ۰٫۹
برآورده شد
اصول تخطی‌ناپذیر، هر کدام با آزمون‌هایش
آیا هر اصل تخطی‌ناپذیر هنوز برقرار است؟ هر کدام به آزمون‌هایی بسته است که اگر دیگر درست نباشد شکست می‌خورند، و آن آزمون‌ها اجرا می‌شوند.
سنجه
نتیجه
باید باشد
برآورده شد
برقرار
۱
= ۱
برآورده شد
بررسی‌کننده با بردارهای آزمون مشترک هم‌خوان است
آیا بررسی‌کننده با بردارهای آزمون مشترکی که مرورگرها هم می‌سنجند، هم‌خوان است؟
سنجه
نتیجه
باید باشد
برآورده شد
هم‌خوانی
۱
= ۱
برآورده شد
بردار
۱۳
شکل متعارف
۱۵
دستگاه گم شود، با برگه‌ی کاغذی برگرد
آیا کسی که دستگاهش را گم کرده، می‌تواند گام‌به‌گام با برگه‌ی کاغذیِ دوباره‌تایپ‌شده برگردد؟
سنجه
نتیجه
باید باشد
برآورده شد
گام‌های برقرار
۱
= ۱
برآورده شد
گام
۱۲
فارسی همه‌جا یک‌جور خوانده می‌شود
آیا املاهای گوناگونِ یک واژه‌ی فارسی به هم می‌رسند و واژه‌های متفاوت از هم جدا می‌مانند؟
سنجه
نتیجه
باید باشد
برآورده شد
املاهای گوناگون به هم می‌رسند
۱
= ۱
برآورده شد
واژه‌های متفاوت جدا می‌مانند
۱
= ۱
برآورده شد
برچسب‌ها خوانده می‌شوند
۱
= ۱
برآورده شد
سرعت روی این دستگاه
آیا نوشتن یک یادداشت فوری است، و امضا و بررسی یک کارت سریع؟
سنجه
نتیجه
باید باشد
برآورده شد
ثبت یادداشت، میانه (میلی‌ثانیه)
۰٫۴۰۷
ثبت یادداشت، صدک ۹۵ (میلی‌ثانیه)
۰٫۴۸۵
≤ ۵۰
برآورده شد
ساخت و امضای بسته‌ی ۳۰۰ یادداشتی (میلی‌ثانیه)
۲۷٫۶۴۶
≤ ۱۵۰۰
برآورده شد
تأیید یک بسته (میلی‌ثانیه)
۲۵٫۳۷۸
≤ ۲۰۰
برآورده شد
با مدل سنجیده می‌شود، دست‌کم سه بار
زمان ثبت · نسخه 9d5b55d+changes · روی macOS-26.6.2-arm64-arm-64bit-Mach-O
چهره‌ها از الگوها پیدا می‌شوند، نه از اعلام
آیا چهره‌ها از الگوها پیدا می‌شوند، بی‌برچسب و بی‌اعلام؟ یک آدم ساختگی با سه خود؛ کد شواهد هر پیشنهاد را نمره می‌دهد.
مدل claude-opus-5-5, anthropic · ۳ بار اجرا · ۳ فراخوانی مدل · توکن ورودی / خروجی ۶۱۲۹ / ۲۹۸۴ · زمان هر فراخوانی، میانه / صدک ۹۵ ۱۱۴۳۶ / ۱۱۷۳۵ میلی‌ثانیه · هزینه: حساب نشده: قیمت منتشرشده‌ای ثبت نشده است
سنجه
نتیجه
باید باشد
برآورده شد
خودهای پیداشده
۱
= ۱
برآورده شد
کمترین خلوص
۱
≥ ۰٫۹
برآورده شد
میانگین خلوص
۱
پیشنهاد
۳
«آنچه حالا مهم است» از همین هفته می‌آید
آیا «آنچه حالا مهم است» از همین هفته می‌آید؟ یک هفته‌ی ساختگی با سه هدفِ کاشته‌شده و پروژه‌ای قدیمی که نباید برگردد.
مدل claude-opus-5-5, anthropic · ۳ بار اجرا · ۳ فراخوانی مدل · توکن ورودی / خروجی ۲۸۷۱ / ۳۹۲ · زمان هر فراخوانی، میانه / صدک ۹۵ ۲۷۳۰ / ۳۱۳۷ میلی‌ثانیه · هزینه: حساب نشده: قیمت منتشرشده‌ای ثبت نشده است
سنجه
نتیجه
باید باشد
برآورده شد
هدف‌های پیداشده
۱
≥ ۰٫۶۶
برآورده شد
پیشنهاد
۳
دقت
۱
≥ ۰٫۷۵
برآورده شد
کنارگذاشته‌شده به دست کد
۰
نشت پروژه‌ی قدیمی
۰
= ۰
برآورده شد
با آدم‌ها
هنوز هیچ مطالعه‌ای با آدم‌ها انجام نشده است. بسته‌ی مطالعه آماده است؛ هیچ‌چیز اینجا از شرکت‌کنندگان نیامده است.
آنچه این عددها نشان نمی‌دهند
همه‌ی ارزیابی‌ها با آدم‌های ساختگی‌اند. یادداشت‌های واقعی نامرتب‌ترند.
مجموعه‌ی دیدارها را همان کسی نوشته که کد را بر اساس مشکلاتش درست کرده است؛ پس نمره‌هایش شاهد مستقلی نیست. مجموعه‌ای لازم است که کس دیگری نوشته باشد.
کارهای مدل آسان‌اند: سه خودِ آشکارا متفاوت، سه هدفِ آشکارا کاشته‌شده. نمره‌ی کامل اینجا یعنی سازوکار کار می‌کند، نه اینکه کشف روی یک زندگی واقعی کار می‌کند.
سرعت روی یک لپ‌تاپ سنجیده شده است.
هیچ‌چیز اینجا نمی‌سنجد که آیا آدم‌ها 3P را سودمند می‌یابند. برای آن مطالعه با آدم‌ها لازم است.