شواهد میدانی و آزمون‌های کنترل‌شده را مرور کنید، بعد ارزش یک فرایند را با زمان، هزینه و کیفیت کار خودتان بسنجید.
نوع ابزار و محیط مطالعه کنار هر نتیجه آمده‌اند تا مقایسه در همان زمینه انجام شود.
مطالعهٔ میدانی · دستیار انسانی
۱۵٪ افزایش متوسط
۵٬۱۷۲ کارشناس پشتیبانی
با دسترسی به دستیار مولد، تعداد مسائل حل‌شده در هر ساعت به‌طور متوسط ۱۵٪ بیشتر شد. اندازهٔ اثر میان کارکنان متفاوت بود.
برای تیم خود، زمان و کیفیت پاسخ را بر اساس نوع درخواست و تجربهٔ همکار بسنجید.
Brynjolfsson، Li و Raymond · QJE، ۲۰۲۵آزمایش تصادفی میدانی · ایجنت خودکار · پیش‌چاپ
گفت‌وگوی کوتاه‌تر، امتیاز پایین‌تر
درخواست‌های واجد شرایط در Taobao
ایجنت زمان متوسط گفت‌وگو را کم کرد و امتیاز گفت‌وگوهای واجد شرایط پایین آمد. مداخلهٔ انسانی در ارجاع‌های فنی و موارد نارضایتی اثر متفاوتی داشت.
سرعت، رضایت مشتری و زمان ارجاع را کنار هم پایش کنید.
Wang و همکاران · پیش‌چاپ، ۲۰۲۶آزمایش تصادفی میدانی · دستیار انسانی
حدود ۲ ساعت کمتر در هفته
۷٬۱۳۷ نفر در ۶۶ شرکت
در نیمهٔ دوم آزمایش شش‌ماهه، گروهی از کارکنان دریافت‌کننده که واقعاً از ابزار استفاده کردند حدود دو ساعت در هفته کمتر برای ایمیل وقت گذاشتند.
میزان استفادهٔ واقعی و زمان اصلاح را کنار صرفه‌جویی زمانی ثبت کنید.
Dillon و همکاران · NBER Working Paper، ۲۰۲۵آزمایش میدانی · دستیار انسانی
بیش از ۲۵٪ سریع‌تر در وظایف مناسب
۷۵۸ مشاور BCG
در تکالیفی که در محدودهٔ توان مدل بودند، سرعت و کیفیت بالاتر رفت. نتیجه به نوع تکلیف بستگی داشت.
پیش از گسترش، کارهای مبهم یا با پیامد سنگین را جداگانه آزمایش کنید.
Dell’Acqua و همکاران · Harvard/BCG، ۲۰۲۳آزمایش تصادفی · ابزار توسعه
۱۹٪ زمان بیشتر در مطالعهٔ ۲۰۲۵
۱۶ توسعه‌دهندهٔ باتجربه، ۲۴۶ کار
در مطالعهٔ اولیهٔ METR، تکمیل کار با ابزارهای همان دوره طولانی‌تر شد. گزارش بعدی در ۲۰۲۶ محدودیت‌های نمونه‌گیری و سنجش را برای تخمین اثر جدید توضیح داد.
زمان بازبینی کد، تست و اصلاح را در خط مبنای تیم خود وارد کنید.
METR · مطالعهٔ ۲۰۲۵ و پیگیری ۲۰۲۶بنچمارک · ایجنت ابزارمحور
پایایی کمتر در تکرار یک سناریو
سناریوهای شبیه‌سازی‌شدهٔ خرده‌فروشی و سفر
در نسخهٔ اولیهٔ τ-bench، تکمیل یک کار در یک اجرا و موفقیت همان کار در چند اجرای متوالی تفاوت قابل توجهی داشت.
هر سناریوی مهم را چند بار تکرار کنید و وضعیت نهایی ابزارها را با خروجی مورد انتظار بسنجید.
Yao و همکاران · τ-bench، ۲۰۲۴عددهای اولیه یک مثال‌اند. هزینهٔ ابزار، پشتیبانی و سهم راه‌اندازی را طبق فرایند خود وارد کنید.
ورودی‌های آغازین یک مثال فرضی‌اند. برای مقایسه با بودجهٔ خودتان، هزینه‌های جاری و دستمزد را بررسی و اعداد را جایگزین کنید.
برای زمان بعد از ایجنت، بازبینی، اصلاح و ارجاع انسانی را هم حساب کنید.
ارزش زمان آزادشده با ضرب زمان در ارزش ساعتی محاسبه می‌شود. تبدیل این زمان به صرفه‌جویی نقدی به نحوهٔ استفاده از ظرفیت آزادشده بستگی دارد.
نتایج مدل را با نتیجهٔ دستی برای همان دسته از کارها مقایسه کنید.
نرخ تکمیل درست، خطای مهم، اصلاح انسانی و پایداری در تکرار را ثبت کنید. در پشتیبانی، امتیاز رضایت و بازشدن دوبارهٔ تیکت را هم بسنجید.
میانه و موارد کندِ زمان پاسخ، هزینهٔ هر کار موفق و زمان بازبینی و ارجاع را اندازه بگیرید. کل هزینه را در همان بازه با خط مبنا مقایسه کنید.