همهٔ درس‌ها

درس ۴ از ۴

سنجش کیفیت و بازده ایجنت

قبل از توسعهٔ دامنه، ارزش زمان و کیفیت نتیجه را در یک اجرای محدود اندازه بگیرید.

خط مبنا را ثبت کنید

زمان دستی، تعداد اجرا، نرخ خطا و کیفیت خروجی را برای همان نوع کار در چند نمونه ثبت کنید. کارهای ساده و استثناها را جدا برچسب بزنید.

زمان باقی‌مانده را حساب کنید

زمان انسانی پس از راه‌اندازی شامل آماده‌سازی، بازبینی، اصلاح، ارجاع و مداخله است. اختلاف زمان قبل و بعد را در حجم کار ماهانه ضرب کنید. هزینهٔ سرور، مدل، اتصال‌ها و سهم راه‌اندازی را در همان دوره لحاظ کنید.

معیار تصمیم را جلوتر تعیین کنید

پیش از اجرا مشخص کنید چه خطایی غیرقابل قبول است، چه درصدی از خروجی‌ها باید بدون اصلاح عمده پذیرفته شوند و چه زمانی به بازبینی انسانی ارجاع می‌دهید.

تمرین عملی

ده کار واقعیِ بدون اطلاعات حساس را بردارید. زمان و کیفیت دستی را با نسخهٔ پیش‌نویس‌محور مقایسه کنید و اعداد را در محاسبه‌گر بازده سایت وارد کنید.

راهنمای ارزیابی ریسک هوش مصنوعی مولد NIST