یادگیری ماشین از مسئله تا ارزیابی
مدل خوب فقط دقت بالا ندارد؛ باید در برابر داده جدید هم قابل اعتماد باشد.
۱مسئله و معیار موفقیت
برای پیش‌بینی ریزش مشتری، ابتدا تعریف ریزش و هزینه خطای مثبت و منفی را تعیین کن. Accuracy همیشه معیار کافی نیست.
۲جلوگیری از نشت داده
داده‌های آموزش و آزمون را پیش از هر تبدیل وابسته به داده جدا کن. میانگین‌گیری و مقیاس‌بندی باید فقط بر داده آموزش یاد گرفته شوند.
۳از baseline عبور کن
یک مدل ساده را به عنوان خط پایه نگه دار، سپس با اعتبارسنجی و بررسی خطا تصمیم بگیر پیچیدگی بیشتر واقعاً ارزش دارد یا نه.
۴خط پایه و داده آزمون
برای پیش‌بینی ریزش، داده را بر اساس زمان جدا کن تا رفتار آینده وارد آموزش نشود. یک پیش‌بین ساده که همه را در کلاس غالب می‌گذارد بساز و سپس precision و recall مدل را با آن مقایسه کن.
۵تفسیر خطا
ماتریس درهم‌ریختگی را بخوان: مشتریان در معرض ریزش که از دست رفته‌اند کدام‌اند؟ هزینه تماس اضافه را کنار هزینه از دست دادن مشتری قرار بده تا آستانه تصمیم را آگاهانه انتخاب کنی.
۶تمرین عملی
یک pipeline پیش‌پردازش و مدل بساز. داده آزمون را تا پایان تنظیم پارامترها کنار بگذار و در گزارش معیار خط پایه، معیار مدل و محدودیت داده را بنویس.
✓جمع‌بندی و گام بعدی
- مفهوم اصلی «یادگیری ماشین از مسئله تا ارزیابی» را با یک مثال کوچک روی داده خودت تمرین کن.
- قبل از افزودن پیچیدگی، نتیجه را با یک خط پایه ساده مقایسه کن.
- پس از مطالعه، همین الگو را در یک پروژه واقعی به کار بگیر.