بکتست قرار است نشان دهد یک قاعده معاملاتی در دادههای گذشته چگونه عمل میکرده است؛ اما اگر داده یا روش آزمون ایراد داشته باشد، نتیجه میتواند بهجای سنجش مهارت استراتژی، محصول خطای پژوهشگر باشد. دو خطر مهم در این فرایند «سوگیری نگاه به آینده» و «بیشبرازش» هستند.
سوگیری نگاه به آینده چیست؟
این خطا زمانی رخ میدهد که در شبیهسازی، اطلاعاتی وارد تصمیم معامله شود که در لحظه واقعی معامله هنوز در دسترس نبوده است. برای مثال، اگر سیگنال خرید با قیمت بستهشدن کندل روزانه محاسبه شود اما در همان قیمت بستهشدن اجرا فرض شود، ممکن است الگوریتم از قیمتی استفاده کرده باشد که پس از پایان کندل معلوم شده است. در بازار واقعی، معاملهگر باید بعد از تأیید داده اقدام کند و معمولاً قیمت اجرا متفاوت خواهد بود.
نمونههای رایج نشت اطلاعات
- استفاده از مقدار اندیکاتور نهایی کندل در زمانی که کندل هنوز بسته نشده است.
- محاسبه میانگین یا نرمالسازی با کل مجموعه داده، از جمله بخش آزمون آینده.
- استفاده از داده اصلاحشدهای که در تاریخ موردنظر هنوز منتشر نشده بود.
- ورود در قیمت بستهشدن همان کندلی که سیگنال آن با همان قیمت نهایی تولید شده است.
بیشبرازش چگونه رخ میدهد؟
فرض کنید معاملهگر دهها ترکیب از دوره RSI، میانگین متحرک، حد ضرر و حد سود را امتحان میکند و در پایان بهترین نتیجه را انتخاب میکند. حتی اگر قواعد هیچ مزیت واقعی نداشته باشند، جستوجوی گسترده ممکن است یک ترکیب را پیدا کند که تصادفاً روی گذشته عالی به نظر برسد. پژوهش Bailey و همکاران نشان میدهد با افزایش تعداد پیکربندیهای آزمودهشده، احتمال بیشبرازش بکتست بیشتر میشود.
روش عملی طراحی آزمون معتبر
۱. فرضیه را قبل از آزمون بنویسید
قاعده ورود، خروج، حد ضرر، بازار هدف، تایمفریم و شرایطی را که استراتژی نباید معامله کند، پیش از مشاهده نتیجه مشخص کنید. هر تغییر بعدی را بهعنوان آزمایش تازه ثبت کنید.
۲. داده را زمانی تقسیم کنید
بهجای تقسیم تصادفی دادههای سری زمانی، بخش قدیمیتر را برای طراحی و بخش جدیدتر را برای آزمون خارج از نمونه نگه دارید. سپس از روش walk-forward استفاده کنید: استراتژی در پنجره گذشته تنظیم شود و روی پنجره بعدی ارزیابی گردد.
۳. هزینه اجرا را واقعی وارد کنید
اسپرد، کمیسیون، سوآپ، لغزش قیمت، تأخیر و احتمال پرنشدن سفارش را لحاظ کنید. استراتژیای که فقط با اجرای ایدهآل سودآور است، احتمالاً در حساب واقعی دوام نمیآورد.
۴. همه آزمایشها را ثبت کنید
فقط نسخه برنده را گزارش نکنید. تعداد تنظیمات امتحانشده، بازارها و دورههای آزمون را نگه دارید. در غیر این صورت، عملکرد عالی ممکن است نتیجه انتخاب پس از مشاهده باشد.
مثال کاربردی
فرض کنید استراتژی شکست سقف ۲۰ کندل را آزمایش میکنید. سیگنال تنها پس از بستهشدن کندل بالای سقف معتبر است. اجرای محافظهکارانه میتواند در قیمت بازشدن کندل بعدی یا قیمت قابلدسترس بعد از تأیید فرض شود، نه در نقطهای که هنوز معلوم نبوده کندل بالای سطح بسته خواهد شد. سپس باید هزینه اسپرد و لغزش را از نتیجه کم کنید و عملکرد را روی بازهای که در طراحی استفاده نشده بسنجید.
برای بررسی ساختار قیمت و خطاهای شکست، مقاله راهنمای شکست معتبر و شکست کاذب را ببینید. همچنین چارچوب ترکیب اندیکاتور و مدیریت ریسک کمک میکند نتیجه بکتست به اندازه موقعیت و زیان احتمالی متصل شود.
جمعبندی
بکتست معتبر باید اطلاعات در دسترس در لحظه تصمیم را بازسازی کند، هزینههای واقعی را لحاظ کند و در داده خارج از نمونه نیز دوام بیاورد. هرچه تعداد تنظیمات آزمایششده بیشتر باشد، نیاز به کنترل بیشبرازش جدیتر است. نمودار سودآور گذشته، بدون روش آزمون شفاف، مدرک کافی برای مزیت معاملاتی نیست.
منابع
- Bailey و López de Prado، مقاله درباره بیشبرازش بکتست، Oxford Academic
- The Probability of Backtest Overfitting، University of California eScholarship
سلب مسئولیت: این مطلب آموزشی است و عملکرد هیچ استراتژی را تضمین نمیکند. نتایج تاریخی ممکن است در شرایط بازار آینده تکرار نشوند.
