درس ۳۶ از ۳۷ · بخش ریسک و ذهنیت

مفهوم بک‌تست

بک‌تست روشی برای آزمودن منظم قواعد معاملاتی بر داده‌های گذشته است که با سنجه‌های مناسب، آزمون خارج‌نمونه و تمرین کاغذی، شناخت واقع‌بینانه‌تری از ریسک می‌دهد.

مفهوم بک‌تست

بک‌تست (Backtesting) یعنی اجرای قواعدی از پیش نوشته‌شده بر داده‌های تاریخی و ثبت این‌که اگر همان قواعد، بدون اطلاع از آینده، اجرا می‌شدند چه نتیجه‌ای می‌دادند. هدف، انتخاب چند نمودار موفق نیست؛ پرسش اصلی این است که یک قانون در موقعیت‌های گذشته و شرایط گوناگون چگونه رفتار کرده است.

در بخش ریسک و ذهنیت، بک‌تست راهی برای تبدیل یک تصور کلی به مشاهده‌ای منظم است. در درس پیشین دیدیم که احساسات و خطاهای ذهنی می‌توانند تصمیم‌ها را تغییر دهند. بک‌تست می‌تواند نشان دهد که یک روش فرضی شاید دوره‌های زیان، چند نتیجه نامطلوب پیاپی یا افت‌های سنگین داشته باشد؛ چیزهایی که با نگاه انتخابی به چند نمونه، دیده نمی‌شوند.

این درس هیچ روش معاملاتی پیشنهاد نمی‌کند. بک‌تست در بهترین حالت شواهدی محدود از گذشته فراهم می‌کند، نه اثباتی برای آینده و نه مجوزی برای تصمیم‌گیری واقعی.

از ایده مبهم تا قانون قابل آزمون

جمله‌ای مانند «وقتی نمودار خوب به نظر می‌رسد...» قابل بک‌تست نیست، چون دو نفر ممکن است برداشت متفاوتی از آن داشته باشند. قانون باید آن‌قدر روشن باشد که فرد دیگری نیز با همان داده‌ها بتواند تقریباً همان نتایج را ثبت کند.

بخش قانون آنچه باید دقیق باشد
داده و بازه نوع داده، بازه زمانی و مقیاس زمانی
شرط آغاز رویداد عددی و زمان تأیید آن
زمان اجرا ثبت اقدام فرضی در همان لحظه یا بازه بعدی
شرط پایان رویداد خاتمه و محدودیت زیان فرضی
اندازه و هزینه اندازه موقعیت، کارمزد، فاصله قیمت‌های خریدوفروش و لغزش قیمت

برای یک مثال صرفاً ساختاری، قانون آزمایشی می‌تواند بگوید: «اگر شرط عددی A در پایان یک بازه برقرار بود، اقدام فرضی در آغاز بازه بعدی ثبت شود؛ اگر شرط B رخ داد، موقعیت پایان یابد.» شرط‌های A و B باید پیش از دیدن نتیجه، به‌صورت عدد یا فرمول نوشته شوند؛ نه اینکه بعداً با نگاه به نمودار تغییر کنند.

زمان‌بندی اهمیت زیادی دارد. اگر تصمیم پس از پایان یک بازه گرفته می‌شود، فرض اجرای دقیق با قیمت پایان همان بازه معمولاً واقع‌بینانه نیست؛ زیرا آن قیمت هنگام تصمیم‌گیری گذشته است. استفاده از اطلاعاتی که در آن لحظه هنوز معلوم نبوده، «سوگیری نگاه به آینده» (Look-ahead Bias) نام دارد و می‌تواند نتیجه را به‌طور غیرواقعی جذاب نشان دهد.

داده، هزینه و محدودیت‌های آزمون

بک‌تست فقط به اندازه داده‌ها و فرض‌هایش اعتبار دارد. داده تاریخی ممکن است ناقص، اصلاح‌شده یا دارای خطای ثبت باشد. اگر داده فقط قیمت آغاز، بیشینه، کمینه و پایان هر بازه را داشته باشد، ترتیب دقیق رخدادها درون آن بازه معلوم نیست. در نتیجه، شاید مشخص نباشد کدام‌یک از دو شرط، واقعاً زودتر رخ داده است.

حذف دارایی‌هایی که در گذشته از مجموعه داده کنار رفته‌اند نیز می‌تواند نتیجه را خوش‌بینانه کند؛ این مسئله «سوگیری بقا» (Survivorship Bias) نام دارد. همچنین کارمزد، لغزش قیمت، اجرای ناقص و فاصله میان قیمت مورد انتظار و قیمت قابل اجرا می‌توانند نتیجه‌ای کم‌فاصله را کاملاً تغییر دهند. آزمونی که همیشه اجرای کامل در یک قیمت ایده‌آل را فرض می‌کند، معمولاً خوش‌بینانه‌تر از واقعیت است.

حتی داده‌های طولانی و پاک هم همه شرایط آینده را نمایندگی نمی‌کنند. رخدادهای نادر، دوره‌های بسیار آرام یا بسیار پرنوسان و تغییر در رفتار معامله‌گران ممکن است در بازه انتخاب‌شده کم‌رنگ باشند.

سنجه‌های مهم: فقط نتیجه نهایی را نبینید

خروجی بک‌تست باید با چند سنجه خوانده شود، زیرا یک عدد نهایی، مسیر رسیدن به آن را پنهان می‌کند.

سنجه تعریف ساده محدودیت مهم
نرخ برد (Win Rate) نسبت موقعیت‌های مثبت به همه موقعیت‌های بسته‌شده بزرگی سودها و زیان‌ها را نشان نمی‌دهد.
امید ریاضی (Expectancy) میانگین نتیجه هر موقعیت پس از هزینه‌های فرضی با نمونه کم یا شرایط تغییرکرده، ممکن است ناپایدار باشد.
بیشترین افت سرمایه (Max Drawdown) بزرگ‌ترین کاهش از یک اوج قبلی تا کف بعدی فقط بدترین افت را نشان می‌دهد، نه همه دشواری‌های مسیر.

برای یک دارایی فرضی، تصور کنید در ۱۰۰ موقعیت آزمایشی، ۴۵ موقعیت به‌طور میانگین ۳ واحد نتیجه مثبت و ۵۵ موقعیت به‌طور میانگین ۱٫۵ واحد نتیجه منفی داشته‌اند؛ همه اعداد پس از هزینه‌های فرضی هستند. نرخ برد ۴۵٪ است، اما امید ریاضی هر موقعیت چنین می‌شود:

(۰٫۴۵ × ۳) − (۰٫۵۵ × ۱٫۵) = ۰٫۵۲۵ واحد

پس نرخ برد پایین‌تر از نصف، لزوماً به معنای نتیجه تاریخی ضعیف نیست. به همین شکل، نرخ برد بالا نیز بدون دیدن اندازه زیان‌ها، هزینه‌ها و تعداد زیان‌های پیاپی معنای کاملی ندارد.

منحنی سرمایه (Equity Curve) ترتیب نتایج را نشان می‌دهد. در نمودار ساختگی زیر، ناحیه سایه‌دار بزرگ‌ترین فاصله از یک اوج قبلی تا کف بعدی، یعنی بیشترین افت سرمایه، را نمایش می‌دهد.

منحنی دارایی فرضی با بیشینه افت سایه‌دار
منحنی دارایی فرضی با بیشینه افت سایه‌دار

حتی اگر منحنی در پایان بالاتر باشد، ممکن است در میانه مسیر افتی داشته باشد که از نظر مالی یا ذهنی تحمل آن دشوار است. بک‌تست نمی‌تواند واکنش احساسی فرد را پیش‌بینی کند، اما می‌تواند چنین دوره‌هایی را قابل مشاهده و ثبت کند.

درون‌نمونه، خارج‌نمونه و خطر بیش‌برازش

برای کاهش خودفریبی، داده‌ها معمولاً به ترتیب زمانی به دو بخش تقسیم می‌شوند: داده درون‌نمونه (In-sample) برای ساخت و اصلاح محدود قواعد، و داده خارج‌نمونه (Out-of-sample) برای آزمودن همان قواعد بر بخشی که هنگام طراحی دیده نشده است.

برای نمونه، بخش قدیمی‌تر داده می‌تواند برای تعریف قانون استفاده شود. پس از آن، همه جزئیات مانند پارامترها، زمان اجرا و هزینه‌های فرضی باید ثابت شوند و فقط یک‌بار روی بخش جدیدتر سنجیده شوند. اگر پس از دیدن نتیجه خارج‌نمونه، قانون را تغییر دهیم و دوباره همان داده را بررسی کنیم، آن بخش دیگر مستقل نیست.

بیش‌برازش (Overfitting) زمانی رخ می‌دهد که قانون، به‌جای پیدا کردن الگویی نسبتاً پایدار، جزئیات تصادفی گذشته را حفظ می‌کند. افزودن فیلترهای فراوان، انتخاب استثناها و تنظیم مکرر عددها ممکن است منحنی گذشته را بسیار خوب نشان دهد، اما در داده ندیده‌شده ضعیف عمل کند.

نمودار ساختگی زیر این خطر را نشان می‌دهد: یک قانون ممکن است در بخش درون‌نمونه بسیار خوب ظاهر شود، اما پس از قفل‌شدن در بخش خارج‌نمونه نتیجه ضعیفی داشته باشد.

برازش بیش‌ازحد: درون‌نمونه عالی، برون‌نمونه ضعیف
برازش بیش‌ازحد: درون‌نمونه عالی، برون‌نمونه ضعیف

منحنی بسیار صاف، تعداد زیاد تنظیمات و وابستگی شدید نتیجه به تغییر کوچک یک عدد، نشانه‌های هشدارند؛ نه حکم قطعی. پایداری در چند دوره متفاوت معمولاً اطلاعات مفیدتری از بهترین نتیجه ممکن روی یک بازه واحد می‌دهد.

از گذشته به تمرین کاغذی

تمرین یا معامله کاغذی (Paper Trading) یعنی اجرای قواعد قفل‌شده با داده‌های تازه، بدون استفاده از سرمایه واقعی. با رسیدن هر داده جدید، زمان مشاهده، تصمیم فرضی، قیمت اجرای واقع‌بینانه، هزینه و نتیجه ثبت می‌شود. تفاوت اصلی آن با بک‌تست این است که در تمرین کاغذی، نتیجه هنگام ثبت تصمیم هنوز معلوم نیست.

این مرحله می‌تواند نشان دهد که آیا قواعد واقعاً قابل اجرا و ثبت منظم هستند یا نه. با این حال، تمرین کاغذی هم شبیه‌سازی است: فشار مالی واقعی، واکنش‌های احساسی و اجرای ناقص را به‌طور کامل بازآفرینی نمی‌کند. ثبت زمان‌دار و خودداری از تغییر قانون در میانه کار، برای یادگیری صادقانه اهمیت دارد.

یک چرخه یادگیری منظم

یک فرایند آموزشی سالم با نوشتن فرض و قواعد شروع می‌شود، سپس داده‌ها و هزینه‌ها را بررسی می‌کند، بخش خارج‌نمونه را دست‌نخورده نگه می‌دارد، سنجه‌ها و دوره‌های بد را کنار نتیجه نهایی می‌گذارد و در پایان با تمرین کاغذی، امکان اجرای فرض‌ها را می‌سنجد.

هر تغییر مهم در قانون، در واقع یک فرض تازه است و نباید با نتیجه نسخه قبلی مخلوط شود. این نظم جای روان‌شناسی معامله‌گری را نمی‌گیرد؛ سوگیری تأیید، خاطره‌گزینی و میل به تغییر قانون پس از چند نتیجه نامطلوب همچنان ممکن است رخ دهد. در درس بعدی، همین نگاه انتقادی برای شناخت اشتباهات رایج در تحلیل تکنیکال به کار می‌آید.

خودت را بسنج

۱. چرا نرخ برد بالا به‌تنهایی برای ارزیابی یک قانون کافی نیست؟
پاسخ: چون اندازه سودها، زیان‌ها، هزینه‌ها و ترتیب افت‌ها را نشان نمی‌دهد.
۲. اگر پس از دیدن نتیجه خارج‌نمونه قانون را تغییر دهیم، چه مشکلی پیش می‌آید؟
پاسخ: آن داده دیگر مستقل نیست و احتمال بیش‌برازش افزایش می‌یابد.
۳. تفاوت اصلی بک‌تست و تمرین کاغذی چیست؟
پاسخ: بک‌تست بر داده‌های گذشته انجام می‌شود؛ در تمرین کاغذی تصمیم با داده‌های تازه و پیش از معلوم‌شدن نتیجه ثبت می‌شود.