90 Dana Bot Test: Kada Znaš Bot Radi vs Kad je Uzorak Premali

Bot ti je dve nedelje u plusu i već misliš da si našao mašinu za novac. Ili je tri dana u minusu pa ga gasiš i tražiš sledećeg. Oba puta grešiš iz istog razloga: uzorak je premali da bilo šta znači. Na malom broju trejdova i najbolji bot ume da izgleda kao katastrofa, a najgori kao genije, prosto zato što je sreća u kratkom roku glasnija od strategije.

Ovaj tekst je o tome kako da razdvojiš signal od šuma dok testiraš bota. Zašto devedeset dana, a ne tri, kako varijansa vara na kratko, po kojim kriterijumima gasiš bota, i kako izgleda protokol koji sam sebi postavio za Hermesa pre nego što bilo koji bot dotakne pravi novac.

Zašto je mali uzorak lažljiv#

Svaki bot ima loše i dobre nizove, isto kao što novčić ume da padne pet puta zaredom na istu stranu iako je pošten. Ako gledaš bota kroz deset trejdova, ono što vidiš je najviše sreća te nedelje, ne njegova prava vrednost. Tek kad se broj trejdova popne na stotine, sreća se poništi i ostane ono što strategija stvarno donosi.

Zato je pitanje koliko dugo testirati zapravo pitanje koliko trejdova ti treba da sreća prestane da bude glavni glumac. Bot koji trguje nekoliko puta dnevno za devedeset dana napravi dovoljno trejdova da rezultat počne nešto da znači. Isti taj bot za tri dana napravi šačicu trejdova iz koje ne možeš zaključiti ništa, ma koliko lepo ili ružno izgledali. Kratak uzorak ne radi kao umanjena verzija dugog. On je čista buka u kojoj čuješ šta god poželiš da čuješ.

Mali uzorak vara i naviše i naniže. Nekoliko dobrih trejdova u nizu te ubedi da si našao mašinu, pa uložiš pravi novac baš pred loš niz. Nekoliko loših te uplaši i ugasiš bota koji je zapravo bio dobar. Devedeset dana ne postoji da ti da lep broj, već da ti da dovoljno trejdova da odluka bude o strategiji, a ne o sreći.

Zamisli bota koji je u proseku tačan u šest od deset trejdova, što je solidno. Na deset trejdova taj isti bot lako da ti pokaže četiri od deset u lošoj nedelji ili osam od deset u dobroj, prosto zbog rasporeda sreće. Gledaš isti bot, a broj skače nagore-dole i navodi te na pogrešnu odluku. Na tri stotine trejdova taj skok se stisne oko pravih šest od deset i tek tada vidiš ko je bot zaista. Zato je uzorak od desetak trejdova beskoristan za odluku, ma koliko ubedljivo izgledao, a stotine trejdova daju sliku na koju možeš da se osloniš.

Šta ti Sharpe zapravo govori#

Kad meriš bota, sam profit ne kaže dovoljno. Bot koji je zaradio deset procenata uz mirnu, ravnu krivu i bot koji je zaradio istih deset procenata uz divlje skokove i padove nisu isti bot, iako je broj na kraju isti. Prvi je stabilan, drugi te je vozio kroz pakao za isti rezultat, i mnogo je verovatnije da će te drugi jednom obrisati.

Tu ulazi Sharpe odnos. On meri koliko prinosa dobiješ po jedinici rizika, to jest koliko je zarada velika u odnosu na to koliko se kriva klatila da bi je donela. Viši Sharpe znači da bot zarađuje mirno, niži da zarađuje uz mnogo trzanja. Zato je Sharpe pošteniji sudija od golog profita, jer kažnjava haos koji ti profit skriva.

Da to bude opipljivo, zamisli dva bota koja su za tri meseca donela isti prinos. Prvi je rastao malim, mirnim koracima, sa retkim i plitkim padovima, pa mu je Sharpe visok. Drugi je isti prinos doneo kroz nagle skokove i duboke padove, pa mu je Sharpe nizak iako je krajnja cifra identična. Ako gledaš samo profit, izgledaju jednako. Ako gledaš Sharpe, odmah vidiš da je prvi bot onaj kome možeš da veruješ sa pravim novcem, a drugi bomba koja te za sada nije obrisala. Zato dva bota sa istim profitom nisu ista investicija.

Problem je što se Sharpe na kratko takođe klati. U trideset dana može da izgleda sjajno ili grozno prosto zbog nekoliko trejdova, u šezdeset se smiri, a tek u devedeset i više počne da liči na istinu. Zato Sharpe iz prve nedelje ignoriši, iz prvog meseca uzmi sa rezervom, a ozbiljno ga shvati tek kad iza njega stoji dovoljno trejdova. Isti princip važi i za srodne mere poput Sortino odnosa, koji gleda samo pad naniže, i za najveći pad kapitala, o kome je reč ispod.

Najveći pad kapitala i zašto ga gledaš pre profita#

Najveći pad kapitala, ili maksimalni drawdown, je najveći skok naniže od vrha do dna koji je bot napravio u testu. To je brojka koja ti kaže koliko boli u najgorem trenutku, i mnogo je važnija od proseka, jer prosek ne trguješ, kroz najgori niz prolaziš.

Razlog zašto ga gledaš pre profita je jednostavan. Profit ti kaže koliko možeš da zaradiš, drawdown ti kaže da li ćeš uopšte biti tu da to dočekaš. Ako je najveći pad veći nego što tvoj nalog i tvoji živci mogu da izdrže, ugasićeš bota baš na dnu, pred oporavak, i profit koji je test obećao nikad nećeš videti. Zato pre nego što se zaljubiš u krivu rasta, pogledaj koliko je duboko išla u najgorem trenutku, i pitaj se da li bi to izdržao sa pravim novcem.

Za devedeset dana testa vredi zapisati ne samo koliki je bio najveći pad, već i koliko je trajao. Pad od kog se bot oporavi za dan je jedno, pad koji traje tri nedelje je sasvim drugo iskustvo za psihu. Bot koji dugo sedi u minusu te iskušava da ga ugasiš baš kad ne treba, pa je važno da unapred znaš kako ti takav period izgleda.

Kada gasiš bota, a kada mu daš mira#

Najteža odluka u testu je kad bot krene loše. Bez unapred postavljenih pravila, ta odluka pada na emocije, i tada ugasiš dobrog bota u strahu ili držiš lošeg iz nade. Zato kriterijume za gašenje postavljaš pre testa, dok si miran, ne usred lošeg niza.

Bota gasiš kad prekrši nešto što si unapred definisao, ne kad ti se ne dopadne kako izgleda. Gasiš ga ako pređe najveći pad koji si sebi dozvolio, jer to znači da rizik nije onakav kakav si mislio. Gasiš ga ako se ponaša drugačije nego u testu, na primer ako iznenada trguje mnogo češće ili drži pozicije mnogo duže, jer to znači da nešto nije kako treba. I gasiš ga ako radi nešto što ne umeš da objasniš, jer bota kome ne razumeš ponašanje ne smeš da hraniš pravim novcem.

Suprotno tome, daješ mu mira kad je u lošem nizu ali unutar granica koje si očekivao. Loš period sam po sebi nije razlog za gašenje, jer svaka poštena strategija ima loše periode. Razlika je u tome da li se bot ponaša kako si predvideo i samo prolazi kroz normalan pad, ili se raspao i izašao iz svog okvira. Prvo trpiš, drugo gasiš. Zato je prepoznavanje mrtve strategije veština koju treba da imaš pre nego što pustiš bota da te uči na svoj račun.

Kako ja to radim sa Hermesom: protokol pre pravog novca#

Kod mene pravilo je jednostavno i ne pregovara se: nijedan bot ne dobija pravi novac dok ne odradi produžen period trgovanja na demo i paper nalogu, koji se meri mesecima, ne danima. Hermes, bot na kome radim, prolazi kroz to testiranje na živom tržištu bez rizika, gde gleda iste sveće u isto vreme kao pravi nalog, samo bez pravog kapitala iza sebe.

Taj period radi ono što nijedan brzi test ne može. Suočava bota sa uslovima koji se ne vide u istoriji: sa spredom koji se širi u lošim trenucima, sa nalozima koji se izvrše par pipsa dalje, sa vestima i vikendom. Ravnam sve pozicije u isto vreme svakog dana i ne držim preko noći, baš zato da rizik ostane pod kontrolom dok merim da li bot radi. Tek ako se na tom živom periodu ponaša u skladu sa onim što je test obećao, i ostane unutar granica pada koje sam postavio, ima smisla razgovor o pravom novcu. Ako se razlikuje, vraćam ga na sto, jer me je nešto u kraćem testu prevarilo.

Ovo nije brzo i nije uzbudljivo, ali je jedini pošten način da veruješ botu. Dobar rezultat na istoriji je tek ulaznica, a pravu potvrdu daje samo dovoljno dug period na živom tržištu. Kroz to kako se strategija testira pre nego što uopšte stigne do ovog koraka prošao sam u vodiču za backtesting botova, a pre nego što bilo kom botu daš kapital, prođi kroz veličinu pozicije, jer i bot koji je prošao test može da te obriše ako mu daš preveliki deo naloga. Ako te zanima kako je Hermes sklopljen i po kojim pravilima trguje, stoji na stranici o Hermesu.

Tri česta scenarija i šta znače#

Sva tri scenarija govore istu stvar. Ono što izgleda kao jasan signal na malom uzorku je najčešće šum, a ono što izgleda dosadno na velikom uzorku je zapravo ono što tražiš. Bot koji te ne uzbuđuje, a stabilno radi kroz razne uslove tržišta i ostaje unutar granica pada, vredi više od onog koji te je oduševio za nedelju dana.

Često Postavljana Pitanja#

Zašto baš 90 dana, a ne mesec ili godina?#

Devedeset dana je kompromis između dovoljno velikog uzorka i razumnog vremena. Za mesec dana bot najčešće nema dovoljno trejdova ni raznih uslova tržišta da rezultat nešto znači. Godinu dana bi bilo još pouzdanije, ali malo ko ima strpljenja da toliko čeka pre nego što donese odluku. Devedeset dana obično uhvati i mirne i divlje periode i skupi dovoljno trejdova da sreća prestane da odlučuje umesto strategije. Bitno je i da taj period sadrži razna stanja tržišta, i trend i bočno klaćenje i bar jednu veću vest, jer bot koji je tri meseca video samo miran rast nije stvarno testiran. Ako je devedeset dana ispalo neobično mirno, produži test dok bot ne prođe kroz bar jedan pravi udar.

Koliko trejdova mi treba da rezultat bude pouzdan?#

Više je uvek bolje, i tu se ne gleda toliko vreme koliko broj trejdova. Bot koji trguje nekoliko puta dnevno za devedeset dana skupi stotine trejdova, i to je uzorak iz kog možeš nešto da zaključiš. Bot koji trguje jednom nedeljno će za isto vreme imati šačicu trejdova i tu ni tri meseca nisu dovoljna. Gledaj broj trejdova, ne samo kalendar.

Bot mi je mesec dana u plusu, mogu li da uložim?#

Budi oprezan. Mesec dana u plusu je ohrabrujuće, ali je i dalje kratak uzorak u kome sreća igra veliku ulogu. Pre nego što uložiš pravi novac, pusti ga da odradi pun period i pogledaj kako se ponaša u lošem nizu, ne samo u dobrom. Mnogi botovi izgledaju sjajno mesec dana, pa se raspadnu čim naiđe uslov tržišta koji u tom mesecu nisu videli.

Kada tačno treba da ugasim bota?#

Kad prekrši pravilo koje si postavio pre testa, ne kad ti se ne dopadne kako izgleda. Gasiš ga ako pređe najveći pad koji si sebi dozvolio, ako se ponaša drugačije nego u testu, ili ako radi nešto što ne umeš da objasniš. Loš niz unutar očekivanih granica nije razlog za gašenje. Cela poenta je da odluku doneseš po unapred jasnim kriterijumima, a ne u panici usred lošeg perioda.

Da li dobar test garantuje da će bot raditi i uživo?#

Ne garantuje, ali je najbolja provera koju imaš. Dug period na živom tržištu bez rizika hvata spred, klizanje naloga i vesti kojih u istoriji nema, pa je mnogo bliži istini od pukog testa na prošlim podacima. I posle njega tržište može da se promeni i da bot počne da gubi, zato nadgledanje ne prestaje kad pustiš pravi novac. Test smanjuje šansu da te bot iznenadi, ali je ne briše.