O backtesting consiste em testar um método sobre dados passados. O replay é sua forma manual: o mercado é reproduzido vela a vela, sem mostrar o que vem depois, e você toma suas decisões como em sessão. A diferença entre os dois cabe em uma palavra, e é essa palavra que decide o valor do resultado.
Sumário
Os traders definem o backtesting como aplicar um método a dados passados para saber o que ele teria rendido. O sentido que a maioria dá a ele é o do teste automático: um programa varre o histórico e dá muitos números muito rápido. Feito à mão, ele vira um replay: o mercado avança vela a vela e para onde você está.
A distinção que importa não é técnica, é cognitiva. Um teste automático não tem opinião, então não trapaceia, mas só testa o que você soube escrever em regras. Um replay testa o que você faz de verdade, hesitações incluídas, com a condição estrita de que o que vem depois continue oculto. Reler um gráfico cujo desfecho já se conhece não testa nada: confirma.
E é preciso dizer o que o replay não reconstitui. Ele reproduz velas, ou seja, um preço no tempo. Não reconstrói nem o book de ofertas, nem os prêmios e a volatilidade implícita de uma cadeia de opções, nem o slippage de execução real de uma ordem grande. Sobre esses temas, um replay honesto diz o que não sabe em vez de fingir.
Um teste útil = um setup definido com antecedência × ocorrências suficientes × o desfecho oculto
O setup definido com antecedência é a condição mais frequentemente falhada. Um setup que se define aos poucos durante o replay descreve os trades que foram feitos, não uma regra.
O número de ocorrências é o que o replay faz você ganhar: é tempo comprimido, e é sua única promessa real.
O desfecho oculto não é negociável. Percorrer um gráfico que já foi visto produz estatísticas lisonjeiras que não descrevem decisão nenhuma.
O setup se sustenta em replay e não se sustenta em real. Não é o método que está em causa, é a diferença entre as duas populações: 52 decisões tomadas com calma contra 19 tomadas em sessão. Esse número só se obtém calculando as mesmas estatísticas dos dois lados, e ele aponta para um trabalho de execução, não de estratégia.
É a única promessa que o replay cumpre com certeza, e ela basta para justificá-lo. Um setup que aparece duas vezes por semana precisa de seis meses para dar cinquenta ocorrências em real, e de uma noite em replay.
Abaixo de uns trinta casos, nenhum número tirado de um teste merece que se mude seja o que for. É precisamente esse piso que o replay permite alcançar antes de comprometer dinheiro.
Calcule as mesmas estatísticas dos dois lados, sobre o mesmo setup. A diferença entre a esperança em replay e a esperança em real é uma medida direta do que custam as condições de sessão, e é um número que nenhuma outra coisa dá.
Ele também tem o mérito de resolver uma pergunta que, de outra forma, se faz durante anos: é preciso mudar de método, ou aprender a sustentar o que já se tem?
O primeiro defeito é o gráfico já visto. Reproduzir um período de que você se lembra não testa decisão nenhuma, confirma uma lembrança. É o defeito mais comum e o mais difícil de admitir, porque o resultado é excelente e dá a sensação de ter trabalhado.
O segundo é o setup que se define no meio do caminho. Acrescentar uma condição depois de uma ocorrência que teria perdido produz uma regra talhada sob medida nos próprios dados, e ela nunca vai se repetir. A regra se escreve antes, em uma frase, e não muda mais até o fim do teste.
O terceiro é acreditar no replay sob palavra. Ele não conhece nem o book de ofertas, nem o slippage de uma ordem grande, nem uma cadeia de opções. Um setup cuja rentabilidade depende de alguns ticks é precisamente o que o replay mede pior.
O erro clássico. Reproduzir um período que você viveu. O resultado é excelente, o trabalho parece sério, e nada foi testado: não se toma uma decisão quando já se conhece o que vem depois, reconstitui-se. Um período antigo ou um instrumento que não se acompanha custa exatamente o mesmo tempo e devolve um número que significa alguma coisa.
| Indicador | Fórmula | O que ele mede | Quando usar |
|---|---|---|---|
| Replay | decisões tomadas manualmente, desfecho oculto | O que você faz de verdade | Testar um método discricionário |
| Backtest automático | um programa varre o histórico | O que suas regras escritas rendem | Testar um método inteiramente codificado |
| Conta demo | tempo real, dinheiro fictício | A execução, no ritmo real | Se acostumar com uma plataforma |
| Diário de trades reais | o que realmente aconteceu | O que você faz com dinheiro real | Todo o restante deste glossário |
Uma frase, não uma página, e ela não muda mais até o fim do teste. Um setup que se define no meio do caminho produz uma regra talhada sob medida nos próprios dados, e ela nunca vai se repetir em sessão.
É a única proteção contra a confirmação. Um gráfico de que se lembra dá um teste excelente e vazio. Um período antigo, ou um instrumento que você não acompanha, custa o mesmo tempo e vale infinitamente mais.
Win rate, esperança e R médio no replay, depois no mesmo setup em real. Não é o número do replay que ensina alguma coisa, é a diferença entre os dois.
É aplicar um método a dados passados para saber o que ele teria rendido. Testar assim uma estratégia diz o que uma regra teria dado, e nada sobre o que você teria feito com ela em sessão. Feito por um programa, ele varre o histórico e dá muitos números rápido. Feito à mão, ele vira um replay: o mercado avança vela a vela e para onde você está.
O backtest automático testa regras escritas, perfeitamente e sem opinião, mas só testa o que você soube escrever. O replay testa o que você faz de verdade, hesitações incluídas, com a condição estrita de que o desfecho continue oculto. Um método discricionário não é testável de outra forma.
Umas trinta no mínimo, e cinquenta é mais confortável. Abaixo disso, a diferença observada se deve ao acaso da amostra e nenhum número merece que se mude uma regra. É precisamente esse piso que o replay permite alcançar em uma noite em vez de em seis meses.
Três regras bastam: escrever o setup em uma frase antes de começar e não mexer mais nele, reproduzir um período que você não viveu, e calcular as mesmas estatísticas no replay e no seu real. A terceira é a que costuma ser pulada, e é a única que produz uma informação nova.
Não, e é um limite que convém conhecer antes de confiar nisso. Um replay reproduz velas, ou seja, um preço no tempo. Não reconstrói nem uma cadeia de opções com seus prêmios e sua volatilidade implícita, nem o book de ofertas, nem o slippage real de uma ordem grande.
A tela Backtesting reproduz o histórico vela a vela sem mostrar o que vem depois, com um motor de execução simulada. Os custos são configurados na abertura da sessão, spread, slippage, comissão e swap, e cada tipo de ordem tem sua regra: uma ordem a mercado entra no fechamento da vela com o spread e o slippage, uma ordem limitada é preenchida no nível ou melhor e sem deslizamento, uma ordem stop sofre o deslizamento porque consome liquidez. Voltar atrás é possível, e isso apaga de verdade o que foi feito depois do ponto para o qual você volta, na tela e no banco de dados, para que uma sessão nunca guarde duas versões da mesma decisão.
Os trades feitos em replay são analisados com as mesmas estatísticas dos seus trades reais, o que é todo o interesse: o win rate, o R e a esperança de uma sessão de backtest se comparam diretamente aos do seu diário. O ponto de retomada de uma sessão, por sua vez, vive na memória: fechar a aba o perde. O resultado, esse sim, é salvo a cada passo.
Para se aprofundar no assunto: ler o guia completo. Todos os termos estão reunidos no glossário.