Backtesting x forward testing: a diferença que importa

O backtesting testa sua estratégia sobre o passado, o forward testing a testa sobre o futuro. Essa diferença, em aparência sutil, é na realidade fundamental: ela separa uma estratégia que parece funcionar de uma estratégia que funciona de verdade. Este guia explica a diferença entre backtesting e forward testing, por que os dois são indispensáveis, e em que ordem usá-los para validar uma estratégia sem errar.

• O backtesting testa sobre dados passados, o forward testing sobre dados novos.
• O forward test é o verdadeiro juiz: ele verifica o edge sobre dados nunca usados para construir a estratégia.
• O backtest filtra, o forward test confirma: eles são complementares, não intercambiáveis.
• A ordem importa: backtest primeiro, forward test depois, capital sério por último.

Uma estratégia pode apresentar um backtest excelente e fracassar no real, e a diferença entre os dois não é uma impressão: ela foi medida, em populações que não são a dos traders pessoa física, pelos estudos citados mais abaixo. Não é um paradoxo, é a consequência direta de uma armadilha que o forward testing permite justamente evitar, e que você encontra assim que descobre o backtesting. Entender a diferença entre essas duas formas de teste é essencial para não arriscar seu capital em uma ilusão.

O backtesting e o forward testing não se opõem, eles se completam dentro de uma sequência de validação. Cada um cumpre um papel distinto, e pular um dos dois equivale a validar sua estratégia pela metade. Este guia esclarece o que cada um testa de verdade, por que os dois são necessários, e como encadeá-los para comprometer dinheiro sério só sobre uma estratégia realmente comprovada, com referências concretas sobre a duração a prever e as armadilhas psicológicas próprias de cada etapa.

Dois testes, duas perguntas

Antes de ir mais longe, é preciso distinguir bem as duas etapas. O backtesting e o forward testing respondem a duas perguntas diferentes. O backtesting pergunta: essa estratégia teria ganhado no passado? Ele aplica suas regras a dados históricos para simular seus trades. O forward testing pergunta: essa estratégia ganha sobre dados que ela nunca viu? Ele aplica suas regras para frente, sobre dados posteriores aos que serviram para construir a estratégia.

Essa distinção é crucial, mais do que parece à primeira vista, porque as duas perguntas não têm o mesmo valor. Responder sim à primeira é necessário, mas fácil de forjar, de forma voluntária ou não. Responder sim à segunda é bem mais difícil e bem mais significativo, pois isso prova que seu edge existe independentemente dos dados que serviram para calibrá-lo. Guardar uma fatia do histórico de lado não basta para fazer essa segunda pergunta: no documento de trabalho de Harvey, Liu e Zhu publicado pelo NBER, que trata dos fatores que supostamente explicam o retorno das ações, os autores observam que reservar dados não é um verdadeiro teste fora da amostra, já que todos esses dados continuam observáveis pelo pesquisador, e que um verdadeiro teste fora da amostra exige dados futuros. É exatamente o que o forward test faz, e é isso que o torna um juiz bem mais severo e bem mais confiável que o backtesting: ele não pode ser retocado depois como um backtest otimizado demais pode ser.

O problema que o forward test resolve

O forward testing existe para resolver um problema fundamental do backtesting: o sobreajuste. Quando você constrói e otimiza uma estratégia sobre dados passados, corre o risco de ajustá-la tanto a esses dados específicos que ela se torna inútil para outros. O backtest, calculado sobre os mesmos dados que serviram para calibrar a estratégia, não consegue detectar esse sobreajuste, porque joga em casa. O tamanho da armadilha foi quantificado: segundo o artigo de Bailey, Borwein, López de Prado e Zhu publicado em 2014 nas Notices of the American Mathematical Society, basta testar sete configurações independentes de uma estratégia sem nenhuma vantagem, em um backtest de dois anos, para que a melhor mostre em média um índice de Sharpe de 1 dentro da amostra, enquanto seu índice esperado fora da amostra é 0. Esse vício tem nome, data snooping, que o artigo de Halbert White publicado em 2000 na Econometrica considera endêmico: assim que um mesmo conjunto de dados serve várias vezes para escolher um modelo, um bom resultado pode se dever apenas ao acaso. Os vieses que entram no próprio teste, antes de qualquer dado novo, são o tema de como fazer backtest sem se enganar.

Otimizar uma estratégia e depois julgá-la sobre os mesmos dados é como fazer uma prova cujas perguntas você mesmo escreveu. O forward test é a prova surpresa que revela o que você sabe de verdade.

O forward test resolve esse problema da forma mais simples possível: mudando completamente de terreno. Ao testar a estratégia sobre dados que ela nunca viu, ele verifica se ela tem um edge real e não apenas uma capacidade de colar no passado. Uma estratégia sobreajustada, brilhante e convincente em backtest, chega ao forward test sem vantagem esperada, o que revela sua verdadeira natureza antes que custe dinheiro real. Com uma condição: que ele se aplique a uma única configuração, escolhida antes de começar. O artigo citado acima observa que reservar uma parte dos dados não leva em conta o número de tentativas feitas antes de ficar com um ajuste, e portanto não consegue julgar a representatividade de um backtest; os mesmos autores, em “The Probability of Backtest Overfitting”, publicado em 2017 no Journal of Computational Finance, consideram essas técnicas clássicas pouco confiáveis e imprecisas no contexto dos backtests de investimento. Fazer forward test de dez variantes e ficar com a melhor é refazer um backtest sobre dados novos, com a mesma armadilha. É essa capacidade de desmascarar o sobreajuste, quando aplicada a uma única estratégia, que torna o forward testing indispensável, seja qual for o cuidado colocado na construção do backtest inicial.

As formas do forward testing

O forward testing pode assumir várias formas, da mais prudente à mais engajada. A forma mais segura é o paper trading, ou trading simulado: você aplica sua estratégia em tempo real, mas sem dinheiro, anotando seus trades como se fossem reais. A conta demo de uma corretora é a forma mais comum dele, e a documentação do TradingView sobre o seu Paper Trading apresenta, aliás, os dois como uma única e mesma ferramenta, que envia ordens com dinheiro simulado e, segundo ela, com a mesma experiência de execução do real, sem o risco financeiro. Isso permite testar sobre dados novos sem nenhum risco, ao preço de um realismo incompleto, tanto na execução quanto na emoção.

A forma mais reveladora é o forward test com tamanho real pequeno: você opera sua estratégia com dinheiro de verdade, mas arriscando muito pouco. Isso soma a dimensão psicológica e as fricções reais que a simulação não reproduz por completo, e as próprias plataformas dizem isso. Segundo a documentação da Interactive Brokers sobre as suas contas de paper trading, as ordens de uma conta simulada nunca são executadas em uma bolsa, as execuções são simuladas a partir do melhor preço exibido, sem acesso à profundidade do livro, e as ordens stop são sempre simuladas, o que pode dar um comportamento um pouco diferente de uma conta real. No TradingView, o anúncio da inclusão das comissões no Paper Trading esclarece que elas vêm desativadas por padrão. Você pode combinar os dois: paper trading primeiro para verificar a mecânica, depois tamanho real pequeno para validar em condições autênticas antes de subir de tamanho. Essa progressão gradual limita a exposição financeira durante a fase mais incerta do processo, aquela em que a estratégia ainda não provou que se sustenta sobre dados desconhecidos.

A ordem de validação

A eficácia desses testes depende do encadeamento na ordem certa. Começa-se sempre pelo backtest, porque ele é rápido e elimina a baixo custo as más ideias: não adianta fazer forward test durante semanas de uma estratégia que já perde no passado. O backtest é o primeiro filtro, o que separa rápido o promissor do sem esperança.

Essa sequência protege seu capital em cada uma das etapas do caminho. Uma estratégia só merece passar para a etapa seguinte se tiver claramente superado a anterior, e o capital sério só chega por último, uma vez confirmado o edge de ponta a ponta, e não antes. Pular uma etapa, em especial o forward test, é comprometer dinheiro real numa estratégia que nunca provou mais do que uma coisa: que colava bem num passado que você mesmo escolheu.

O acompanhamento real prolonga o forward test

O forward testing não para quando você passa para o real, ele se prolonga naturalmente no acompanhamento dos seus trades reais. Cada trade real é um ponto de dados a mais que confirma ou desmente que seu edge se sustenta no tempo. Ao comparar continuamente suas estatísticas reais com as do seu backtest, você verifica se sua estratégia continua funcionando e detecta cedo uma eventual degradação.

Essa continuidade é essencial porque um edge nunca está definitivamente adquirido, e tratar uma estratégia validada como definitivamente segura é uma das formas mais discretas de relaxar a vigilância com o tempo. A degradação foi medida em séries longas. No estudo de Sullivan, Timmermann e White publicado em 1999 no Journal of Finance, 7.846 regras de trading técnico são aplicadas a cem anos de cotações diárias do Dow Jones: no período 1897-1986, a melhor regra bate a referência mesmo depois da correção do garimpo de dados, mas nos dez anos seguintes, de 1987 a 1996, os autores quase não encontram prova de que uma regra técnica tenha tido valor econômico. Em outra população, 97 variáveis tidas como capazes de prever o retorno das ações, o estudo de McLean e Pontiff publicado em 2016 no Journal of Finance mede retornos de carteira 26% menores fora da amostra e 58% menores após a publicação. Nenhum dos dois trata de traders pessoa física, mas o mecanismo vale para qualquer sistema: as condições de mercado evoluem, e uma estratégia validada pode se degradar com o tempo. O acompanhamento dos seus trades reais é, portanto, um forward test permanente, que diz a qualquer momento se seu edge ainda se sustenta. É o último elo de uma cadeia de validação que vai do backtest inicial até o acompanhamento contínuo do seu desempenho real.

Quanto tempo deve durar um forward test?

A pergunta sobre a duração volta com frequência, e a resposta depende menos do calendário do que do número de trades. A referência que se lê em todo lugar, 30 a 50 trades, é um costume, não um limiar estatístico. O cálculo mostra isso: com o intervalo de confiança apresentado pelo manual de estatística do NIST, o instituto americano de normas, um win rate de 50% medido em 30 trades fica, a 95%, entre 33% e 67% aproximadamente, entre 37% e 63% em 50 trades, entre 40% e 60% em 100 trades, e são necessários 400 trades para estreitá-lo entre 45% e 55%. Com 30 trades, um forward test não distingue, portanto, uma estratégia de 45% de uma estratégia de 60%. Para uma estratégia que faz um trade por dia, 100 trades representam vinte semanas; para uma estratégia que faz um por semana, quase dois anos.

Essa restrição muda o que se pode esperar de um forward test. Sozinho, ele raramente vai provar que seu edge existe: seu papel é detectar um desvio grosseiro em relação ao backtest, um erro na aplicação das regras ou um comportamento que você não tinha previsto, e depois se prolongar no acompanhamento dos seus trades reais, onde a amostra acaba crescendo. Um forward test cortado depois de cinco ou dez trades, por uma impressão, não diz nada: com dez trades, o mesmo win rate de 50% fica entre 24% e 76% aproximadamente. Um forward test encurtado quase não traz garantia adicional em relação ao backtest sozinho.

As armadilhas do forward test

O forward test tem suas próprias armadilhas, distintas das do backtest. A primeira diz respeito ao paper trading: sem dinheiro real em jogo, a pressão psicológica é diferente, e é possível tomar em simulação trades que não se teriam tomado com capital de verdade, ou ao contrário cortar uma posição com menos hesitação. Os reguladores americanos dos mercados futuros inscreveram isso em um aviso obrigatório: a regra 4.41 da CFTC exige dos operadores de fundos e dos consultores de trading sujeitos a ela, quando apresentam resultados simulados, que escrevam que eles não representam um trading real e que trades nunca executados podem ter compensado mal o efeito de fatores como a falta de liquidez, e a regra 2-29 da NFA, o organismo de autorregulação desses mercados, acrescenta em seu aviso prescrito que o trading hipotético não envolve nenhum risco financeiro, e que a capacidade de suportar perdas ou de se manter fiel a um programa de trading apesar das perdas são pontos materiais que podem degradar os resultados reais. O paper trading testa a mecânica da estratégia, mas testa mal sua capacidade de executá-la sob pressão real.

A outra armadilha clássica é o abandono prematuro: depois de uma sequência de perdas no início do forward test, a tentação é concluir que a estratégia não funciona, quando essa sequência pode perfeitamente fazer parte do comportamento normal previsto pelo backtest. Antes de julgar um forward test decepcionante, é preciso comparar seus resultados com as referências do backtest (drawdown máximo, sequência de perdas típica) para saber se a diferença é realmente significativa ou apenas uma variação normal, aquela que os intervalos dados acima tornam visível.

Um exemplo com números: do backtest ao forward test

Vamos pegar um exemplo concreto. Um trader faz o backtest de uma estratégia sobre três anos de dados e obtém um profit factor de 1,6 com um drawdown máximo de 12%. Depois ele roda um forward test com tamanho real pequeno e, após 40 trades, observa um profit factor de 1,3 com um drawdown de 9%. Esses números são diferentes do backtest, o que é normal: com 40 trades, um win rate de 50% é conhecido com uma margem de uns quinze pontos, e a diferença entre 1,3 e 1,6 não se distingue do acaso. O que se julga é que as referências são respeitadas: a estratégia continua rentável, e seu drawdown fica dentro do limite do backtest.

Um cenário diferente: esse mesmo trader poderia observar, depois de 40 trades de forward test, um profit factor de 0,7 com um drawdown de 22%, ou seja, quase o dobro do drawdown máximo do backtest, e acima do limiar de uma vez e meia, 18%, fixado antes de começar. Nesse caso, o sinal é claro: a estratégia não se comporta como previsto sobre dados novos, o que é o sinal clássico de um sobreajuste do backtest inicial, ou de um erro na aplicação das regras. A diferença entre esses dois cenários ilustra exatamente por que o forward test existe: ele revela o que o backtest sozinho nunca consegue provar.

Quando parar um forward test que está falhando

Saber quando parar um forward test decepcionante é tão importante quanto saber começá-lo. A regra mais simples é fixar, antes de lançar o forward test, um limiar de fracasso claro: por exemplo, um drawdown que ultrapasse em uma vez e meia o drawdown máximo do backtest, ou uma sequência de perdas consecutivas nitidamente superior à observada em backtest. Esse coeficiente de uma vez e meia é uma convenção, não um limiar estatístico: seu valor está em ser fixado a frio, antes de ver os primeiros resultados, o que evita deslocá-lo depois para se convencer de que a estratégia ainda funciona.

Se esse limiar for ultrapassado, a decisão mais saudável é parar o forward test, voltar ao backtest, e buscar o que mudou: condições de mercado diferentes, erro na aplicação real das regras, ou simplesmente sobreajuste do backtest inicial. Continuar operando uma estratégia que claramente fracassou no seu forward test, esperando que ela se recupere, é uma das formas mais seguras de transformar uma perda controlada num dano sério.

Ajustar o tamanho de posição durante o forward test

Uma pergunta prática volta com frequência: que tamanho de posição usar durante um forward test real? A resposta mais prudente é arriscar uma fração, por exemplo um quarto ou um quinto, do seu tamanho de posição habitual, enquanto a estratégia prova seu valor sobre dados novos. Não existe uma fração estatisticamente certa: ela deve ser pequena o bastante para limitar os danos se a estratégia fracassar, e grande o bastante para que ainda haja dinheiro real em jogo e a pressão psicológica continue autêntica.

Uma vez bem-sucedido o forward test, a subida de tamanho deve continuar progressiva em vez de brusca: dobrar o tamanho de uma vez depois de um bom forward test expõe a uma mudança de comportamento que nada testou. Subir por patamares, revalidando a cada etapa que a estratégia continua se comportando como esperado, vale mais do que saltar direto para o tamanho-alvo.

Como o Tradoshi garante seu forward test permanente

O próprio backtest você pode fazer no Tradoshi: o módulo Backtesting, em beta, reproduz o histórico vela a vela, simula suas ordens com custos realistas e pontua cada sessão com as mesmas estatísticas do seu diário. Ele está incluído a partir do plano Pro.

O Tradoshi é seu forward test permanente: ele acompanha suas estatísticas reais e as compara com suas referências de backtest, para verificar continuamente se seu edge se sustenta sobre os dados novos do seu trading real.

• Estatísticas reais atualizadas a cada sincronização, para comparar com seu backtest.
• Importação CSV para integrar ao seu acompanhamento seus resultados de paper trading ou de conta demo.
• Drawdown e sequência de perdas reais para verificar se permanecem dentro das suas referências.
• Acompanhamento ao longo do tempo para detectar cedo um edge que se degrada, o verdadeiro risco de uma estratégia validada.

Testar sem pagar: o que o gratuito realmente cobre

Testar uma estratégia sem gastar nada é possível em todos os mercados comuns. O teste manual, vela a vela, não custa nada, as plataformas das corretoras incluem um motor de teste (o site do MetaTrader 5 oferece o terminal para download gratuito, Strategy Tester incluído), e os dados de um ano costumam bastar para descartar uma ideia que não se sustenta. O gratuito só se torna limitante no dia em que você quer milhares de trades sobre dados limpos.

Testar um sistema sempre volta à mesma disciplina. O que muda de um mercado para outro não é o método, é o dado necessário: as ações exigem históricos corrigidos, os futures contratos conectados, as opções a volatilidade implícita, o que faz do backtest de opções um caso à parte.

O verdadeiro custo de um teste não é o programa, é o tempo. Uma estratégia mal definida faz perder mais horas do que qualquer assinatura faz perder euros.

Perguntas frequentes