O que é backtesting no trading (e seus limites)

O backtesting é testar uma estratégia em dados passados para ver se ela teria sido vencedora antes de você arriscar seu dinheiro. Pular essa etapa é operar um sistema que nunca mostrou que funciona. Este guia explica o que é o backtesting, para que ele realmente serve, seus limites, e como usá-lo sem se enganar.

• O backtesting testa uma estratégia no passado antes de você arriscar seu capital.
• Ele dá as estatísticas de referência do seu sistema: win rate, profit factor, drawdown.
• Ele tem limites: o passado não garante o futuro, e os vieses podem distorcer seus resultados.
• É um filtro, não uma prova: ele elimina as ideias ruins mais do que valida as boas.

Antes de colocar dinheiro real em uma estratégia, uma pergunta se impõe: ela teria ganhado no passado? O backtesting responde a essa pergunta aplicando suas regras a dados históricos, para simular o que seus trades teriam dado. É uma forma de verificar que uma ideia se sustenta antes de confrontá-la com o mercado usando capital de verdade.

O backtesting é uma ferramenta poderosa mas muitas vezes mal compreendida e mal utilizada. Bem feito, ele diz se sua estratégia tem um edge e dá referências valiosas; mal feito, ele dá uma falsa confiança em um sistema que nunca vai funcionar no real. Este guia mostra o que realmente é o backtesting, o que ele pode e o que não pode fazer.

O que o backtesting faz

O backtesting consiste em aplicar as regras precisas da sua estratégia a dados de mercado passados, como se você tivesse operado durante aquele período. Para cada sinal que sua estratégia teria gerado, você simula o trade, anota o resultado, e assim acumula um histórico de performance virtual. No final, você obtém as estatísticas que sua estratégia teria produzido no período testado. As plataformas o definem do mesmo jeito: segundo a documentação do testador de estratégias do MetaTrader 5, a ferramenta serve para testar e otimizar estratégias de trading antes de usá-las no real, e a ajuda do TradingView sobre o Bar Replay apresenta o replay dos candles como uma forma de simular os movimentos de preço passados para testar uma estratégia.

Esse processo tem um valor imediato: ele diz se sua ideia tem um mínimo de edge antes de você arriscar um centavo. Uma estratégia que perde claramente no backtest não merece seu capital, e saber disso antes de operar poupa você de perdas reais. O backtesting é, portanto, antes de tudo um filtro de ideias ruins, uma forma de eliminar rápido o que não funciona sem pagar para aprender isso ao vivo.

As referências que ele dá

Além do simples veredito de ganhador ou perdedor, o backtesting fornece as estatísticas de referência da sua estratégia: seu win rate esperado, seu profit factor, sua expectancy, e sobretudo sua sequência de perdas típica e seu drawdown máximo. Essas referências são valiosas, porque dizem como é o comportamento normal do seu sistema. Um testador automático as calcula sozinho: a ajuda do MetaTrader 5 sobre o relatório de teste define o profit factor como a razão entre o lucro bruto e a perda bruta, o expected payoff como o resultado médio de um trade, e registra a sequência mais longa de trades perdedores.

Conhecer essas referências tem uma consequência prática importante: permite atravessar as fases ruins sem entrar em pânico. Quando você sabe que sua estratégia normalmente encadeia até sete perdas seguidas, por exemplo, uma sequência de cinco perdas não faz você duvidar nem desistir. Sem essas referências, cada drawdown parece uma catástrofe e empurra para trocar de sistema no pior momento. O backtesting dá o mapa do terreno antes de você se aventurar nele.

Seus limites reais

O backtesting tem limites que é preciso conhecer para não se enganar. O primeiro e mais importante: o passado não garante o futuro. Uma estratégia que funcionou bem nos dados históricos pode fracassar no real se as condições de mercado mudarem. O backtesting mede o que aconteceu, não o que vai acontecer, e essa distinção é crucial. A diferença foi medida em uma população que não é a dos traders pessoa física, carteiras de ações montadas sobre 97 variáveis tidas como capazes de prever os retornos: o estudo de McLean e Pontiff publicado em 2016 no Journal of Finance encontra retornos 26% menores fora da amostra e 58% menores após a publicação.

Um bom backtest não prova que sua estratégia vai ganhar amanhã. Ele só prova que ela poderia ter ganhado ontem, o que é necessário mas está longe de ser suficiente.

Outros limites têm a ver com a qualidade da simulação: as taxas, o slippage, os preços de execução reais são difíceis de reproduzir fielmente, e um backtest otimista demais nesses pontos dá resultados melhores do que a realidade. O regulador americano dos mercados de derivativos fez disso um aviso obrigatório: a regra 4.41 da CFTC exige dos operadores de fundos e dos consultores de trading sujeitos a ela, quando apresentam resultados simulados, que escrevam que eles têm limitações inerentes, que não representam um trading real, que trades nunca executados podem ter compensado mal o efeito de fatores de mercado como a falta de liquidez, e que esses programas são desenhados com o benefício do retrospecto. É preciso, portanto, sempre incluir custos realistas e desconfiar de backtests perfeitos demais. O backtesting é uma ferramenta de validação parcial, não uma garantia, e tratá-lo como prova absoluta custa caro.

A armadilha do overfitting

A armadilha mais insidiosa do backtesting é o overfitting, ou otimização excessiva. Consiste em ajustar tanto sua estratégia para que ela encaixe perfeitamente nos dados passados que ela se torna inútil para o futuro. Ao ajustar dezenas de parâmetros até obter um backtest magnífico, você acaba modelando o acaso do período testado em vez de um edge de verdade. Segundo o artigo de Bailey, Borwein, López de Prado e Zhu publicado em 2014 nas Notices of the American Mathematical Society, mesmo quando a ideia de partida não tem nenhuma vantagem, é muito provável encontrar um ajuste brilhante no histórico, e sua performance fora da amostra será quase certamente inferior à do backtest. As outras formas de distorcer um teste sem querer são revisadas em como fazer backtest sem se enganar.

Uma estratégia com overfitting se reconhece pela sua complexidade e pela sua fragilidade: tem muitas regras bem específicas, e seus resultados desmoronam assim que se mudam um pouco os parâmetros ou o período. A resposta é a simplicidade e a robustez: uma estratégia com poucas regras, que funciona bem em vários períodos e instrumentos, é muito mais confiável do que uma estratégia perfeita em um único período. Um backtest bom demais deve despertar desconfiança, não entusiasmo.

Backtest e forward test

O backtesting nunca basta sozinho; ele precisa ser completado com um forward test. O forward test consiste em aplicar sua estratégia em condições reais ou simuladas, sobre dados que você não usou para construí-la, muitas vezes com um tamanho pequeno no início. É o verdadeiro teste de verdade, porque verifica se seu edge se sustenta em dados desconhecidos, não só naqueles que serviram para calibrá-lo. Os testadores preveem essa separação: na documentação do MetaTrader 5 citada acima, a opção Forward corta o período testado em duas partes, para evitar o ajuste a certos intervalos de tempo.

A combinação dos dois é a abordagem correta: o backtest elimina rápido as ideias ruins e dá as referências, o forward test confirma que a estratégia funciona fora do passado que serviu para construí-la. Uma estratégia que passa pelas duas etapas merece sua confiança, uma que só se destaca no backtest é suspeita. Nunca comprometer capital sério apenas com base em um backtest é uma regra de prudência essencial. O que cada etapa testa, e quantos trades são necessários para concluir, está detalhado em backtesting x forward testing.

Como conduzir um backtest passo a passo

Conduzir um backtest sério segue sempre a mesma lógica, qualquer que seja a estratégia testada. A primeira etapa consiste em escrever preto no branco regras precisas e sem ambiguidade: as condições exatas de entrada, o posicionamento do stop, a regra de saída, e o tamanho de posição. Uma regra vaga como “entrar quando o mercado parece pronto para voltar a subir” não dá para colocar em backtest, porque deixa espaço demais para interpretação, inclusive a sua de um dia para o outro.

Uma vez fixadas as regras, escolha um período e um instrumento representativos, incluindo se possível diferentes fases de mercado (tendência, range, alta volatilidade). Em seguida, aplique suas regras trade por trade, incluindo custos realistas (spread, comissão, slippage), e anote cada trade com o mesmo rigor que no real. A última etapa é reunir os resultados em estatísticas aproveitáveis, para julgar a estratégia com números e não com uma impressão geral.

As estatísticas essenciais a calcular

Um backtest só tem valor se você extrai dele as estatísticas certas. O win rate diz a proporção de trades vencedores, mas sozinho não diz nada sobre a rentabilidade: com 30% de trades vencedores, uma estratégia fica no zero a zero quando seu ganho médio vale 2,33 vezes sua perda média (70 dividido por 30), e ganha acima disso. O profit factor (o total de ganhos dividido pelo total de perdas) costuma ser mais revelador, e a expectativa (o ganho médio esperado por trade) diz na prática quanto rende cada trade em média.

Essas estatísticas se leem juntas, nunca isoladamente. Um win rate alto com um profit factor próximo de 1 indica ganhos pequenos demais em relação às perdas; um drawdown máximo severo avisa sobre o risco psicológico e financeiro real da estratégia, mesmo que a expectativa seja positiva no papel. Tenha o hábito de olhar esses cinco números juntos antes de julgar um backtest.

Um exemplo com números de backtest

Para tornar isso concreto, imagine um trader que testa em backtest uma estratégia de breakout em 300 trades distribuídos em três anos. Ele obtém um win rate de 38%, um ganho médio de 180 € nos trades vencedores e uma perda média de 70 € nos perdedores. O profit factor se calcula assim: (114 trades vencedores x 180 €) dividido por (186 trades perdedores x 70 €), ou seja, 20.520 € de ganhos contra 13.020 € de perdas, um profit factor de cerca de 1,58. A expectativa vem em seguida: 7.500 € de ganho líquido divididos por 300 trades, ou seja, 25 € por trade. Nesse histórico, a estratégia ganha apesar de um win rate inferior a 40%. Esse win rate continua sendo uma estimativa: com o cálculo de intervalo de confiança apresentado pelo manual de estatística do NIST, o instituto americano de normas, 38% medidos em 300 trades ficam, a 95%, entre 32,5% e 43,5% aproximadamente, acima dos 28% em que esses ganhos e perdas médios se anulam (70 dividido por 250).

Esse mesmo backtest revela também uma sequência de nove perdas consecutivas em um momento do período testado, e um drawdown máximo de 18% do capital. Esses dois números são tão importantes quanto o profit factor, porque dizem ao trader o que esperar psicologicamente: se ele não consegue aguentar nove perdas seguidas sem entrar em pânico nem se desviar do seu plano, a estratégia não é viável para ele, mesmo que seja estatisticamente rentável no papel.

Os erros que distorcem um backtest

Além do overfitting, outros erros distorcem silenciosamente um backtest. O data mining, ou garimpagem excessiva de dados, consiste em testar dezenas de variantes de uma estratégia na mesma amostra até encontrar uma que funcione por acaso. O artigo de Halbert White publicado em 2000 na Econometrica chama essa prática de data snooping: assim que um mesmo conjunto de dados serve várias vezes para escolher um modelo, um bom resultado pode se dever apenas ao acaso. O artigo de Bailey e seus coautores citado acima dá o número: em um backtest de dois anos, bastam sete configurações independentes de uma estratégia sem nenhuma vantagem para que a melhor mostre em média um índice de Sharpe de 1 dentro da amostra, enquanto seu índice esperado fora da amostra é 0.

O viés de sobrevivência é outro erro clássico, principalmente com ações: testar uma estratégia apenas em empresas que ainda existem hoje ignora todas as que faliram ou foram retiradas da bolsa, o que infla os resultados. O efeito foi medido em outra população, os fundos mútuos americanos: no estudo de Carhart, Carpenter, Lynch e Musto publicado em 2002 na Review of Financial Studies, ficar só com os sobreviventes infla a performance média em 0,07% ao ano em amostras de um ano, e em 1% ao ano acima de quinze anos. Por fim, negligenciar um tamanho de posição realista, por exemplo testando com um tamanho fixo que nunca teria sido sustentável com o capital inicial, produz estatísticas que jamais vão se traduzir em performance real.

Em que período e em que instrumento testar

A questão da profundidade histórica volta sempre: é preciso testar em seis meses, dois anos, dez anos? Quanto mais longo o período, mais regimes de mercado diferentes você cobre (tendência forte, range, crash, baixa volatilidade), o que torna o resultado mais robusto. Uma estratégia que só funciona nos últimos seis meses de um mercado em alta talvez tenha testado apenas um único regime, e nada garante que ela sobreviva à próxima mudança de contexto.

Teste também em vários instrumentos comparáveis, não só naquele que você pretende operar. Se sua estratégia só funciona em um único instrumento específico e desmorona em instrumentos parecidos, é um sinal de alerta: ela talvez tenha capturado uma particularidade daquele instrumento em vez de um edge de verdade generalizável. Uma estratégia robusta mantém uma performance globalmente positiva em vários mercados próximos, mesmo que nunca seja idêntica de um instrumento para outro.

Relacionar o backtest com sua gestão de risco

O backtest não serve só para julgar se uma estratégia é boa, ele também serve para calibrar sua gestão de risco. Conhecer o drawdown máximo e a sequência típica de perdas da sua estratégia permite fixar um risco por trade coerente. Se o backtest mostra que nove perdas consecutivas são possíveis, a conta é feita de forma composta, cada perda incidindo sobre o capital que resta: com 1% de risco por trade, sobra 0,99 elevado a 9 do capital, ou seja, um drawdown de cerca de 8,6%; com 3% por trade, sobra 0,97 elevado a 9, ou seja, um drawdown de cerca de 24%. Triplicar o risco quase triplica o buraco a atravessar, e cabe a você dizer qual dos dois vai aguentar sem se desviar do seu plano.

Esse uso do backtest, anterior à decisão de tamanho de posição, costuma ser negligenciado, embora seja um dos mais úteis. Um backtest que só serve para validar um edge perde metade do seu valor: ele deveria também dizer quanto arriscar por trade para que a estratégia continue sustentável ao longo do tempo, sem nunca expor você a uma perda que ameace sua conta ou sua cabeça.

Como o Tradoshi completa seu backtesting

O Tradoshi tem sua própria ferramenta de backtesting, em beta: você escolhe um mercado e um período, reproduz as velas uma a uma sem ver o que vem depois, e faz seus trades como no real, com spread, slippage e comissões incluídos. Cada sessão é avaliada com as mesmas estatísticas do seu diário, o que torna seu backtest diretamente comparável ao seu trading real. A ferramenta está incluída já no plano Pro.

O Tradoshi dá as estatísticas reais da sua estratégia sobre seus trades de verdade, o que prolonga e verifica seu backtesting em condições reais. Você compara o comportamento real do seu sistema com as referências do seu backtest.

• Estatísticas reais (win rate, profit factor, expectativa, R médio) para comparar com o backtest.
• Drawdown e sequência de perdas reais para verificar se correspondem às referências do seu backtest.
• Recortes por instrumento e por período para ver onde sua estratégia realmente se sustenta.
• Acompanhamento ao longo do tempo para detectar se seu edge, validado no backtest, se degrada no real.

Testar uma estratégia: por mercado, de graça, e com quais ferramentas

Um mesmo método se adapta de acordo com o que você opera. Testar uma estratégia em ações exige um histórico corrigido; em futures, contratos conectados; em forex, um spread realista; em opções, a volatilidade implícita. O vocabulário muda, o método não: regras escritas, um período escolhido, uma revisão sem trapaça, trades anotados.

O gratuito cobre mais terreno do que se imagina, e o guia sobre software de backtesting gratuito detalha isso ferramenta por ferramenta. Um teste manual não custa nada, o site do MetaTrader 5 oferece o terminal para download gratuito e o Strategy Tester já vem integrado, e o site da NinjaTrader escreve que sua plataforma é sempre gratuita para gráficos avançados, backtesting e simulação. O que resta verificar antes de confiar no resultado é a qualidade dos dados e o nível de detalhe da execução simulada, não o direito de testar.

Testar um sistema de trading sempre volta à mesma disciplina: uma hipótese, uma amostra, um veredito em números. O resto é só ferramental.

Perguntas frequentes