Fazer backtesting de uma estratégia sem se enganar

Fazer backtest de uma estratégia é aplicar as regras dela a dados históricos para medir o que ela teria rendido, e o resultado só vale o quanto vale a honestidade do teste. Sem um método rigoroso, você não testa a sua estratégia, você fabrica a prova que queria encontrar. Fazer backtest sem se enganar exige conhecer as armadilhas que transformam um bom backtest em uma ilusão reconfortante e cara.

• Um backtest mal feito prova o que você quer, não o que é verdade.
• O viés retrospectivo faz você ver sinais evidentes que não eram assim ao vivo.
• A otimização excessiva cria uma estratégia perfeita no passado, nula no futuro.
• Um backtest honesto segue regras rígidas: amostra suficiente, dados realistas, nenhuma trapaça.

O backtest é uma ferramenta formidável: permite testar uma ideia sobre dados históricos antes de arriscar um centavo. Mas é também uma das ferramentas mais fáceis de manipular, muitas vezes sem nem perceber. Em um histórico a gente encontra padrões depressa, se convence deles mais depressa ainda, e um backtest mal conduzido se torna um espelho que devolve a conclusão que você esperava.

Um backtest que “prova” que a sua estratégia é genial não vale nada se estiver contaminado por vieses. Pior, ele é perigoso, porque dá uma confiança injustificada que vai fazer você arriscar dinheiro real em uma ilusão. Este guia explica as armadilhas clássicas do backtest, como evitá-las, e como conduzir um teste honesto o bastante para dizer a verdade, mesmo quando ela não é a que você queria ouvir.

Por que um backtest mente com tanta facilidade

O problema fundamental do backtest é que ele opõe o seu desejo de validar a sua estratégia ao rigor necessário para testá-la com honestidade. Quando você quer que uma estratégia funcione, o seu cérebro colabora: interpreta os dados de forma favorável, minimiza os trades ruins, ajusta inconscientemente as regras para melhorar os resultados. Você não mente de propósito, mas engana a si mesmo, o que dá no mesmo.

É por isso que um backtest positivo deve sempre ser olhado com desconfiança: a pergunta não é “minha estratégia teve um bom desempenho?”, mas sim “o meu teste foi honesto?”. Um resultado brilhante vindo de um teste enviesado é mais perigoso do que um resultado medíocre vindo de um teste rigoroso, porque o primeiro faz você arriscar dinheiro real em cima do vento, enquanto o segundo ao menos disse a verdade.

A pesquisa publicada conhece esse defeito. No artigo de Halbert White publicado em 2000 na Econometrica, reutilizar várias vezes o mesmo conjunto de dados para escolher um modelo tem nome, o data snooping: um bom resultado pode então se dever apenas ao acaso, e o autor considera a prática endêmica. Harvey, Liu e Zhu, em um documento de trabalho do NBER, catalogaram 316 fatores que supostamente explicam o retorno das ações. Eles concluem que a maioria das descobertas anunciadas em economia financeira é provavelmente falsa, e que um fator novo deveria superar um limiar estatístico mais alto, um t acima de 3,0 em vez do 2,0 habitual. Esses trabalhos tratam de modelos de previsão e de ações, não da sua estratégia, mas o mecanismo é o mesmo assim que você testa várias ideias sobre um único histórico.

O viés retrospectivo

A armadilha mais insidiosa é o viés retrospectivo: quando você olha um gráfico do passado, tudo parece evidente. O topo estava claramente ali, o rompimento era nítido, a entrada se impunha. Mas ao vivo, na borda direita do gráfico, nada era evidente: você não sabia se o topo ia segurar, se o rompimento era real, se o sinal era válido. O backtest visual faz você acreditar que teria feito esses trades perfeitos, quando na realidade você teria duvidado, hesitado, executado mal.

Em um gráfico do passado, todo trader é um gênio. A verdade se revela na borda direita, onde o futuro ainda é desconhecido.

A resposta contra o viés retrospectivo é testar avançando vela a vela, sem ver o futuro, como em condições reais. Um replay de mercado que esconde o que vem a seguir te obriga a tomar suas decisões na incerteza, exatamente como ao vivo. É bem mais difícil, e bem mais honesto, do que um backtest em que você contempla um gráfico completo já sabendo como ele termina.

Esse viés é medido há muito tempo. No estudo de Baruch Fischhoff publicado em 1975, pessoas a quem se havia informado o desfecho de um acontecimento o julgavam mais provável do que era, e no essencial não tinham consciência de que essa informação havia mudado o julgamento delas. O backtest automatizado tem o seu equivalente, o viés de antecipação, ou look-ahead: o código usa um dado que ainda não era conhecido no momento do sinal. A documentação do Pine Script sobre repainting classifica entre os comportamentos inaceitáveis os scripts que vazam informação futura para o passado, e esclarece que uma estratégia recalculada a cada tick muito provavelmente não vai enviar as mesmas ordens em tempo real que no histórico, o que invalida o backtest dela.

A otimização excessiva

A segunda grande armadilha é a otimização excessiva, ou sobreajuste. Consiste em refinar seus parâmetros até que a estratégia fique perfeita sobre os dados históricos: o melhor limiar, o melhor período, o melhor filtro. O resultado é espetacular no passado e decepcionante no futuro, porque você ajustou a sua estratégia ao ruído específico dos seus dados de teste, não a uma realidade de mercado reproduzível.

O número de tentativas conta tanto quanto o ajuste escolhido. No artigo de Bailey, Borwein, López de Prado e Zhu publicado em 2014 nas Notices of the American Mathematical Society, basta testar sete configurações independentes de uma estratégia sem nenhuma vantagem, em um backtest de dois anos, para que a melhor mostre em média um índice de Sharpe de 1 dentro da amostra, enquanto o índice esperado fora da amostra é 0. Com cinco anos de dados, o limite sobe para quarenta e cinco configurações. A conclusão deles vale para qualquer testador: um backtest que não diz quantas variantes foram testadas não permite avaliar o risco de sobreajuste. Anote então cada variante que você testar, inclusive as que abandonar.

A regra para evitar o sobreajuste é a simplicidade e a validação fora da amostra. Uma estratégia robusta se apoia em poucos parâmetros, com uma lógica clara, e funciona em vários mercados e vários períodos. Teste sempre a sua estratégia com dados que não serviram para otimizá-la: se ela aguentar com esses dados novos, tem chances de ser real; se desmoronar, você só tinha ajustado o ruído.

Os testadores preveem essa validação. A documentação do testador de estratégias do MetaTrader 5 descreve uma opção Forward que corta o período em dois, uma parte em que os parâmetros se ajustam e outra em que são verificados, para evitar o ajuste a certos intervalos de tempo. A do NinjaTrader sobre a otimização walk-forward descreve o mesmo princípio repetido: otimiza-se sobre um segmento do histórico, testa-se no segmento seguinte com os valores escolhidos, e depois deslocam-se os dois segmentos e recomeça-se, julgando o desempenho nos dados de teste e não nos da otimização. Mesmo fora da amostra, conte com uma queda: sobre 97 variáveis tidas como capazes de prever o retorno das ações, o estudo de McLean e Pontiff publicado em 2016 no Journal of Finance mede retornos de carteira 26% menores fora da amostra e 58% menores após a publicação.

Os dados realistas

Um backtest só é honesto se as suas condições se parecerem com a realidade. Muitos backtests ignoram o spread, as comissões, o slippage (a diferença entre o preço esperado e o preço obtido), ou supõem execuções perfeitas impossíveis na prática. Em um grande número de trades, esses custos ignorados podem transformar uma estratégia aparentemente vencedora em uma estratégia perdedora. Um backtest sem custos realistas é um backtest que mente por omissão.

Um testador não protege você por padrão. Segundo a documentação do Pine Script sobre estratégias, uma estratégia não aplica nenhuma comissão às ordens executadas enquanto isso não for indicado, e o slippage, dinâmico e imprevisível, não pode ser simulado com precisão: ela aconselha aplicar um pequeno valor fixo a cada ordem para aproximar os resultados da realidade. No testador do MetaTrader 5, segundo a documentação citada acima, o modo baseado em ticks reais oferece condições próximas das reais, enquanto o modo OHLC de 1 minuto emula apenas quatro preços por candle de um minuto. A conta é rápida: uma estratégia que ganha em média 1 ponto por trade antes dos custos, e que paga 1,2 ponto de spread, comissão e slippage, mostra um ganho de 300 pontos em 300 trades em um teste sem custos, e uma perda de 60 pontos em um teste honesto.

Também é preciso dados de qualidade e uma amostra suficiente. Testar com trinta trades não prova quase nada: segundo o cálculo de intervalo de confiança apresentado no manual de estatística do NIST, o instituto americano de normas, uma taxa de acerto de 50% medida em 30 trades fica, a 95%, entre 33% e 67% aproximadamente, entre 40% e 60% em 100 trades, e entre 45% e 55% em 400. Um backtest crível se apoia portanto em centenas de trades, em condições de mercado variadas (tendência, range, volatilidade alta e baixa), para verificar que a estratégia aguenta em ambientes diferentes e não só naquele que a favorecia.

Do backtest à realidade

Mesmo um backtest perfeitamente honesto não garante nada, porque ele só testa a estratégia, não o trader. Em condições reais, você adiciona uma variável que o backtest ignora: você mesmo. Sua capacidade de executar a estratégia sem desviar, de manter seus stops, de não entrar em pânico em um drawdown, de não sobreoperar. Uma estratégia excelente no backtest pode se tornar perdedora nas suas mãos se você não a executar como planejado.

É por isso que o verdadeiro teste de uma estratégia é confrontar o seu backtest com os seus resultados reais. Se o seu desempenho real for bem inferior ao seu backtest mesmo tendo seguido as suas regras, é o teste que precisa ser revisto, os custos ou o sobreajuste dele; se você se afastou delas, é a sua execução. Medir os seus trades reais e compará-los com o que a estratégia prometia é a única forma de distinguir um problema de estratégia de um problema de disciplina.

Backtest, forward test e conta real

Um backtest honesto é só a primeira etapa de uma validação em três tempos. Depois do backtest (teste sobre dados passados) vem o forward test (teste sobre dados novos, em tempo real mas sem dinheiro), e depois a passagem para conta real com um tamanho pequeno. Cada etapa filtra ilusões que a anterior não revelou: o forward test põe à prova o sobreajuste ao passado, e a conta real revela a distância entre a teoria e a sua execução emocional. A diferença entre as duas primeiras etapas está detalhada em backtesting vs forward testing.

Pular etapas é um erro caro. Passar direto de um belo backtest para uma conta real grande é se arriscar a descobrir ao vivo, com dinheiro, que a sua estratégia estava sobreajustada ou que você não sabe executá-la. A progressão prudente (backtest, depois forward test, depois conta real com tamanho pequeno, depois aumento gradual) te protege validando a sua estratégia em cada etapa antes de comprometer mais. Cada nível confirma ou desmente o que o anterior sugeria, e é essa acumulação de provas que te dá uma confiança justificada, não um simples backtest lisonjeiro.

O que um backtest não consegue capturar

Mesmo perfeitamente feito, um backtest tem limites estruturais que é preciso conhecer. Ele não captura a sua psicologia: em um gráfico do passado, você não sentiu o medo da perda nem a tentação de cortar cedo demais. Também não captura as condições de execução reais (slippage variável, ordens não executadas, atrasos), nem os eventos excepcionais que não estavam nos seus dados históricos. Um backtest testa uma estratégia em um mundo idealizado, não no mundo real.

É por isso que um bom backtest é necessário, mas nunca suficiente. Ele diz se a sua estratégia tem chance de funcionar, mas não diz se você, com as suas emoções e em condições reais, vai conseguir fazê-la funcionar. Ter esses limites em mente evita o excesso de confiança perigoso que vem de um backtest brilhante. A verdadeira validação de uma estratégia nunca acontece totalmente no passado, ela acontece na sua capacidade de reproduzi-la na realidade, algo que só o trading real, medido, pode confirmar.

Testar o seu comportamento, não só a sua estratégia

Quase sempre se faz backtest de uma estratégia (as regras de entrada e saída), mas esquece-se de testar a variável mais importante: você mesmo. Dois traders com o mesmo backtest podem obter resultados reais muito diferentes, se um executa a estratégia com fidelidade e o outro se desvia. O verdadeiro “backtest” que conta é, portanto, a comparação entre o que a sua estratégia prometia e o que você obteve de verdade, depois de passar pelo filtro da sua execução.

Essa comparação é a mais instrutiva de todas. Se o seu resultado real está próximo do seu backtest honesto, a sua estratégia e a sua execução estão alinhadas. Se está claramente inferior, veja primeiro se você seguiu as suas regras. Se você se afastou delas, é a sua disciplina que precisa trabalhar, não o seu método; se você as seguiu, era o backtest que prometia demais. Medir essa distância entre o teórico e o real é a única forma de saber onde concentrar seus esforços, e de ver se a sua principal alavanca de melhoria é comportamental ou técnica.

As ferramentas para fazer backtest a sério

Existem duas grandes famílias de ferramentas para fazer backtest, e elas não se substituem: a comparação entre backtest manual e backtest automatizado coloca as duas frente a frente. O backtest manual consiste em percorrer um gráfico vela a vela, anotando cada trade que você teria feito segundo as suas regras. É lento, mas é o método que mais te confronta com a incerteza real, porque você nunca vê o futuro ao avançar. É insubstituível para estratégias discricionárias, baseadas em uma leitura visual do mercado, que nenhum código consegue capturar com perfeição.

Já o backtest automatizado consiste em programar as suas regras em uma linguagem como Pine Script e deixar um motor testá-las sobre anos de dados em poucos segundos. É incomparavelmente mais rápido e permite testar em amostras enormes, o que resolve o problema do tamanho de amostra tratado mais acima. O seu limite é que só consegue testar regras perfeitamente objetivas: assim que a sua estratégia inclui um julgamento discricionário (“isso parece uma boa configuração”), o código não consegue reproduzi-lo com fidelidade. O bom reflexo costuma ser combinar os dois: automatizar o que é objetivo na sua estratégia para validar o núcleo estatístico sobre uma amostra grande, e depois testar manualmente as nuances discricionárias sobre uma amostra mais reduzida mas realista.

Quanto tempo dedicar a um backtest antes de operar no real

Não existe regra universal, mas uma referência útil: o seu backtest deve cobrir trades e condições de mercado suficientemente diferentes para que você tenha confiança nas suas estatísticas, sem por isso virar um pretexto para adiar indefinidamente a passagem para o real. Alguns traders fazem backtest por meses, refinando sem parar, o que também é uma armadilha: em algum momento, a única forma de aprender o que um backtest não consegue capturar (a sua psicologia, a sua execução real) é começar a operar, mesmo que pequeno.

Uma referência pragmática é buscar um backtest de pelo menos uma centena de trades (um piso: com esse tamanho, uma taxa de acerto só é conhecida com cerca de dez pontos de margem) cobrindo vários tipos de mercado (tendência, range, alta e baixa volatilidade), e passar depois para o forward test assim que esse limiar for atingido e os resultados estiverem estáveis. O tempo ganho refinando um backtest além desse limiar costuma ser menos útil do que o tempo gasto observando como você executa de verdade a estratégia em condições ao vivo, em uma conta pequena. O backtest diz se a ideia é boa; só o trading real, medido com rigor, diz se você é capaz de executá-la.

Por fim, tenha um limite em mente: um backtest só contém o que já aconteceu. O evento sem precedente, o que se chama de cisne negro no trading, não está nele, por mais longo que seja o histórico.

Como o Tradoshi confronta os seus resultados com a realidade

Para fazer backtest sem se enganar, o Tradoshi tem a sua própria ferramenta, em beta: o replay avança vela a vela e mantém o futuro oculto, o que corta de raiz o viés retrospectivo, e as suas ordens pagam um spread, um slippage e comissões realistas. A ferramenta está incluída já no plano Pro.

Uma vez no real, o Tradoshi te dá as suas estatísticas reais para confrontar o que a sua estratégia prometia com o que você realmente obtém, e distinguir um problema de estratégia de um problema de execução.

• Estatísticas reais: expectancy, profit factor e R médio calculados sobre os seus trades reais, não sobre um backtest otimista.
• Distância backtest / real: compara o que você esperava com o seu desempenho real para identificar os problemas de execução.
• Pontuação de disciplina: ela diz se o seu desempenho fraco vem da estratégia ou dos seus desvios.
• Amostra suficiente: suas estatísticas são colocadas no contexto do seu número de trades para continuarem críveis.

Testar um sistema inteiro, e as ferramentas que cuidam disso

Testar um sistema de trading não se limita a testar uma entrada. Um sistema inclui a entrada, a saída, o tamanho e as regras de parada, e é o conjunto que produz a curva. Muitos testes decepcionantes vêm de uma entrada correta associada a uma gestão de posição que não é.

As plataformas das corretoras oferecem seu próprio motor de teste, tanto o do MetaTrader quanto o do NinjaTrader. Eles bastam para uma estratégia mecânica e vêm integrados à plataforma. As ferramentas baseadas em inteligência artificial trazem outra coisa: elas não testam, elas releem e classificam o que o teste produziu.

A melhor ferramenta de análise continua sendo a que faz você se fazer uma pergunta que não tinha previsto. Um simulador que reproduz milhares de sequências, como os que os gestores usam para avaliar uma exposição, serve exatamente para isso.

Perguntas frequentes