Probar una estrategia en backtest sin engañarte

Hacer backtest de una estrategia es aplicar sus reglas a datos históricos para medir lo que habría dado, y el resultado solo vale lo que vale la honestidad de la prueba. Sin un método riguroso, no pruebas tu estrategia, fabricas la prueba que querías encontrar. Hacer backtest sin engañarte exige conocer las trampas que convierten un buen backtest en una ilusión reconfortante y cara.

• Un backtest mal hecho demuestra lo que quieres, no lo que es cierto.
• El sesgo retrospectivo te hace ver señales evidentes que no lo eran en directo.
• La optimización excesiva crea una estrategia perfecta sobre el pasado y nula sobre el futuro.
• Un backtest honesto sigue reglas estrictas: muestra suficiente, datos realistas, sin trampas.

El backtest es una herramienta formidable: te permite probar una idea sobre datos históricos antes de arriesgar un céntimo. Pero es también una de las herramientas más fáciles de amañar, a menudo sin darse ni cuenta. En un histórico se encuentran patrones enseguida, uno se convence de ellos más rápido todavía, y un backtest mal encuadrado se convierte en un espejo que te devuelve la conclusión que esperabas.

Un backtest que «demuestra» que tu estrategia es genial no vale nada si está contaminado por sesgos. Peor aún, es peligroso, porque te da una confianza injustificada que te hará arriesgar dinero real sobre una ilusión. Esta guía te explica las trampas clásicas del backtest, cómo evitarlas, y cómo llevar a cabo una prueba lo bastante honesta para decirte la verdad, incluso cuando no es la que querías oír.

Por qué un backtest miente con tanta facilidad

El problema fundamental del backtest es que enfrenta tu deseo de validar tu estrategia con el rigor necesario para probarla con honestidad. Cuando quieres que una estrategia funcione, tu cerebro colabora: interpreta los datos de forma favorable, minimiza las malas operaciones, ajusta inconscientemente las reglas para mejorar los resultados. No mientes de forma voluntaria, pero te engañas a ti mismo, que viene a ser lo mismo.

Por eso un backtest positivo debe mirarse siempre con desconfianza: la pregunta no es «¿ha funcionado bien mi estrategia?» sino «¿era honesta mi prueba?». Un resultado brillante salido de una prueba sesgada es más peligroso que un resultado mediocre salido de una prueba rigurosa, porque el primero te hace arriesgar dinero real sobre humo, mientras que el segundo al menos te ha dicho la verdad.

La investigación publicada conoce este defecto. En el artículo de Halbert White publicado en 2000 en Econometrica, reutilizar varias veces el mismo conjunto de datos para elegir un modelo tiene nombre, el data snooping: un buen resultado puede deberse entonces solo al azar, y el autor considera la práctica endémica. Harvey, Liu y Zhu, en un documento de trabajo del NBER, catalogaron 316 factores que supuestamente explican la rentabilidad de las acciones. Concluyen que la mayoría de los hallazgos anunciados en economía financiera son probablemente falsos, y que un factor nuevo debería superar un umbral estadístico más alto, una t superior a 3,0 en lugar del 2,0 habitual. Esos trabajos tratan de modelos de previsión y de acciones, no de tu estrategia, pero el mecanismo es el mismo en cuanto pruebas varias ideas sobre un único histórico.

El sesgo retrospectivo

La trampa más insidiosa es el sesgo retrospectivo: cuando miras un gráfico del pasado, todo parece evidente. El máximo estaba claramente ahí, la rotura era nítida, la entrada se imponía. Pero en directo, en el borde derecho del gráfico, nada era evidente: no sabías si el máximo aguantaría, si la rotura era real, si la señal era válida. El backtest visual te hace creer que habrías tomado esas operaciones perfectas, cuando en realidad habrías dudado, vacilado, ejecutado mal.

En un gráfico del pasado, todo trader es un genio. La verdad se revela en el borde derecho, donde el futuro sigue siendo desconocido.

La respuesta contra el sesgo retrospectivo es probar avanzando vela a vela, sin ver el futuro, como en condiciones reales. Un modo de repetición de mercado que te oculte lo que viene te obliga a tomar tus decisiones en la incertidumbre, exactamente como en directo. Es mucho más duro, y mucho más honesto, que un backtest en el que contemplas un gráfico completo sabiendo ya cómo termina.

Ese sesgo se mide desde hace mucho. En el estudio de Baruch Fischhoff publicado en 1975, personas a las que se había indicado el desenlace de un acontecimiento lo juzgaban más probable de lo que era, y en lo esencial no eran conscientes de que esa información había cambiado su juicio. El backtest automatizado tiene su equivalente, el sesgo de anticipación, o look-ahead: el código utiliza un dato que todavía no se conocía en el momento de la señal. La documentación de Pine Script sobre el repainting clasifica entre los comportamientos inaceptables los scripts que filtran información futura hacia el pasado, y precisa que una estrategia recalculada en cada tick muy probablemente no lanzará las mismas órdenes en tiempo real que sobre el histórico, lo que invalida su backtest.

La optimización excesiva

La segunda gran trampa es la optimización excesiva, o sobreajuste. Consiste en afinar tus parámetros hasta que la estrategia sea perfecta sobre los datos históricos: el mejor umbral, el mejor periodo, el mejor filtro. El resultado es espectacular sobre el pasado y decepcionante sobre el futuro, porque has ajustado tu estrategia al ruido específico de tus datos de prueba, no a una realidad de mercado reproducible.

El número de intentos cuenta tanto como el ajuste elegido. En el artículo de Bailey, Borwein, López de Prado y Zhu publicado en 2014 en las Notices of the American Mathematical Society, basta con probar siete configuraciones independientes de una estrategia sin ninguna ventaja, sobre un backtest de dos años, para que la mejor muestre de media un ratio de Sharpe de 1 dentro de la muestra, cuando su ratio esperado fuera de muestra es 0. Con cinco años de datos, el límite sube a cuarenta y cinco configuraciones. Su conclusión vale para cualquier probador: un backtest que no dice cuántas variantes se han probado no permite evaluar el riesgo de sobreajuste. Anota entonces cada variante que pruebes, incluidas las que abandonas.

La regla para evitar el sobreajuste es la sencillez y la validación fuera de muestra. Una estrategia sólida se apoya en pocos parámetros, con una lógica clara, y funciona en varios mercados y varios periodos. Prueba siempre tu estrategia con datos que no hayan servido para optimizarla: si aguanta con esos datos nuevos, tiene posibilidades de ser real; si se hunde, solo habías ajustado el ruido.

Los probadores prevén esa validación. La documentación del probador de estrategias de MetaTrader 5 describe una opción Forward que corta el periodo en dos, una parte en la que se ajustan los parámetros y otra en la que se comprueban, para evitar el ajuste a ciertos intervalos de tiempo. La de NinjaTrader sobre la optimización walk-forward describe el mismo principio repetido: se optimiza sobre un segmento del histórico, se prueba sobre el segmento siguiente con los valores elegidos, y luego se desplazan los dos segmentos y se vuelve a empezar, juzgando el rendimiento sobre los datos de prueba y no sobre los de la optimización. Incluso fuera de muestra, cuenta con una caída: sobre 97 variables consideradas capaces de predecir la rentabilidad de las acciones, el estudio de McLean y Pontiff publicado en 2016 en el Journal of Finance mide rentabilidades de cartera un 26 % inferiores fuera de muestra y un 58 % inferiores tras la publicación.

Los datos realistas

Un backtest solo es honesto si sus condiciones se parecen a la realidad. Muchos backtests ignoran el spread, las comisiones, el slippage (la diferencia entre el precio esperado y el obtenido), o suponen ejecuciones perfectas imposibles en la práctica. En un gran número de operaciones, esos costes ignorados pueden convertir una estrategia aparentemente ganadora en una estrategia perdedora. Un backtest sin costes realistas es un backtest que miente por omisión.

Un probador no te protege por defecto. Según la documentación de Pine Script sobre las estrategias, una estrategia no aplica ninguna comisión a las órdenes ejecutadas mientras no se indique, y el slippage, dinámico e imprevisible, no puede simularse con precisión: aconseja aplicar una pequeña cantidad fija a cada orden para acercar los resultados a la realidad. En el probador de MetaTrader 5, según la documentación citada más arriba, el modo basado en ticks reales ofrece condiciones cercanas a las reales, mientras que el modo OHLC de 1 minuto solo emula cuatro precios por vela de un minuto. La cuenta es rápida: una estrategia que gana de media 1 punto por operación antes de costes, y que paga 1,2 puntos de spread, comisión y slippage, muestra una ganancia de 300 puntos en 300 operaciones en una prueba sin costes, y una pérdida de 60 puntos en una prueba honesta.

Hacen falta también datos de calidad y una muestra suficiente. Probar con treinta operaciones no demuestra casi nada: según el cálculo de intervalo de confianza que presenta el manual de estadística del NIST, el instituto estadounidense de normas, una tasa de acierto del 50 % medida sobre 30 operaciones se sitúa, al 95 %, entre el 33 % y el 67 % aproximadamente, entre el 40 % y el 60 % sobre 100 operaciones, y entre el 45 % y el 55 % sobre 400. Un backtest creíble se apoya por tanto en cientos de operaciones, en condiciones de mercado variadas (tendencia, rango, volatilidad alta y baja), para comprobar que la estrategia aguanta en entornos distintos y no solo en el que le convenía.

Del backtest a la realidad

Incluso un backtest perfectamente honesto no garantiza nada, porque solo prueba la estrategia, no al trader. En condiciones reales añades una variable que el backtest ignora: tú. Tu capacidad de ejecutar la estrategia sin desviarte, de mantener tus stops, de no entrar en pánico en un drawdown, de no sobreoperar. Una estrategia excelente en backtest puede volverse perdedora en tus manos si no la ejecutas como estaba previsto.

Por eso la verdadera prueba de una estrategia es la confrontación de tu backtest con tus resultados reales. Si tu rendimiento real es muy inferior a tu backtest aunque hayas seguido tus reglas, lo que hay que revisar es la prueba, sus costes o su sobreajuste; si te has apartado de ellas, es tu ejecución. Medir tus operaciones reales y compararlas con lo que la estrategia prometía es la única forma de distinguir un problema de estrategia de un problema de disciplina.

Backtest, forward test y cuenta real

Un backtest honesto es solo la primera etapa de una validación en tres tiempos. Después del backtest (prueba sobre datos pasados) viene el forward test (prueba sobre datos nuevos, en tiempo real pero sin dinero), y luego el paso a cuenta real con un tamaño pequeño. Cada etapa filtra ilusiones que la anterior no ha revelado: el forward test pone a prueba el sobreajuste al pasado, y la cuenta real revela la distancia entre la teoría y tu ejecución emocional. La diferencia entre las dos primeras etapas se detalla en backtesting frente a forward testing.

Saltarse etapas es un error caro. Pasar directamente de un buen backtest a una cuenta real grande es arriesgarse a descubrir en directo, con dinero, que tu estrategia estaba sobreajustada o que no sabes ejecutarla. La progresión prudente (backtest, después forward test, después cuenta real con tamaño pequeño, después subida progresiva) te protege validando tu estrategia en cada etapa antes de comprometer más. Cada nivel confirma o desmiente lo que el anterior sugería, y es esa acumulación de pruebas la que te da una confianza justificada, no un simple backtest halagador.

Lo que un backtest no puede capturar

Incluso hecho a la perfección, un backtest tiene límites estructurales que hay que conocer. No captura tu psicología: en un gráfico del pasado no has sentido el miedo a la pérdida ni la tentación de cortar demasiado pronto. Tampoco captura las condiciones de ejecución reales (slippage variable, órdenes no ejecutadas, desfases), ni los acontecimientos excepcionales que no estaban en tus datos históricos. Un backtest prueba una estrategia en un mundo idealizado, no en el mundo real.

Por eso un buen backtest es necesario pero nunca suficiente. Te dice si tu estrategia tiene posibilidades de funcionar, pero no te dice si tú, con tus emociones y en condiciones reales, podrás hacerla funcionar. Tener presentes esos límites te evita el exceso de confianza peligroso que produce un backtest brillante. La verdadera validación de una estrategia no se hace nunca por completo sobre el pasado, se hace sobre tu capacidad de reproducirla en la realidad, algo que solo el trading real, medido, puede confirmar.

Poner a prueba tu comportamiento, no solo tu estrategia

Casi siempre se hace backtest de una estrategia (las reglas de entrada y de salida), pero se olvida poner a prueba la variable más importante: uno mismo. Dos traders con el mismo backtest pueden obtener resultados reales muy distintos, si uno ejecuta la estrategia con fidelidad y el otro se desvía. El verdadero «backtest» que cuenta es por tanto la comparación entre lo que tu estrategia prometía y lo que has obtenido realmente, una vez pasada por el filtro de tu ejecución.

Esa comparación es la más instructiva de todas. Si tu resultado real está cerca de tu backtest honesto, tu estrategia y tu ejecución están alineadas. Si es claramente inferior, mira primero si has seguido tus reglas. Si te has apartado de ellas, es tu disciplina lo que hay que trabajar, no tu método; si las has seguido, era el backtest el que prometía demasiado. Medir esa distancia entre lo teórico y lo real es la única forma de saber en qué centrar tus esfuerzos, y de ver si tu principal palanca de mejora es de comportamiento o técnica.

Las herramientas para hacer backtest en serio

Existen dos grandes familias de herramientas para hacer backtest, y no se sustituyen entre sí: la comparación entre backtest manual y backtest automatizado las pone frente a frente. El backtest manual consiste en recorrer un gráfico vela a vela, anotando cada operación que habrías tomado según tus reglas. Es lento, pero es el método que mejor te confronta con la incertidumbre real, porque nunca ves el futuro al avanzar. Es insustituible para estrategias discrecionales, basadas en una lectura visual del mercado, que ningún código puede capturar a la perfección.

El backtest automatizado, en cambio, consiste en programar tus reglas en un lenguaje como Pine Script y dejar que un motor las pruebe sobre años de datos en unos segundos. Es incomparablemente más rápido y permite probar sobre muestras enormes, lo que resuelve el problema del tamaño de muestra tratado más arriba. Su límite es que solo puede probar reglas perfectamente objetivas: en cuanto tu estrategia incluye un juicio discrecional («esto parece una buena configuración»), el código no puede reproducirlo con fidelidad. El buen reflejo suele ser combinar ambos: automatizar lo objetivo de tu estrategia para validar el núcleo estadístico sobre una muestra grande, y después probar a mano los matices discrecionales sobre una muestra más reducida pero realista.

Cuánto tiempo dedicar a un backtest antes de operar en real

No hay regla universal, pero sí una referencia útil: tu backtest debe cubrir suficientes operaciones y condiciones de mercado distintas para que tengas confianza en tus estadísticas, sin convertirse por ello en una excusa para aplazar indefinidamente el paso a real. Algunos traders hacen backtest durante meses, afinando sin fin, lo que también es una trampa: en algún momento, la única forma de aprender lo que un backtest no puede capturar (tu psicología, tu ejecución real) es empezar a operar, aunque sea con poco.

Una referencia pragmática consiste en buscar un backtest de al menos un centenar de operaciones (un mínimo: con ese tamaño, una tasa de acierto solo se conoce con unos diez puntos de margen) que cubra varios tipos de mercado (tendencia, rango, volatilidad alta y baja), y pasar después al forward test en cuanto se alcance ese umbral y los resultados sean estables. El tiempo ganado afinando un backtest más allá de ese umbral suele ser menos útil que el tiempo dedicado a observar cómo ejecutas realmente la estrategia en condiciones reales, en una cuenta pequeña. El backtest te dice si la idea es buena; solo el trading real, medido con rigor, te dice si eres capaz de ejecutarla.

Ten presente, por último, un límite: un backtest solo contiene lo que ya ha ocurrido. El evento sin precedente, lo que se llama un cisne negro en trading, no figura en él, por largo que sea el historial.

Cómo confronta Tradoshi tus resultados con la realidad

Para hacer backtesting sin mentirte, Tradoshi tiene su propia herramienta, en beta: la reproducción avanza vela a vela y mantiene el futuro oculto, lo que corta de raíz el sesgo retrospectivo, y tus órdenes pagan un spread, un slippage y unas comisiones realistas. La herramienta está incluida desde el plan Pro.

Una vez en real, Tradoshi te da tus estadísticas reales para confrontar lo que tu estrategia prometía con lo que obtienes de verdad, y distinguir un problema de estrategia de un problema de ejecución.

• Estadísticas reales: esperanza, profit factor y R media calculados sobre tus operaciones reales, no sobre un backtest optimista.
• Distancia backtest / real: compara lo que esperabas con tu rendimiento real para detectar los problemas de ejecución.
• Puntuación de disciplina: te dice si tu bajo rendimiento viene de la estrategia o de tus desvíos.
• Muestra suficiente: tus estadísticas se sitúan en el contexto de tu número de operaciones para seguir siendo creíbles.

Probar un sistema entero, y las herramientas que se encargan de ello

Probar un sistema de trading no se limita a probar una entrada. Un sistema incluye la entrada, la salida, el tamaño y las reglas de parada, y es el conjunto el que produce la curva. Muchos tests decepcionantes vienen de una entrada correcta unida a una gestión de posición que no lo es.

Las plataformas de los brókers ofrecen su propio motor de test, tanto el de MetaTrader como el de NinjaTrader. Bastan para una estrategia mecánica y vienen integrados en la plataforma. Las herramientas basadas en inteligencia artificial aportan otra cosa: no prueban, releen y clasifican lo que el test ha producido.

La mejor herramienta de análisis sigue siendo la que te hace plantear una pregunta que no habías previsto. Un simulador que reproduce miles de secuencias, como los que usan los gestores para evaluar una exposición, sirve exactamente para eso.

Preguntas frecuentes