Domine la validación a partir de muestras para estrategias criptográficas sólidas

Probablemente esté sentado en un backtest que parece lo suficientemente limpio como para operar. La curva de equidad aumenta, la tasa de acierto parece creíble y la lógica suena inteligente cuando se dice en voz alta. Luego lo implementas en mercados reales y comienza a sangrar casi de inmediato.

Eso es normal en las criptomonedas. Es incluso más común en las estrategias en cadena, donde los operadores generan señales a partir de etiquetas de billetera, tiempos de intercambio, lanzamientos de tokens y representantes del impulso social que parecían obvios solo después de que el movimiento ya se había producido.

El problema generalmente no es la mala suerte. El problema es que la estrategia aprendió su conjunto de datos, no el mercado. Validación fuera de muestra es el filtro que le indica si encontró una ventaja negociable o simplemente una ilusión pulida.

Por qué su 'Perfect' El backtest probablemente fallará

Un nuevo analista de DeFi suele cometer el mismo error primero. Encuentran un grupo de billeteras que compraron temprano, filtran operaciones rentables, copian el comportamiento en un conjunto de reglas y ejecutan una simulación histórica. El resultado parece excelente porque las reglas fueron moldeadas por la misma historia por la que están siendo juzgadas.

Eso no es validación. Eso es un ensayo.

En la investigación comercial, esta brecha entre lo que parecía bueno en el desarrollo y lo que sobrevive con datos invisibles es lo suficientemente grande como para acabar con una estrategia. La revisión de Quantpedia de la investigación sobre estrategias comerciales encontró que los proporciones de Sharpe para resultados fuera de la muestra fueron, en promedio, un 33% peores y un 44% peores en la mediana que los resultados dentro de la muestra en su resumen de la literatura sobre in-sample versus análisis de estrategias comerciales fuera de muestra.

Por qué las pruebas retrospectivas de criptomonedas fallan más rápido

La investigación en cadena empeora la trampa porque los datos parecen más ricos de lo que realmente son. Puede ver historiales de billeteras, flujos de tokens, tiempos de posición y seguimientos de PnL. Eso crea la ilusión de que más visibilidad significa más certeza.

No es así.

Cuando reflejas carteras, a menudo estás seleccionando supervivientes. También observa el comportamiento después del hecho, con pleno conocimiento de qué billeteras terminaron pareciendo inteligentes. Esto introduce una visión retrospectiva oculta de todo el proceso de investigación.

Regla práctica: si descubrió la estrategia mirando fijamente a los ganadores, asuma que su primera prueba está sesgada hasta que se demuestre lo contrario.

Cómo se ve el sobreajuste en la práctica

El sobreajuste en DeFi rara vez se anuncia por sí solo. Por lo general, aparece como uno de estos:

• Demasiados filtros: Solo copia operaciones por encima de un cierto tamaño, dentro de una ventana de tiempo estrecha, para un perfil de token específico, después de excluir ejemplos "malos" que dañan la curva.
• Ajuste narrativo: Cada regla parece justificada, pero el conjunto completo se reunió porque mejoró los resultados históricos.
• Rendimiento frágil: Cambie el rango de fechas, elimine una cohorte de billetera o cambie ligeramente el tiempo de ejecución y el backtest se degradará rápidamente.

Una estrategia que solo funciona en la muestra exacta que la creó no es una estrategia. Es un recuerdo del ruido del pasado disfrazado de proceso.

Qué está exactamente fuera de la validación de la muestra

Piense en los datos de la muestra como un examen de práctica a libro abierto. Has visto el material, has ajustado tus notas y has aprendido dónde están los puntos fáciles. Los datos fuera de la muestra son el examen real. No podrás volver a escribir tus respuestas después de ver las preguntas.

Esa es la idea.

Un modelo o conjunto de reglas se construye sobre una porción de los datos. Luego se evalúa en una porción separada que nunca vio durante el desarrollo. Esa segunda parte es el único lugar donde el rendimiento empieza a significar algo.

La investigación sobre la metodología de validación lo deja claro: la validación fuera de muestra es técnicamente más sólida porque el rendimiento debe medirse en datos que el modelo nunca vio durante el entrenamiento, y que la evaluación independiente proporciona una estimación más realista de la generalización antes de la implementación, como se describe en esta revisión de los métodos de evaluación de modelos.

Los dos conjuntos de datos que importan

Solo necesitas dos ideas centrales:

• Datos en la muestra: La parte utilizada para ajustar, refinar o seleccionar la estrategia.
• Datos fuera de la muestra: la parte reservada se utiliza para probar si la estrategia aún funciona cuando no puede hacer trampa.

Para un modelo de duplicación de billetera, los datos de la muestra pueden incluir operaciones anteriores de billeteras rastreadas. Utilice ese período para decidir qué cuenta como señal copiable. El segmento fuera de muestra es el último período de mercado en el que esas reglas se congelan y se prueban sin modificaciones.

Lo que hace y lo que no hace

La validación fuera de muestra no garantiza ganancias futuras. Primero hace algo más importante. Le indica si su proceso puede sobrevivir al primer contacto con datos invisibles.

Es por eso que un resultado fuera de muestra de apariencia mediocre puede ser más valioso que una magnífica prueba retrospectiva dentro de la muestra. El resultado mediocre puede ser honesto. Lo hermoso puede ser ficción.

Aún no se ha demostrado una estrategia que transmita datos invisibles. Una estrategia que falla con datos invisibles ya está descalificada.

Por qué esto es importante para DeFi específicamente

Los analistas en cadena a menudo confunden transparencia con previsibilidad. Los datos de Blockchain son públicos, pero los datos públicos todavía contienen ruido, retrasos, fricciones de ejecución y cambios de comportamiento. Una billetera rentable puede cambiar de táctica. Un meta token puede desaparecer. Una regla de copy-trading puede dejar de funcionar una vez que mucha gente la nota.

La validación fuera de muestra obliga a la disciplina. Le impide declarar la victoria sólo porque sus reglas explican los ganadores de ayer.

Métodos clave de validación para sistemas comerciales

La validación de series de tiempo vive o muere según una regla. Debe preservar el orden temporal. Para los sistemas de pronóstico y comercio, el modelo debe entrenarse con observaciones anteriores y probarse con observaciones posteriores, porque la división aleatoria puede filtrar información futura en el entrenamiento e inflar artificialmente la precisión, como se explica en esta descripción general de pronósticos dentro y fuera de la muestra para datos de series de tiempo.

Si mezcla filas en un conjunto de datos criptográfico, a menudo entrega piezas del futuro a su modelo. Así es como la gente termina “prediciendo” movimientos que sólo eran visibles porque el backtest contenía un truco oculto.

Entrenamiento y prueba dividida

Este es el método más simple. Divides la serie en un bloque de entrenamiento anterior y un bloque de prueba posterior. Construya sobre la primera parte. Juzgue sobre el segundo.

Es útil cuando desea un primer paso rápido sobre una idea de estrategia, especialmente si está probando un conjunto de reglas básicas como "monederos espejo solo después de una acumulación repetida en el mismo token".

Lo que funciona es claridad. Lo que echa de menos es fiabilidad. Una división puede ser engañosa si ese período de prueba resultó ser inusualmente fácil o inusualmente hostil.

Validación anticipada

Este es el caballo de batalla práctico para el trading.

Se entrena en un período inicial, se prueba en el siguiente período, se avanza la ventana, se vuelve a entrenar y se prueba nuevamente. Eso imita el funcionamiento de una mesa de investigación en vivo. Solo conoces el pasado, construyes a partir de él y luego llega el siguiente bloque de datos de mercado.

La validación anticipada es especialmente útil para los sistemas en cadena porque el comportamiento de la billetera evoluciona. Una billetera que estuvo al principio de los memes de Solana podría migrar más tarde a un ecosistema diferente o pasar de operaciones oscilantes a operaciones de francotirador.

Hábito de escritorio: Congele las reglas antes de cada segmento de avance. Si los modifica después de ver el resultado, volverá a convertir las pruebas en entrenamiento.

Validación de ventana móvil

La validación de ventana móvil es similar, pero en lugar de permitir que el historial de entrenamiento siga expandiéndose, utiliza una porción móvil del historial reciente. Esto ayuda cuando los datos antiguos ya no describen el mercado actual.

Esto puede ser útil en criptografía porque los regímenes más antiguos a menudo se vuelven irrelevantes. Un entorno de lanzamiento de tokens impulsado por una estructura de liquidez puede comportarse de manera muy diferente a otra posterior. Una ventana móvil te permite resaltar lo reciente.

El inconveniente es que se puede desperdiciar un contexto útil a largo plazo. Algunos comportamientos se repiten a lo largo de los ciclos, y una ventana demasiado corta puede hacer que la estrategia sea inestable.

Cuál debería usar

Para la mayoría de las investigaciones de DeFi, la elección se reduce a la pregunta que se hace:

• Verificación rápida de cordura: use una división simple de entrenamiento/prueba.
• Realismo de implementación: use el avance validación.
• Alta sensibilidad del régimen: use una ventana móvil cuando los datos más antiguos probablemente estén obsoletos.

Artículos relacionados

Guía definitiva para la privacidad de capa 2 para Ethereum

Una guía para comerciantes para el envío completo de monedas

Precio de criptografía de bot: verifique los bots del mercado y sus datos Fuentes de Oracle