ALGO TRADING

Éviter le surapprentissage d'un backtest

Une méthode du balayage de paramètres jusqu'au track record live. Compter chaque essai, dégonfler le gagnant, le valider hors échantillon, puis laisser un compte live vérifié trancher.

– LE PROBLÈME

Le surapprentissage naît dans le balayage

On ne peut pas éviter d'essayer beaucoup de configurations. La recherche est une exploration. Ce qu'on peut éviter, c'est de présenter la meilleure comme si elle était la seule essayée. Sur du pur bruit, le meilleur Sharpe d'une grille monte avec la taille de la grille, et rien dans sa courbe de capital ne dit qu'il vient du bruit.

La défense n'est donc pas un optimiseur plus malin. C'est de la comptabilité. Savoir combien d'essais ont produit le gagnant, mesurer quelle part de son Sharpe ce nombre d'essais produirait par hasard, et vérifier que ce qui survit survit aussi à des données sur lesquelles rien n'a été ajusté.

La méthode ci-dessous le fait en cinq étapes. Les quatre premières se passent sur votre machine. La dernière se passe chez votre broker, le seul endroit où la question est vraiment tranchée.

– CINQ ÉTAPES

D'une grille à une preuve

Chaque étape retire une façon de se tromper soi-même. En sauter une ne fait pas gagner de temps, cela déplace la découverte vers le compte live, où elle coûte de l'argent.

  1. 01 COMPTER

    Tenir le compte des essais

    Chaque balayage, chaque règle ajoutée puis retirée, chaque fenêtre décalée est un essai. Tenez un total sur toutes les sessions, pas seulement la taille de la grille lancée aujourd'hui.

    Si vous ne savez pas dire combien de configurations vous avez évaluées, la correction de l'étape trois n'a rien d'honnête sur quoi s'appuyer.

  2. 02 BALAYER

    Chercher un plateau, pas un pic

    Lancez la grille et lisez toute la surface. Une stratégie robuste performe sur une région continue de paramètres. Un pic isolé entouré de mauvais voisins est la signature d'un ajustement au bruit.

    Préférez le centre d'une région stable au maximum global, même quand le maximum score mieux.

  3. 03 DÉGONFLER

    Chiffrer la sélection

    Entrez le meilleur Sharpe, le nombre d'essais, la longueur de l'échantillon et la forme des rendements dans la probabilité de surapprentissage et le Sharpe dégonflé (Bailey et López de Prado).

    Si le Sharpe corrigé tombe près de zéro, la grille a trouvé de la chance. Resserrez la grille ou prenez plus de données avant d'aller plus loin.

  4. 04 VALIDER

    Réajuster hors échantillon

    Le walk-forward réajuste sur une fenêtre et mesure sur la suivante, si bien que chaque chiffre publié vient de données que les paramètres n'ont jamais vues. Ce sont les fenêtres de test indépendantes qui comptent, pas le nombre de plis.

    Comparez la performance hors échantillon à celle en échantillon. Un rapport très inférieur à un dit que l'ajustement ne se transporte pas.

  5. 05 PASSER EN LIVE

    Laisser la venue tenir le score

    Une petite allocation live est le seul test qu'on ne peut pas suradapter, parce que ses données n'existaient pas quand vous avez choisi les paramètres. L'historique doit venir de la venue, pas être assemblé après coup.

    Démarrez le track record vérifié le jour où la stratégie passe en live, pour que personne, vous compris, ne puisse choisir la fenêtre plus tard.

– EN PRATIQUE

D'un balayage aux entrées du calculateur

Le calculateur de surapprentissage demande sept valeurs. Un balayage de paramètres les produit toutes. Voici l'extraction avec ManifoldBT, sur un croisement de moyennes mobiles exponentielles en barres de quatre heures.

sweep_to_pbo.py
import manifoldbt as mbt
from manifoldbt.indicators import close, ema
from manifoldbt.helpers import time_range, Interval

fast = ema(close, mbt.param("fast", default=12))
slow = ema(close, mbt.param("slow", default=26))
strategy = (
    mbt.Strategy.create("ema_cross")
    .signal("fast", fast)
    .signal("slow", slow)
    .size(mbt.when(fast > slow, mbt.lit(1.0), mbt.lit(0.0)))
)

start, end = time_range("2021-01-01", "2025-01-01")
config = mbt.BacktestConfig(
    universe=[1],
    time_range_start=start,
    time_range_end=end,
    bar_interval=Interval.hours(4),
    initial_capital=100_000,
    warmup_bars=200,
    fees=mbt.FeeConfig.binance_perps(),
)
store = mbt.DataStore("store/data", "store/meta.sqlite", arrow_dir="store/data/mega")

# 144 combinaisons : 9 périodes rapides x 16 périodes lentes
grid = {"fast": list(range(5, 50, 5)), "slow": list(range(50, 210, 10))}
results = mbt.run_sweep_lite(strategy, grid, config, store)

cols = mbt.sweep_columns(results, ["sharpe", "skewness", "kurtosis"])
best = int(cols["sharpe"].argmax())

# Les sept entrées de auditzk.com/fr/tools/backtest-overfitting
print("Observed Sharpe ", cols["sharpe"][best] * (252 / 365.25) ** 0.5)  # ramené à 252 jours, voir plus bas
print("Frequency        daily")
print("Backtest length ", round((end - start) / 86_400e9), "days")
print("Backtests run   ", len(results))
print("Tunable settings", len(grid))
print("Skewness        ", cols["skewness"][best])
print("Kurtosis        ", cols["kurtosis"][best] + 3)  # excédentaire vers brute, voir plus bas

Trois points que le script règle pour vous

Kurtosis
ManifoldBT donne la kurtosis excédentaire, qui vaut 0 pour une loi normale. Le calculateur attend la kurtosis brute, qui vaut 3 pour une loi normale. Ajoutez 3 avant de la saisir, sinon une stratégie à queues épaisses passe pour une stratégie à queues fines et son Sharpe paraît plus fiable qu'il ne l'est.
Annualisation
ManifoldBT annualise sur 365,25 jours par défaut, la convention crypto. Le calculateur ramène le Sharpe annuel au quotidien avec 252 jours de bourse. Multiplier par la racine de 252 / 365,25 garde le même Sharpe quotidien des deux côtés. Avec trading_days_per_year=252 dans la configuration, retirez le facteur.
Nombre d'essais
len(results) ne compte que ce balayage. Si vous avez lancé d'autres grilles, d'autres indicateurs ou d'autres unités de temps sur les mêmes données avant d'arriver ici, ajoutez-les au nombre de backtests. Le calculateur est exactement aussi honnête que ce chiffre.

La même extraction fonctionne avec tout moteur qui donne ses métriques par combinaison. ManifoldBT exécute la grille en parallèle sur un cœur Rust, avec frais, slippage et funding appliqués à chaque exécution. Son offre gratuite lance des balayages jusqu'à 256 combinaisons, ce qui couvre la grille ci-dessus.

Le walk-forward relève de son offre Pro.

– LIRE LE RÉSULTAT

Ce que la probabilité vous dit

Le calculateur estime la probabilité que le meilleur Sharpe soit un artefact de la sélection, en le comparant au Sharpe que le même nombre d'essais aléatoires atteindrait par hasard. Il range le résultat en trois zones.

ProbabilitéCe que cela signifieQue faire ensuite
5 % ou moinsLa sélection explique peu du meilleur Sharpe. L'edge a passé son premier test.Passez à la validation walk-forward avant de lui confier du capital.
5 % à 20 %Une partie du résultat vient de la sélection. La stratégie peut être réelle, mais le Sharpe affiché la surestime.Lisez la surface de paramètres. Si le gagnant est sur un plateau, gardez son centre et raisonnez avec le Sharpe corrigé.
Au-delà de 20 %La meilleure configuration est très probablement la plus chanceuse. Son Sharpe reflète surtout la taille de la grille.Ne la tradez pas. Resserrez l'hypothèse, retirez des paramètres, ou testez sur des données que la grille n'a jamais vues.

FAQ

Questions fréquentes

ÉTAPE SUIVANTE

Laissez le compte live trancher

Connectez vos comptes en lecture seule. AuditZK construit un historique live vérifié à partir du jour où votre stratégie passe en live, sans exposer les trades individuels ni la logique de la stratégie.