ALGO TRADING
Une méthode du balayage de paramètres jusqu'au track record live. Compter chaque essai, dégonfler le gagnant, le valider hors échantillon, puis laisser un compte live vérifié trancher.
– LE PROBLÈME
On ne peut pas éviter d'essayer beaucoup de configurations. La recherche est une exploration. Ce qu'on peut éviter, c'est de présenter la meilleure comme si elle était la seule essayée. Sur du pur bruit, le meilleur Sharpe d'une grille monte avec la taille de la grille, et rien dans sa courbe de capital ne dit qu'il vient du bruit.
La défense n'est donc pas un optimiseur plus malin. C'est de la comptabilité. Savoir combien d'essais ont produit le gagnant, mesurer quelle part de son Sharpe ce nombre d'essais produirait par hasard, et vérifier que ce qui survit survit aussi à des données sur lesquelles rien n'a été ajusté.
La méthode ci-dessous le fait en cinq étapes. Les quatre premières se passent sur votre machine. La dernière se passe chez votre broker, le seul endroit où la question est vraiment tranchée.
– CINQ ÉTAPES
Chaque étape retire une façon de se tromper soi-même. En sauter une ne fait pas gagner de temps, cela déplace la découverte vers le compte live, où elle coûte de l'argent.
Chaque balayage, chaque règle ajoutée puis retirée, chaque fenêtre décalée est un essai. Tenez un total sur toutes les sessions, pas seulement la taille de la grille lancée aujourd'hui.
Si vous ne savez pas dire combien de configurations vous avez évaluées, la correction de l'étape trois n'a rien d'honnête sur quoi s'appuyer.
Lancez la grille et lisez toute la surface. Une stratégie robuste performe sur une région continue de paramètres. Un pic isolé entouré de mauvais voisins est la signature d'un ajustement au bruit.
Préférez le centre d'une région stable au maximum global, même quand le maximum score mieux.
Entrez le meilleur Sharpe, le nombre d'essais, la longueur de l'échantillon et la forme des rendements dans la probabilité de surapprentissage et le Sharpe dégonflé (Bailey et López de Prado).
Si le Sharpe corrigé tombe près de zéro, la grille a trouvé de la chance. Resserrez la grille ou prenez plus de données avant d'aller plus loin.
Le walk-forward réajuste sur une fenêtre et mesure sur la suivante, si bien que chaque chiffre publié vient de données que les paramètres n'ont jamais vues. Ce sont les fenêtres de test indépendantes qui comptent, pas le nombre de plis.
Comparez la performance hors échantillon à celle en échantillon. Un rapport très inférieur à un dit que l'ajustement ne se transporte pas.
Une petite allocation live est le seul test qu'on ne peut pas suradapter, parce que ses données n'existaient pas quand vous avez choisi les paramètres. L'historique doit venir de la venue, pas être assemblé après coup.
Démarrez le track record vérifié le jour où la stratégie passe en live, pour que personne, vous compris, ne puisse choisir la fenêtre plus tard.
– EN PRATIQUE
Le calculateur de surapprentissage demande sept valeurs. Un balayage de paramètres les produit toutes. Voici l'extraction avec ManifoldBT, sur un croisement de moyennes mobiles exponentielles en barres de quatre heures.
import manifoldbt as mbt
from manifoldbt.indicators import close, ema
from manifoldbt.helpers import time_range, Interval
fast = ema(close, mbt.param("fast", default=12))
slow = ema(close, mbt.param("slow", default=26))
strategy = (
mbt.Strategy.create("ema_cross")
.signal("fast", fast)
.signal("slow", slow)
.size(mbt.when(fast > slow, mbt.lit(1.0), mbt.lit(0.0)))
)
start, end = time_range("2021-01-01", "2025-01-01")
config = mbt.BacktestConfig(
universe=[1],
time_range_start=start,
time_range_end=end,
bar_interval=Interval.hours(4),
initial_capital=100_000,
warmup_bars=200,
fees=mbt.FeeConfig.binance_perps(),
)
store = mbt.DataStore("store/data", "store/meta.sqlite", arrow_dir="store/data/mega")
# 144 combinaisons : 9 périodes rapides x 16 périodes lentes
grid = {"fast": list(range(5, 50, 5)), "slow": list(range(50, 210, 10))}
results = mbt.run_sweep_lite(strategy, grid, config, store)
cols = mbt.sweep_columns(results, ["sharpe", "skewness", "kurtosis"])
best = int(cols["sharpe"].argmax())
# Les sept entrées de auditzk.com/fr/tools/backtest-overfitting
print("Observed Sharpe ", cols["sharpe"][best] * (252 / 365.25) ** 0.5) # ramené à 252 jours, voir plus bas
print("Frequency daily")
print("Backtest length ", round((end - start) / 86_400e9), "days")
print("Backtests run ", len(results))
print("Tunable settings", len(grid))
print("Skewness ", cols["skewness"][best])
print("Kurtosis ", cols["kurtosis"][best] + 3) # excédentaire vers brute, voir plus basLa même extraction fonctionne avec tout moteur qui donne ses métriques par combinaison. ManifoldBT exécute la grille en parallèle sur un cœur Rust, avec frais, slippage et funding appliqués à chaque exécution. Son offre gratuite lance des balayages jusqu'à 256 combinaisons, ce qui couvre la grille ci-dessus.
Le walk-forward relève de son offre Pro.
– LIRE LE RÉSULTAT
Le calculateur estime la probabilité que le meilleur Sharpe soit un artefact de la sélection, en le comparant au Sharpe que le même nombre d'essais aléatoires atteindrait par hasard. Il range le résultat en trois zones.
| Probabilité | Ce que cela signifie | Que faire ensuite |
|---|---|---|
| 5 % ou moins | La sélection explique peu du meilleur Sharpe. L'edge a passé son premier test. | Passez à la validation walk-forward avant de lui confier du capital. |
| 5 % à 20 % | Une partie du résultat vient de la sélection. La stratégie peut être réelle, mais le Sharpe affiché la surestime. | Lisez la surface de paramètres. Si le gagnant est sur un plateau, gardez son centre et raisonnez avec le Sharpe corrigé. |
| Au-delà de 20 % | La meilleure configuration est très probablement la plus chanceuse. Son Sharpe reflète surtout la taille de la grille. | Ne la tradez pas. Resserrez l'hypothèse, retirez des paramètres, ou testez sur des données que la grille n'a jamais vues. |
FAQ
Pour aller plus loin
Saisissez les sept valeurs de votre balayage et obtenez la probabilité que le gagnant soit un artefact de la sélection.
Le surapprentissage est une des raisons pour lesquelles la courbe live déçoit. Le modèle de coûts et l'exécution sont les deux autres.
Prouvez qu'un algorithme fonctionne en production sans révéler sa logique, ses paramètres ni ses trades.
ÉTAPE SUIVANTE
Connectez vos comptes en lecture seule. AuditZK construit un historique live vérifié à partir du jour où votre stratégie passe en live, sans exposer les trades individuels ni la logique de la stratégie.