Programme du parcours 0/10
La leçon Tester une stratégie : backtest et paper trading présente les grands pièges d’un . Ici, on les regarde de plus près, avec les questions à poser devant n’importe quelle courbe trop belle. Car un backtest est un programme comme un autre : il peut contenir des erreurs, et il est très facile de lui faire dire ce qu’on a envie d’entendre.
1.Le surapprentissage, ou la torture des données
Chaque paramètre d’une stratégie est un bouton que l’on peut tourner : la longueur d’une moyenne, le seuil d’un filtre, la distance d’un stop. Plus il y a de boutons, plus il est facile de trouver, par hasard, une combinaison qui colle au passé.
Deux réflexes limitent les dégâts. D’abord, compter tous les essais réalisés, y compris ceux qu’on a oubliés, et se méfier d’autant plus du meilleur résultat qu’il y en a eu. Ensuite, regarder les réglages voisins : une stratégie robuste donne des résultats proches quand on décale un peu ses paramètres, une stratégie surajustée s’effondre.
| Moyenne courte | 16 jours | 18 jours | 20 jours | 22 jours | 24 jours |
|---|---|---|---|---|---|
| Stratégie robuste | +5 % | +6 % | +6 % | +5 % | +6 % |
| Stratégie surajustée | −2 % | +1 % | +14 % | 0 % | −1 % |
Rendements annuels fictifs, pour l’illustration. Le pic isolé à +14 % n’est pas une découverte : c’est le hasard du passé. Le plateau autour de +5 à +6 % est plus crédible, même s’il est moins spectaculaire.
Faites l’expérience : testez de plus en plus de réglages sur du hasard, gardez le meilleur, puis rejouez-le sur des années nouvelles.
Meilleur backtest
+10,5 % par an
Le même, sur 5 ans nouveaux
−3,1 % par an
Réglages à plus de +5 % par an
22 sur 200
En gardant le meilleur de 200 réglages, vous obtenez +10,5 % par an en backtest, par pure chance. Sur des années nouvelles, la chance ne suit pas : le résultat retombe autour de zéro, avant frais.
Chaque réglage est un tirage au hasard : aucun n’a le moindre talent. Écart annuel à l’indice sur dix ans de backtest, puis sur cinq années nouvelles.
2.Le biais d’anticipation, sous toutes ses formes
Utiliser une information qui n’était pas connue au moment de la décision est le bug le plus fréquent, et le plus flatteur. Il prend des formes moins visibles qu’un cours de clôture utilisé trop tôt :
- Les résultats publiés en retard : les comptes annuels arrêtés au 31 décembre ne sont souvent publiés qu’en février ou en mars. Un backtest qui les utilise dès le 1er janvier triche.
- Les données révisées : certains chiffres économiques sont corrigés après coup. La version disponible aujourd’hui n’est pas celle que l’on connaissait à l’époque.
- Les calculs sur toute la période : normaliser un indicateur avec la moyenne de dix ans de données revient à utiliser, dès la première année, des prix qui n’existaient pas encore.
- La composition actuelle des indices : choisir ses titres parmi ceux du CAC 40 d’aujourd’hui, c’est savoir à l’avance quelles entreprises allaient réussir. Le biais du survivant, déguisé.
3.Des données propres, des coûts complets
Un backtest ne vaut que ses données. Un cours aberrant, par exemple une action notée 5 € au lieu de 50 € pendant une séance, crée des opérations fictives très rentables. Une non corrigée ressemble à un krach de 50 %. Cherchez les sauts de prix anormaux avant de croire un résultat.
Restent les coûts. Commissions, écart entre prix acheteur et prix vendeur (le spread), à l’exécution : chacun paraît minuscule, mais il se paie à chaque aller-retour. En première approximation :
Coût annuel = Allers-retours par an × Coût d’un aller-retour
Une stratégie qui engage tout son capital 40 fois par an, à 0,25 % de coût total par aller-retour, abandonne environ 40 × 0,25 % = 10 % de rendement par an. Peu de stratégies ont un avantage assez grand pour payer une telle facture. Plus une stratégie opère souvent, plus son backtest doit être exigeant sur les coûts.
Coût par an
10 %
Gain net par an
2 %
Gain nul à partir de
48 par an
Les coûts retirent 10 % sur 12 % de gain brut : il reste 2 %. Comparez ce chiffre à celui d’un simple ETF sur l’indice.
Gain brut par an, allers-retours par an, coût de chaque aller-retour. Approximation de la leçon : coût annuel = allers-retours par an × coût d’un aller-retour (commissions, spread et glissement), le capital entier étant engagé à chaque fois.