Programme du parcours 0/10
Votre robot tourne, le est honnête, le est en cours. Reste la question décisive : vaut-il la peine ? La réponse ne se lit pas dans le rendement seul. Elle tient en quelques mesures, et dans une comparaison sans complaisance avec la solution la plus simple qui soit : acheter l’indice et ne plus y toucher.
1.Rendement, risque et ratio de Sharpe
Un rendement de 8 % par an ne dit rien s’il a fallu supporter des secousses énormes pour l’obtenir. Le ratio de Sharpe rapporte le rendement obtenu au-delà d’un placement sans risque à la subie.
Sharpe = (Rendement annualisé − Taux sans risque) ÷ Volatilité annualisée
Le ratio de Sharpe ne voit pas tout : il traite de la même façon les secousses à la hausse et à la baisse. Regardez donc aussi la perte maximale, la pire chute entre un sommet et le creux suivant, présentée dans la leçon Espérance de gain, stops et coupe-circuit. C’est souvent elle qui pousse à abandonner une stratégie en cours de route.
2.Assez d’opérations pour conclure ?
Douze opérations en dix ans ne prouvent presque rien. L’incertitude sur le gain moyen diminue avec le nombre d’opérations, mais lentement : il en faut quatre fois plus pour la diviser par deux.
Erreur type = Écart-type des gains ÷ √(Nombre d’opérations)
Prenons un gain moyen de 0,5 % par opération, avec un écart-type de 5 %. Sur 25 opérations, l’erreur type vaut 5 ÷ 5 = 1 % : un gain moyen de 0,5 % à plus ou moins 1 % près ne se distingue pas de zéro. Sur 400 opérations, elle tombe à 5 ÷ 20 = 0,25 %, et le gain moyen se situe à deux erreurs types de zéro : le signal devient plus crédible.
Erreur type
1 %
Verdict
Pas prouvé
Fourchette à 95 %
−1,5 % à +2,5 %
La fourchette contient zéro : ce gain moyen peut venir du seul hasard. Avec ces chiffres, il faudrait environ 400 opérations pour conclure.
Gain moyen et écart-type par opération. Fourchette à plus ou moins deux erreurs types, soit environ 95 % de confiance si les opérations sont indépendantes. C’est un minimum : avoir testé beaucoup de réglages exige bien plus.
3.Battre l’indice, frais compris
La bonne référence est un ETF qui suit l’indice du marché sur lequel le robot opère, sur la même période. Comparez tout, côte à côte :
| Mesure (chiffres fictifs) | Robot | Indice acheté et conservé |
|---|---|---|
| Rendement annualisé, frais déduits | 5 % | 10 % |
| Volatilité annualisée | 8 % | 14 % |
| Perte maximale | −14 % | −30 % |
| Ratio de Sharpe, taux sans risque à 3 % | 0,25 | 0,5 |
| Opérations par an | 35 | 0 |
Le robot perd moins dans les crises, ce qui est tentant. Mais à risque égal, il fait moins bien : moitié ETF, moitié placement sans risque donnerait environ 6,5 % par an avec une volatilité de 7 %, soit plus de rendement pour moins de secousses. Un robot qui fait moins bien que l’indice après frais, à risque comparable, ne vaut pas la peine : l’ETF fait mieux, plus simplement et moins cher, sans surveillance ni risque de panne.
4.Le walk-forward : tester comme on vivra
Un seul découpage entre période de réglage et période de test peut tomber, par chance, sur une bonne année. Le walk-forward répète l’opération en faisant glisser la fenêtre dans le temps : on règle les paramètres sur les années 1 à 4 et on teste sur l’année 5, puis on règle sur les années 2 à 5 et on teste sur l’année 6, et ainsi de suite.
On met ensuite bout à bout les seules périodes de test. C’est la courbe la plus proche de ce que vous auriez vécu en réel, puisque chaque décision n’a utilisé que le passé disponible. Si elle est nettement moins bonne que le backtest optimisé, l’écart mesure le surapprentissage.
Pour mettre ces mesures en pratique, l’exercice Coder et backtester une stratégie compare la perte maximale et le ratio de Sharpe de votre stratégie à ceux de l’indice.