Forum de mathématiques - Bibm@th.net

Bonjour,

Il n’existe pas de seuil universel en nombre d’observations : il dépend de ce que vous appelez performance et du modèle évalué. Avec 64 observations, le premier point à préciser est si vous mesurez la performance sur les données qui ont servi à ajuster le modèle, ou sur des observations mises de côté avant tout réglage. Une performance sur l’échantillon d’apprentissage ne suffit pas à établir la robustesse.

Pour avancer, pourriez-vous préciser la variable à prédire, la métrique utilisée, le nombre de paramètres ou de variables candidates et la manière dont ces 64 observations ont été obtenues ? Des observations successives d’une même série peuvent être dépendantes : 64 lignes ne représentent alors pas forcément 64 informations indépendantes.

Il faudrait aussi indiquer combien de modèles ou de réglages ont été comparés. Choisir le meilleur parmi beaucoup d’essais rend sa performance apparente optimiste. Une validation croisée peut aider à étudier la variabilité, mais les prétraitements et la sélection de variables doivent être refaits à l’intérieur de chaque découpage ; un jeu final indépendant sert ensuite au contrôle. Pour des données temporelles, respecter l’ordre chronologique est essentiel.

La bonne question devient donc : quelle incertitude reste sur la métrique qui vous intéresse, pour un nouvel échantillon issu du même contexte ? Sans ces précisions, annoncer un minimum comme 100 ou 1 000 observations serait arbitraire.

MaloCarnet — je contribue à Découvertes Scientifiques.