Fanhouse : Qu’est-ce que l’importance variable dans Random Forest ?
Introduction : Pourquoi s’inquiéter de l’importance des variables dans une forêt aléatoire ?
Lorsque vous utilisez une forêt aléatoire pour classer ou prédire, le modèle combine plusieurs arbres de décision pour obtenir des performances robustes. Cependant, parvenir à une bonne précision ne suffit pas toujours : il est souvent nécessaire de comprendre quelles variables pilotent réellement le modèle pour prendre vos décisions. Cette compréhension, appelée importance des variables (ou importance des ressources), permet :
- Identifier les principaux facteurs qui influencent votre cible, ce qui est essentiel pour prendre des décisions commerciales.
- Réduire la dimensionnalité éliminer les variables non informatives, ce qui accélère la formation future.
- Détecter les biais potentiel du modèle et améliorer sa transparence, notamment dans des contextes réglementés.
Dans cet article nous décortiquons la notion d’importance variable dans une Random Forest, nous montrons comment la calculer, interpréter les résultats et les utiliser concrètement.
2. Les bases de la forêt aléatoire
2.1. Qu’est-ce qu’une forêt aléatoire ?
Une forêt aléatoire est un agrégat d’arbres de décision construits sur des sous-ensembles aléatoires de données et de variables. Chaque arbre est conduit :
- ET exemple de démarrage du set d’apprentissage (tirage avec remise).
- ET sous-ensemble aléatoire de variables dans chaque nœud, limitées par le paramètre max_features.
Cette double randomisation sert à réduire la corrélation entre les arbres, ce qui réduit la variance globale du modèle sans sacrifier le biais.
2.2. Pourquoi la mesure de l’importance variable est-elle spécifique aux forêts ?
Contrairement aux modèles linéaires où les coefficients donnent une idée directe de l’influence des variables, les arbres sont non linéaires et basés sur des critères de découpage (ex. Gini, entropie). Random Forest offre donc un moyen naturel de mesurer l’impact de chaque variable sur le gain d’informations accumulé dans tous les arbres.
3. Méthodes d’estimation de l’importance des variables
3.1. Importance basée sur la réduction des impuretés (Mean Decrease Impurity – MDI)
- Prince : à chaque fois qu’une variable est utilisée pour diviser un nœud, le critère d’impureté (Gini ou entropie) diminue. La contribution variable est la somme de ces diminutions, pondérée par le nombre d’échantillons transitant par le nœud.
- Calcutta :
[
text{Importance}_{MDI}(Xj)=frac{1}{T}sum{t=1}^{T}sum_{kintext{splits}_t(Xj)} Delta I{t,k}
]où (T) est le nombre d’arbres, et (Delta I_{t,k}) la diminution d’impureté due à la variable (X_j) dans l’arbre (t).
- Avantages : rapide à calculer, disponible directement dans la plupart des librairies (scikit‑learn, R randomForest).
- Limites : biaisé en faveur de variables continues ou lourdes en catégories car elles offrent plus de possibilités de division.
3.2. Signification basée sur la permutation (précision de la diminution moyenne – MDA)
- Prince : Après la formation, nous mesurons les performances (par exemple précision, AUC) sur l’échantillon OOB (Out-Of-Bag). Alors nous valeurs d’échange d’une variable (X_j) dans cet échantillon, nous réévaluons le modèle et calculons la perte de performance.
- Calcutta :
[
text{Importance}_{MDA}(Xj)=text{Score}{text{OOB}} – text{Score}_{text{OOB (perm)}}
] - Avantages : moins sensible au type de variable, reflète l’impact réel sur la capacité prédictive.
- Limites : Plus coûteux en termes de temps de calcul, notamment avec des jeux de données volumineux.
3.3. Autres approches avancées
| Méthode | Description | Forts de pointe | Faiblesses |
|---|---|---|---|
| SHAP (explications additives SHapley) | Attribuer des valeurs de jeu de coalition à chaque variable, compatibles avec la forêt. | Interprétations locales et globales, additives. | Calcul intensif pour les grands ensembles de données. |
| LIME (Explications agnostiques du modèle interprétable local) | Approcher le modèle autour d’une observation par un modèle linéaire. | Explications intuitives par l’observation. | Moins fiable dans l’ensemble. |
| Interprète d’arbre | Décompose la prédiction d’un arbre en contributions variables. | Directement lié à l’arborescence. | Limité aux forêts arborées isolées. |
4. Interpréter les scores d’importance
4.1. Mise à l’échelle et normalisation
Les scores bruts varient selon la méthode (MDI, MDA). C’est courant normaliser les montants pour que la somme soit de 100% :
importances = forest.feature_importances_
importances = 100.0 * (importances / importances.max())Cela facilite la comparaison des variables et la visualisation (barplots, boxplots).
4.2. Identifier les variables « pivots »
- Seuil heuristique : conserve les variables dont l’importance > 5% de la valeur maximale.
- Courbe de gravier (coude) : tracez les valeurs ordonnées et repérez le coude où la pente se stabilise.
4.3. Attention aux préjugés
- Variables catégorielles à plusieurs niveaux ont tendance à avoir une grande importance dans le MDI.
- Corrélation : Deux variables hautement corrélées peuvent partager leur importance, donnant l’impression qu’elles sont toutes deux sans importance. Une analyse de corrélation (heat map) est donc recommandée avant d’interpréter les scores.
5. Explorez l’importance des variables dans vos projets
5.1. Sélection des fonctionnalités
- Former une première forêt avec le set complet.
- Classervariables par importance (MDA a préféré éviter les biais).
- Retenirles N variables les plus importantes (N à paramétrer en fonction du budget de calcul ou des performances souhaitées).
- Recyclerla forêt dans ce sous-ensemble et comparer les métriques (précision, F1, etc.).
5.2. Création de nouvelles variables
L’importance peut révéler interactioninexploré : Si deux variables sont d’importance modérée, tester une variable combinée (produit, proportion) peut améliorer le modèle.
5.3. Communication aux parties intéressées
Utilisez des vues simples:
- Graphique à barres horizontalesmontants standardisés.
- Diagramme de dépendance partielle (PDP)sur les principales variables pour montrer leur effet marginal.
Ces graphiques traduisent les résultats techniques en informations pouvant être utilisées par les équipes commerciales, les spécialistes du marketing ou les décideurs.
6. Cas pratique : implémentation avec scikit‑learn (Python)
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np
import matplotlib.pyplot as plt
# 1. Chargement des données
X, y = load_your_data() # X : DataFrame, y : cible
# 2. Entraînement de la forêt
rf = RandomForestClassifier(
n_estimators=500,
max_features='sqrt',
oob_score=True,
random_state=42,
n_jobs=-1)
rf.fit(X, y)
# 3. Importance MDI
mdi_importance = rf.feature_importances_
mdi_importance = 100 * mdi_importance / mdi_importance.max()
# 4. Importance MDA (permutation)
from sklearn.inspection import permutation_importance
perm = permutation_importance(rf, X, y,
n_repeats=10,
random_state=42,
scoring='accuracy')
mda_importance = 100 * perm.importances_mean / perm.importances_mean.max()
# 5. Visualisation
features = X.columns
indices = np.argsort(mda_importance)[::-1]
plt.figure(figsize=(8,6))
plt.title("Importance des variables (MDA)")
plt.barh(np.arange(len(features)), mda_importance[indices], align='center')
plt.yticks(np.arange(len(features)), features[indices])
plt.gca().invert_yaxis()
plt.xlabel("Importance relative (%)")
plt.show()Ce script montre en trois minutes comment obtenir et visualiser les deux types d’importance, puis sélectionner les variables les plus pertinentes.
7. Limites et bonnes pratiques
| Aspect | Recommandation |
|---|---|
| Biais MDI | Préférez la permutation (MDA) ou combinez les deux scores. |
| Coût de calcul | Utilisez l’exemple OOB pour la permutation afin d’éviter un ensemble de validation distinct. |
| Variables hautement corrélées | Effectuez une analyse de corrélation et, si nécessaire, regroupez ou éliminez les variables redondantes. |
| Modèle final | Conservez un petit ensemble de variables pour la production afin de réduire la latence et la consommation de mémoire. |
| Réplicabilité | Corriger les graines aléatoires (random_state) et enregistrez le modèle, ainsi que les valeurs. |
8. Conclusion
Pour comprendre l’importance des variables dans une forêt aléatoireIl ne s’agit pas seulement d’extraire un score : il s’agit d’un processus itératif qui combine calculs statistiques, visualisations claires et réflexion commerciale. En maîtrisant les deux indicateurs clés (MDI et MDA), en restant vigilant contre les biais et en intégrant des informations dans votre flux de travail de science des données, vous pouvez:
- Optimiser les performancesde vos modèles, en ne gardant que les variables vraiment utiles.
- Accélérer les cycles de formationgrâce à une taille réduite.
- Bâtir la confianceparties prenantes, rendant le modèle transparent et explicable.
En appliquant les bonnes pratiques présentées ici, vous disposerez d’un outil puissant pour transformer vos données brutes en connaissances exploitables, tout en gardant le contrôle sur la complexité et la fiabilité de vos modèles Random Forest.
