Baja correlación con target variable Cover_Type

[BustamJos3]

La máxima correlación que estoy obteniendo para la variable 'Cover_Type' es como mucho del 0.25

Corresponde a la variable 'Soil_Type38'. Quisiera saber qué se puede hacer en estos casos donde la correlación está dando muy baja.

Aquí el código:

#modules
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
from zipfile import ZipFile
import seaborn as sns
#call API and upload .json kaggle token
!pip install kaggle
#upload kaggle token .json
from google.colab import files
files.upload()
#Make a directory named kaggle and copy the kaggle.json file there.
!mkdir -p ~/.kaggle
!cp kaggle.json ~/.kaggle/
# change the permission of the file
!chmod 600 ~/.kaggle/kaggle.json
#API from forest cover dataset
!kaggle competitions download -c forest-cover-type-prediction
#unzip files
file_name = 'forest-cover-type-prediction.zip' #the file is the dataset exact name
with ZipFile(file_name, 'r') as zip:
  zip.extractall()
  print('Done')
# .zip is now not necessary
!rm forest-cover-type-prediction.zip
#create DF from train
df_train = pd.read_csv('train.csv')
#correlation matrix
corrmat = df_train.corr().loc['Elevation':,'Elevation':]
f, ax = plt.subplots(figsize=(12, 12))
sns.heatmap(corrmat, vmax=.8, square=True);

$\longrightarrow$ Y obtengo el siguiente mapa de calor:

$\longrightarrow$ De donde la máxima correlación es la siguiente

corrmat['Cover_Type'][corrmat['Cover_Type']>.1]

De antemano, gracias.
@rramosp @raulramosudea @Felipe-RA @andrea-mu

[Felipe-RA]

Saludos @BustamJos3

Lamento la tardanza para responder.

Ten en cuenta que la correlación es una medida de la relación lineal entre tu variable objetivo y otra variable en tu dataset.

Con esto en cuenta, cuando todas tus variables tienen un coeficiente de relación bajo significa que ninguna por si sola "explica/aporta significativamente" al resultado que obtienes en la variable objetivo.

Esto es un indicador de que se requieren modelos complejos, capaces de encontrar las asociaciones no lineales entre tus variables predictoras.

En resumen, no es un indicador de que la variable no sea relevante para el modelo. Sólo indica que por si sola no lo es, pero relacionandose con otras variables puede llegar a serlo.

[BustamJos3]

Listo, entonces qué herramientas podría usar para hallar esas relaciones no lineales? Básicamente se trata de determinar el tipo de árboles que predominan en cierta zona, a partir de unas variables topográficas (elevación, tipo de suelo [seco, húmedo, etc], etc). Entonces quisiera saber qué herramientas puedo utilizar para determinar esa relación no lineal ente la variable objetivo (Cover_Type) y esas variables topográficas. Son 7 especies de árboles que es posible encontrar, el punto es determinar la especie en la zona a partir de esas variables topográficas. Gracias @rramosp @raulramosudea @Felipe-RA

[Felipe-RA]

Hay varias técnicas... entrenar el modelo con distintas features y comparar resultados.

Sklearn tiene una buena lectura sobre cómo hacer esto y los posibles errores que puedes encontrar:
https://scikit-learn.org/stable/modules/permutation_importance.html

También están las Partial Dependence Plots, que te permiten visualizar y analizar interacciones entre distintas features con la variablr objetivo.

Las recomiendo todas

[Felipe-RA]

También, algunos algoritmos (como el Random Forest) te permiten visualizar un poco cuáles features tuvieron mayor peso. Fijate en los docs y busca feature_importance