Error en descripción LAB 01.02 Task 4. Duda sobre resultado.

[jgomelop]

Hola. La descripción del Task 4 del lab 01.02 menciona justo después de la matriz 0/1 de etiqueta de clases lo siguiente: "...and will produce a logloss of approx 2.14". Para este task, construí una función que calcula el logloss de acuerdo a la fórmula que da kaggle y que es la misma que está definida en sklearn. La función construida es la siguiente:

def LOGLOSS(y_actual, y_predicted):
  N = len(y_actual)
  M = len(y_actual.T)
  S = 0
  for i in range(N):
    for j in range(M):
      # Debugging
      print(f"{y_actual[i][j]}xlog({y_predicted[i][j]})")
      S += y_actual[i][j]*np.log(y_predicted[i][j])
  return (-1/N)*S

Los resultados obtenidos usando mi función y log_loss de sklearn fueron: 1.1130790605131282 y 1.109728948561961 respectivamente. Estos resultados distan considerablemente del 2.14 mencionado en la descripción.

Finalmente, para resolver el ejercicio hice lo mismo anteriormente descrito, obteniendo 1.6559955246158116 para mi función, y 1.6545311894937877 para log_loss de sklearn. ¿por qué esa diferencia de valores sabiendo que la fórmula para calcular en teoría es la misma?

El ejercicio pasa satisfactoriamente utilizando log_loss de sklearn.

El colab completo donde trabajé es este.

[rramosp]

hola juan pablo ... debes de estar haciendo las comprobaciones con otros datos (quizá los aleatorios que se generan después) ... con los datos del ejemplo da 2.14 ... mira la figura más abajo ... igualmente, fíjate que tu función LOGLOSS también se puede implementar en una línea de python usando la semántica vectorizada de numpy 

[rramosp]

adjunto la imagen

[jgomelop]

Buenos días profe.

Según la imagen que propones, la matriz y_true tiene un error en la fila 1 (contando desde cero), ya que el número uno debe estar en la posición 1 (contando desde cero) y no en la posicion 2 de dicha fila. En otras palabras, el 1 debe estar apuntando al 0.44, que es el máximo de la fila 1.

El array debería quedar así, según tengo entendido de la teoría.

array([[0., 0., 0., 1., 0.],
[0., 1., 0., 0., 0.],
[1., 0., 0., 0., 0.]])

Quedo atento y gracias de antemano.

[rramosp]

gracias juan pablo ... creo que con la discusiòn de hoy en clase quedó esto un poco más claro.

la cosa es que el primer array es la salida de predicciòn de un modelo y el segundo es el ground truth. Fìjate que en el ejemplo, el modelo acierta el primera animal (le da una probabilidad de 0.31), pero no el segundo, ya que el elemento con mayor probabilidad (0.44) no es el correcto segùn el ground truth.

fìjate igualmente que la funciòn de evaluaciòn de kaggle premia los aciertos que se hacen con más seguridad (con màs probabilidad)