Extraer información de los datos

Metadatos: datos sobre los datos

Los datos son los valores que guardamos: una foto, una canción, una calificación. Los metadatos son datos que describen a otros datos. No son la foto, pero te dicen cosas de ella.

Una foto tomada con un celular suele guardar la fecha y la hora, el modelo del celular, la ubicación GPS y el tamaño del archivo. Este formato se llama EXIF. Otros ejemplos: una canción guarda artista, álbum y duración; un mensaje de texto guarda remitente, destinatario y hora.

Los metadatos sirven para buscar y organizar (ordenar fotos por fecha o filtrar por lugar). También pueden revelar cosas privadas: una foto con ubicación GPS puede mostrar dónde vives.

Patrones, correlación y causalidad

Cuando ordenamos o graficamos datos, aparecen patrones. Si dos variables cambian juntas, decimos que hay correlación.

• Correlación positiva: cuando una variable sube, la otra también (más horas de práctica, mejor puntaje).

• Correlación negativa: cuando una sube, la otra baja (más millas recorridas, menos batería).

• Sin correlación: no se ve relación.

Un patrón también permite estimar valores nuevos. Pero si te sales del rango de los datos que tienes, la estimación es más arriesgada, porque no sabes si el patrón sigue igual.

Ahora lo más importante: correlación no es causalidad. Que dos cosas cambien juntas no significa que una cause la otra. Puede haber una variable de confusión (confounding variable) que afecte a ambas, o simple coincidencia.

Filtrar y calcular con datos

Filtrar es quedarse solo con las filas que cumplen una condición. Se puede combinar condiciones con AND (se cumplen las dos) y OR (se cumple al menos una).

Los programas hacen esto con listas enormes en segundos. Por eso las computadoras permiten analizar conjuntos de datos grandes que una persona no podría revisar a mano.

Sesgo en los datos y limitaciones

Una conclusión es tan buena como los datos que la sostienen. Los datos pueden tener sesgo si la muestra no representa a toda la población.

Fuentes comunes de sesgo:

• Sesgo de muestreo: solo se encuesta a un grupo (por ejemplo, solo a estudiantes de cursos AP).

• Sesgo de no respuesta: solo contestan quienes tienen opinión fuerte o más tiempo. Si responde el 40%, el otro 60% queda sin voz.

• Datos incompletos: un solo día, una sola ciudad o una sola hora.

Una muestra sesgada o con poca respuesta puede llevar a conclusiones distintas de las de toda la población. Por ejemplo, si una encuesta llega solo a estudiantes de cursos AP y responde el 40%, esas opiniones pueden no reflejar lo que piensa toda la escuela, porque quienes no respondieron o no fueron encuestados podrían opinar distinto.

Para mejorar, se elige una muestra aleatoria y representativa, y se intenta que casi todos respondan.

Para evaluar una afirmación así, un mejor diseño sería asignar al azar a los estudiantes a un grupo que usa la app y otro que no, medir el GPA antes y después, y comparar.

Usar programas con datos: limpieza

Los datos reales están «sucios». Antes de analizarlos hay que limpiarlos. Problemas típicos:

Un programa que cuenta filas con Estado exactamente igual a «TX» solo encuentra una parte. Distingue mayúsculas de minúsculas y no reconoce «Texas».

Vuelve al principio: los datos se convierten en información cuando sabes qué describen (metadatos), qué patrón muestran, de dónde vienen, si están limpios y si una correlación puede llamarse causa.

Resumen

• Los metadatos describen otros datos (fecha, ubicación, tamaño) y sirven para organizar, pero pueden afectar la privacidad.

• La correlación es una relación entre variables; no implica causalidad. Busca variables de confusión.

• Estimar fuera del rango de los datos es arriesgado.

• Filtrar deja solo las filas que cumplen una condición; cuida el denominador de los porcentajes.

• El sesgo (de muestreo o de no respuesta) y los datos incompletos limitan las conclusiones.

• Limpiar datos (formato, duplicados, faltantes) es necesario antes de que un programa los cuente.