Traitement de données en tables · NSI Première (sans spé maths)

Qu'est-ce qu'une table ? Le format CSV

Une table est un ensemble d'enregistrements (les lignes) qui ont tous les mêmes champs (les colonnes). Chaque champ porte un nom, le descripteur.

Un fichier CSV (Comma-Separated Values) est un fichier texte qui stocke une table : une ligne par enregistrement, les champs séparés par un séparateur (souvent la virgule, parfois le point-virgule ou la tabulation). La première ligne contient en général les descripteurs.

En Python, on représente une table par une liste de dictionnaires : chaque dictionnaire est un enregistrement, ses clés sont les descripteurs.

t = [

    {"nom": "Durand", "ville": "Lille", "age": 17},

    {"nom": "Petit", "ville": "Nice", "age": 16},

]

print(t[0]["ville"])   # Lille

Entraîne-toi★☆☆

Voici le contenu d'un fichier CSV : a) Quel est le séparateur de champs ? Quels sont les descripteurs ? b) Combien d'enregistrements contient la table ? c) Représenter…

Voici le contenu d'un fichier CSV :

nom,ville,age

Durand,Lille,17

Petit,Nice,16

Roux,Lille,16

a) Quel est le séparateur de champs ? Quels sont les descripteurs ?

b) Combien d'enregistrements contient la table ?

c) Représenter cette table sous forme d'une liste de dictionnaires en Python.

Résoudre

Importer un fichier CSV

Le module csv de la bibliothèque standard lit un fichier. Avec DictReader, la première ligne fournit les clés des dictionnaires.

Lire eleves.csv

On veut obtenir la liste table des enregistrements.

On ouvre le fichier avec with : il est fermé automatiquement à la fin du bloc, même en cas d'erreur. On précise l'encodage et newline="".

On crée le lecteur et on convertit en liste.

import csv

with open("eleves.csv", encoding="utf-8", newline="") as f:

    lecteur = csv.DictReader(f)

    table = list(lecteur)

Si le séparateur est un point-virgule (export d'un tableur français), on l'indique : csv.DictReader(f, delimiter=";"). Les valeurs restent des chaînes.

Entraîne-toi★☆☆

Écrire en Python les instructions qui ouvrent le fichier eleves.csv (encodage UTF-8), le lisent avec csv.DictReader et stockent les enregistrements dans une liste table.…

Écrire en Python les instructions qui ouvrent le fichier eleves.csv (encodage UTF-8), le lisent avec csv.DictReader et stockent les enregistrements dans une liste table. Préciser comment fermer correctement le fichier.

Résoudre

Rechercher dans une table

Chercher, c'est sélectionner les enregistrements qui vérifient un critère, exprimé avec ==, <, and, or, not. La compréhension est l'outil idéal.

lillois = [e for e in t if e["ville"] == "Lille"]

noms_16 = [e["nom"] for e in t if e["age"] == 16]

t.append({"nom": "Blanc", "ville": "Brest", "age": 17})

Pour combiner deux critères : [e for e in t if e["ville"] == "Lille" and e["age"] >= 17].

Doublons et cohérence

Deux contrôles classiques sur une table :

repérer les doublons (même valeur dans un champ qui devrait être unique) ;
tester la cohérence : champs non vides, valeurs dans le bon domaine (âge entre 0 et 120, mail contenant @).

Trouver les doublons d'un champ

On parcourt la table une seule fois en comptant les valeurs dans un dictionnaire.

def doublons(table, champ):

    compte = {}

    for e in table:

        v = e[champ]

        compte[v] = compte.get(v, 0) + 1

    return [v for v in compte if compte[v] > 1]

Chaque accès au dictionnaire est rapide : le coût est proportionnel à $n$ (nombre de lignes). Avec deux boucles imbriquées qui comparent toutes les paires, il serait proportionnel à $n^2$.

Modifie la fonction pour qu'elle renvoie aussi le nombre d'occurrences de chaque doublon.

Entraîne-toi★☆☆

On dispose de la table t, liste de dictionnaires, avec les champs nom, ville, age de l'exercice précédent. Chaque enregistrement est de la forme {"nom": "Martin",…

On dispose de la table t, liste de dictionnaires, avec les champs nom, ville, age de l'exercice précédent. Chaque enregistrement est de la forme {"nom": "Martin", "ville": "Lille", "age": 16} : le champ age est un entier.

a) Écrire une compréhension qui renvoie la liste des enregistrements dont la ville est "Lille".

b) Écrire une compréhension qui renvoie la liste des noms des élèves d'âge 16.

c) Écrire une instruction qui ajoute l'enregistrement de Blanc, Brest, 17 ans.

Résoudre

Entraîne-toi★★☆

Une table villes contient les champs nom, region, population (entier) et superficie (en km²). a) Écrire une compréhension qui renvoie les villes de la région "Bretagne"…

Une table villes contient les champs nom, region, population (entier) et superficie (en km²).

a) Écrire une compréhension qui renvoie les villes de la région "Bretagne" de plus de 50 000 habitants.

b) Écrire une fonction qui renvoie la moyenne des densités (population divisée par superficie) de chaque ville de la table.

c) Trier la table par population décroissante avec sorted et une fonction key.

Résoudre

Entraîne-toi★★☆

Une table inscrits est une liste de dictionnaires avec les champs id, nom, mail. a) Écrire une fonction doublons(table) qui renvoie la liste des adresses mail…

Une table inscrits est une liste de dictionnaires avec les champs id, nom, mail.

a) Écrire une fonction doublons(table) qui renvoie la liste des adresses mail apparaissant plus d'une fois.

b) Écrire une fonction coherente(table) qui renvoie True si tous les champs de chaque enregistrement sont non vides et si le mail contient le caractère @.

c) Expliquer pourquoi l'utilisation d'un dictionnaire améliore l'efficacité de la recherche de doublons par rapport à deux boucles imbriquées.

Résoudre

Trier une table

La fonction sorted(table, key=...) renvoie une nouvelle liste triée ; table.sort(key=...) trie sur place. L'argument key est une fonction qui, à un enregistrement, associe la valeur de comparaison. L'option reverse=True donne l'ordre décroissant.

def age(e):

    return int(e["age"])

par_age = sorted(t, key=age)

par_age_decroissant = sorted(t, key=age, reverse=True)

par_nom = sorted(t, key=lambda e: e["nom"])

Tri selon deux critères

Pour trier d'abord par ville croissante puis, à ville égale, par âge, la clé renvoie un couple : Python compare les couples dans l'ordre lexicographique.

sorted(t, key=lambda e: (e["ville"], e["age"]))

Pour un sens différent selon le critère (ville croissante, âge décroissant), on utilise la stabilité : le tri de Python ne change pas l'ordre relatif de deux éléments dont les clés sont égales. On trie donc d'abord selon le critère secondaire, puis selon le critère principal.

Entraîne-toi★★★

On veut trier une table t selon deux critères : d'abord par ville croissante, puis, à ville égale, par age décroissant. a) Écrire l'appel à sorted correspondant en…

On veut trier une table t selon deux critères : d'abord par ville croissante, puis, à ville égale, par age décroissant.

a) Écrire l'appel à sorted correspondant en utilisant une fonction key renvoyant un couple.

b) Justifier que le tri de Python est stable et montrer comment l'utiliser pour obtenir le même résultat avec deux tris successifs. Préciser l'ordre des deux tris.

c) Appliquer la méthode aux enregistrements (Lille, 16), (Nice, 17), (Lille, 18), (Nice, 15) et donner le résultat.

Résoudre

Fusionner des tables

Les données sont souvent réparties dans plusieurs tables liées par un champ commun (une clé), comme id_club ci-dessous.

La méthode efficace : transformer clubs en dictionnaire indexé par la clé, puis parcourir eleves une seule fois.

Fusion de eleves et clubs

On indexe clubs : la clé du dictionnaire est id_club.

index = {c["id_club"]: c for c in clubs}

On parcourt eleves et on construit les nouveaux enregistrements ; on traite le cas d'une clé absente (élève sans club valide).

def fusion(eleves, clubs):

    index = {c["id_club"]: c for c in clubs}

    res = []

    for e in eleves:

        c = index.get(e["id_club"])

        if c is not None:

            res.append({"nom": e["nom"], "club": c["club"],

                        "salle": c["salle"]})

    return res

Coût : $n + m$ opérations (construction de l'index puis parcours). Avec deux boucles imbriquées, on aurait $n \times m$.

Modifie le code pour conserver les élèves sans club en mettant None dans club et salle.

Entraîne-toi★★☆

Deux tables : eleves avec les champs id, nom, id_club, et clubs avec les champs id_club, club, salle. a) Écrire une fonction fusion(eleves, clubs) qui renvoie une table…

Deux tables : eleves avec les champs id, nom, id_club, et clubs avec les champs id_club, club, salle.

a) Écrire une fonction fusion(eleves, clubs) qui renvoie une table dont chaque enregistrement contient nom, club et salle.

b) Que devient un élève dont id_club n'existe pas dans clubs ? Proposer un traitement.

c) Donner la complexité de la fusion avec deux boucles imbriquées, puis expliquer comment l'améliorer.

Résoudre

Entraîne-toi★★★

Une table releves contient les champs station, date et temp (température en °C, lue comme chaîne dans le CSV) pour des stations météo françaises. a) Écrire une fonction…

Une table releves contient les champs station, date et temp (température en °C, lue comme chaîne dans le CSV) pour des stations météo françaises.

a) Écrire une fonction qui convertit les températures en flottants et signale les valeurs manquantes (chaîne vide) en les écartant.

b) Écrire une fonction qui renvoie un dictionnaire donnant la température moyenne par station.

c) En déduire la station la plus chaude en moyenne. Préciser ce qui se passe en cas d'égalité avec votre code.

Résoudre

Entraîne-toi★★★

Une table emprunts (champs id_livre, id_lecteur, date) et une table livres (champs id_livre, titre, auteur) décrivent une médiathèque à Rennes. a) Écrire une fonction…

Une table emprunts (champs id_livre, id_lecteur, date) et une table livres (champs id_livre, titre, auteur) décrivent une médiathèque à Rennes.

a) Écrire une fonction qui renvoie le titre du livre le plus emprunté.

b) Écrire une fonction qui renvoie, pour chaque lecteur, la liste des titres empruntés.

c) Identifier deux contrôles de cohérence entre les tables et écrire une fonction qui les vérifie.

Résoudre

Vers le début : pour ajouter la salle à chaque élève, on fusionne eleves et clubs grâce au champ commun id_club, après avoir indexé clubs dans un dictionnaire.

L'essentiel

Une table est un ensemble d'enregistrements ayant les mêmes champs (descripteurs) ; un fichier CSV la stocke en texte, avec un séparateur.
En Python, une table est une liste de dictionnaires ; csv.DictReader dans un bloc with la lit, et toutes les valeurs sont des chaînes à convertir.
On sélectionne par compréhension [e for e in t if critère] ; on détecte doublons et incohérences en parcourant la table.
sorted(t, key=...) trie selon une colonne ; une clé de type couple permet plusieurs critères ; le tri est stable.
On fusionne deux tables en indexant l'une par la clé commune dans un dictionnaire : coût $n + m$ au lieu de $n \times m$.

À s'entraîner ! 9 exercices dans cette section

★☆☆ Voici le contenu d'un fichier CSV : a) Quel est le séparateur de champs ? Quels sont les…★☆☆ On dispose de la table t, liste de dictionnaires, avec les champs nom, ville, age de…★☆☆ Écrire en Python les instructions qui ouvrent le fichier eleves.csv (encodage UTF-8), le…