Intelligence artificielle et big data
Le filtre anti-spam de la messagerie de l'ENT de ton lycée n'a pas une liste de phrases suspectes écrite mot par mot : il a appris à les reconnaître à partir de milliers de courriels déjà classés. C'est la différence de fond entre programmer un système et l'entraîner, et c'est la base de l'intelligence artificielle que tu utilises chaque jour sans la voir.
De la règle aux données : l'apprentissage automatique
En NSI, tu as vu qu'un programme est lui-même une donnée. L'apprentissage automatique pousse cette idée plus loin : au lieu d'écrire les règles, on laisse un algorithme les déduire d'exemples.
La programmation traditionnelle convient quand on sait écrire les règles (calculer une TVA, trier une liste). L'apprentissage automatique convient quand les règles sont impossibles à écrire à la main (reconnaître un chat sur une photo, filtrer le spam).
Un modèle de type réseau de neurones artificiels est organisé en couches de « neurones ». Chaque neurone combine ses entrées avec des poids (des nombres) ajustables : la sortie est par exemple $s = w_1 x_1 + w_2 x_2 + \dots + b$, suivie d'une fonction d'activation. Pendant l'entraînement, on modifie les poids pour réduire l'erreur sur les exemples : « le réseau apprend » signifie que ses poids ont été ajustés.
Expliquer avec vos propres mots la différence entre la programmation traditionnelle (règles écrites par une personne) et l'apprentissage automatique (règles apprises à…
Expliquer avec vos propres mots la différence entre la programmation traditionnelle (règles écrites par une personne) et l'apprentissage automatique (règles apprises à partir d'exemples), et donner une application pour laquelle chaque approche est la plus adaptée.
Expliquer à l'aide d'une analogie simple ce qu'est un réseau de neurones artificiels : des couches de « neurones » qui combinent des entrées avec des poids ajustables.…
Expliquer à l'aide d'une analogie simple ce qu'est un réseau de neurones artificiels : des couches de « neurones » qui combinent des entrées avec des poids ajustables. Qu'est-ce qui est ajusté pendant l'entraînement et que signifie que le réseau « apprend » ?
Classer du plus général au plus spécifique ces trois termes : apprentissage profond (deep learning), intelligence artificielle, apprentissage automatique. Expliquer la…
Classer du plus général au plus spécifique ces trois termes : apprentissage profond (deep learning), intelligence artificielle, apprentissage automatique. Expliquer la relation d'inclusion entre eux avec un exemple de chaque niveau.
Types d'apprentissage : supervisé, non supervisé, par renforcement
Dans l'apprentissage supervisé, l'étiquette est le plus souvent produite par des humains (annotateurs, experts), ce qui représente un coût en temps et en argent. On distingue deux familles de problèmes.
En apprentissage supervisé, qu'est-ce que l'étiquette d'une donnée ? Donner trois exemples de jeux de données étiquetés (photo → chat/chien, courriel → spam/non spam,…
En apprentissage supervisé, qu'est-ce que l'étiquette d'une donnée ? Donner trois exemples de jeux de données étiquetés (photo → chat/chien, courriel → spam/non spam, capteur → sain/panne) et expliquer qui produit généralement les étiquettes et quel en est le coût.
Expliquer la différence entre apprentissage supervisé, non supervisé et par renforcement, et classer ces applications : un filtre anti-spam entraîné avec des courriels…
Expliquer la différence entre apprentissage supervisé, non supervisé et par renforcement, et classer ces applications : un filtre anti-spam entraîné avec des courriels étiquetés, le regroupement de clients selon leurs habitudes d'achat sans étiquettes, et un robot qui apprend à marcher par essais et erreurs.
Distinguer un problème de classification (prédire une catégorie) d'un problème de régression (prédire un nombre). Classer ces tâches : estimer le prix d'un logement,…
Distinguer un problème de classification (prédire une catégorie) d'un problème de régression (prédire un nombre). Classer ces tâches : estimer le prix d'un logement, décider si une radiographie montre une fracture, prédire la température de demain et regrouper des articles d'actualité par thème.
Évaluer un modèle : surapprentissage et matrice de confusion
On détecte le surapprentissage en comparant les erreurs : une erreur très faible sur l'entraînement et nettement plus forte sur le test est le signe typique. Quand les données sont peu nombreuses, on peut utiliser la validation croisée : on découpe les données en plusieurs parties et on fait tourner celle qui sert de test, pour qu'une seule division « chanceuse » ou « malchanceuse » ne fausse pas l'estimation.
Pour un problème à deux classes, la matrice de confusion compare la réalité à la prédiction.
Un système apprend avec $80\,\%$ des données et est évalué avec les $20\,\%$ restants. Expliquer ce que sont l'ensemble d'entraînement et l'ensemble de test, ce qu'est…
Un système apprend avec $80\,\%$ des données et est évalué avec les $20\,\%$ restants. Expliquer ce que sont l'ensemble d'entraînement et l'ensemble de test, ce qu'est le surapprentissage et comment on le détecte en comparant les erreurs sur les deux ensembles.
Un classifieur de pannes évalué sur $200$ machines donne la matrice de confusion de la figure. a) Calculer la précision ($\frac{VP}{VP + FP}$) et le rappel ou…
Un classifieur de pannes évalué sur $200$ machines donne la matrice de confusion de la figure. a) Calculer la précision ($\frac{VP}{VP + FP}$) et le rappel ou sensibilité ($\frac{VP}{VP + FN}$). b) Expliquer quelle erreur est la plus grave en maintenance (le faux négatif : panne non détectée) et comment vous modifieriez le seuil du modèle pour la réduire au prix de davantage de fausses alertes.
Dans la détection de fraude bancaire, une seule transaction sur mille est frauduleuse. Expliquer ce qu'est un jeu de données déséquilibré, pourquoi un modèle qui classe…
Dans la détection de fraude bancaire, une seule transaction sur mille est frauduleuse. Expliquer ce qu'est un jeu de données déséquilibré, pourquoi un modèle qui classe tout comme « légitime » a raison dans $99{,}9\,\%$ des cas et ne sert à rien, et quelles métriques et techniques on utilise à la place (rappel, suréchantillonnage de la classe minoritaire, pondération).
Données, variables et choix du modèle
Un modèle ne vaut que par les données qu'on lui donne. Les variables d'entrée (en anglais features) sont les informations décrivant chaque exemple : pour prédire la consommation électrique d'un bâtiment, on peut utiliser la température extérieure, l'heure, jour ouvré ou férié, l'occupation, la consommation de la veille, le rayonnement solaire. Chacune a un lien plausible avec la consommation.
Ces variables s'insèrent dans une chaîne de traitement en cinq blocs : (1) la collecte des données brutes, (2) la préparation (nettoyage, choix et transformation des variables), (3) l'entraînement du modèle, (4) l'évaluation sur l'ensemble de test, (5) l'inférence, c'est-à-dire l'utilisation du modèle sur des données nouvelles. Chaque bloc reçoit la sortie du précédent : l'entraînement, par exemple, reçoit des données préparées et, pour l'apprentissage supervisé, étiquetées.
L'ingénierie des variables (feature engineering) consiste à choisir, construire et transformer ces variables (par exemple, passer d'une date à « jour de la semaine »). Elle est souvent plus déterminante que le choix de l'algorithme : de bonnes variables avec un algorithme simple battent de mauvaises variables avec un algorithme sophistiqué.
La figure montre la chaîne d'un système d'apprentissage automatique qui recommande des itinéraires de bus, mais l'un de ses blocs est masqué. Indiquer quel bloc manque,…
La figure montre la chaîne d'un système d'apprentissage automatique qui recommande des itinéraires de bus, mais l'un de ses blocs est masqué. Indiquer quel bloc manque, ce qui se passe à l'intérieur et quelles données il doit recevoir du bloc précédent.
Expliquer ce qu'est un « modèle » en apprentissage automatique (les motifs et paramètres appris à partir des données) et quelle différence il y a entre l'entraîner et…
Expliquer ce qu'est un « modèle » en apprentissage automatique (les motifs et paramètres appris à partir des données) et quelle différence il y a entre l'entraîner et l'utiliser (inférence). Pourquoi l'entraînement demande-t-il beaucoup plus de calcul que l'utilisation ?
Citer cinq services du quotidien qui utilisent aujourd'hui l'apprentissage automatique (cartes et trafic, traducteurs, recommandation de vidéos, assistants vocaux,…
Citer cinq services du quotidien qui utilisent aujourd'hui l'apprentissage automatique (cartes et trafic, traducteurs, recommandation de vidéos, assistants vocaux, filtres anti-spam) et indiquer pour chacun quelles données d'entrée le modèle utilise.
Expliquer ce qu'est la validation croisée (diviser les données en plusieurs parties et faire tourner celle qui sert au test) et quel problème elle résout quand il y a…
Expliquer ce qu'est la validation croisée (diviser les données en plusieurs parties et faire tourner celle qui sert au test) et quel problème elle résout quand il y a peu de données : pourquoi une seule division entraînement/test peut-elle donner une estimation « chanceuse » ou « malchanceuse » de l'erreur réelle ?
Pour prédire la consommation électrique d'un bâtiment, proposer au moins six variables d'entrée (température extérieure, heure de la journée, jour ouvré ou férié,…
Pour prédire la consommation électrique d'un bâtiment, proposer au moins six variables d'entrée (température extérieure, heure de la journée, jour ouvré ou férié, occupation, historique de la veille, rayonnement solaire) et justifier chacune. Expliquer ce qu'est l'ingénierie des variables (feature engineering) et pourquoi elle est souvent plus déterminante que l'algorithme choisi.
Une entreprise technologique entraîne un modèle d'apprentissage automatique pour trier les CV de candidats à des postes d'ingénieur. Pour éviter les biais…
Une entreprise technologique entraîne un modèle d'apprentissage automatique pour trier les CV de candidats à des postes d'ingénieur. Pour éviter les biais discriminatoires selon l'origine socio-économique, l'équipe exclut des données le code postal, le quartier de résidence et la nationalité. Cependant, lors de la phase de test, on constate que les candidats issus de quartiers à faibles revenus sont écartés dans une proportion supérieure de 73,5 % à celle des candidats de quartiers à hauts revenus ayant des profils académiques équivalents.
- a) Justifier techniquement comment le modèle a pu déduire l'origine socio-économique malgré la suppression des variables géographiques directes, en proposant au moins deux variables courantes dans un CV qui jouent le rôle de variables de substitution (proxies).
- b) Analyser les implications éthiques et juridiques de ce résultat au regard de la réglementation européenne sur l'intelligence artificielle (classification des risques et principe de non-discrimination).
- c) Concevoir un audit algorithmique préalable au déploiement comprenant une métrique quantitative d'équité (fairness) et une technique d'atténuation pour corriger le biais.
Concevoir au niveau conceptuel un système de maintenance prédictive pour le parc de chaudières d'une ville : quels capteurs et quelles données recueilleriez-vous,…
Concevoir au niveau conceptuel un système de maintenance prédictive pour le parc de chaudières d'une ville : quels capteurs et quelles données recueilleriez-vous, quelles étiquettes serait nécessaire à l'apprentissage supervisé, comment valideriez-vous le modèle et quelle décision le système prendrait-il face à une prédiction de panne imminente ?
Big data : volume, vélocité, variété et coût
Pour mesurer ces volumes, on utilise les multiples de l'octet : ko, Mo, Go, To, Po (le pétaoctet, $1\,\text{Po} = 10^{15}$ octets, est l'ordre de grandeur de certains systèmes de gestion de bases de données). On retrouve ici les services d'un SGBD : persistance des données, efficacité du traitement des requêtes, gestion des accès concurrents. Avec le big data, un seul serveur ne suffit plus, et il faut répartir les données sur plusieurs machines.
Usage critique et responsable des données
Collecter des données a un coût : stockage, calcul, énergie (entraîner un grand modèle peut consommer autant d'électricité que des centaines de foyers sur une année) et risques pour la vie privée. Il faut donc se demander, avant de collecter : « ce volume de données est-il vraiment nécessaire ? ». En France et en Europe, le RGPD impose notamment une finalité précise, la minimisation des données collectées et des droits pour les personnes (accès, rectification, suppression) ; la CNIL veille à son application.
Définir le « big data » et expliquer les trois « V » classiques (volume, vélocité et variété) avec un exemple de chacun dans le contexte d'une application de transport…
Définir le « big data » et expliquer les trois « V » classiques (volume, vélocité et variété) avec un exemple de chacun dans le contexte d'une application de transport urbain.
Une mairie installe des capteurs de trafic dans $200$ carrefours qui envoient une mesure toutes les $5$ secondes. a) Estimer le nombre de mesures générées par jour et…
Une mairie installe des capteurs de trafic dans $200$ carrefours qui envoient une mesure toutes les $5$ secondes. a) Estimer le nombre de mesures générées par jour et par an. b) Expliquer quels problèmes de stockage et de traitement cela pose et pourquoi les bases de données classiques sur un seul serveur peuvent se révéler insuffisantes.
Lors d'un congrès sur la numérisation, la thèse suivante est exposée : « Les données sont le nouveau pétrole : elles sont extraites massivement, raffinées dans des…
Lors d'un congrès sur la numérisation, la thèse suivante est exposée : « Les données sont le nouveau pétrole : elles sont extraites massivement, raffinées dans des centres de calcul et, comme les gisements de brut, constituent une ressource naturelle finie dont la possession exclusive garantit le monopole du marché ».
- a) Réfuter techniquement cette affirmation en analysant au moins deux différences essentielles entre les données et une matière première comme le pétrole, en s'appuyant sur des notions comme la non-rivalité de leur usage, le coût marginal de copie et la dépendance de leur valeur au contexte temporel.
- b) Justifier sur quel unique aspect de la chaîne de valeur de l'intelligence artificielle l'analogie du « raffinage » reste valable.
- c) Évaluer quels droits fondamentaux des citoyens (inscrits dans des textes comme le RGPD) empêchent de traiter les données personnelles comme une ressource extractive en libre appropriation par de grandes entreprises.
La direction d'un centre hospitalier universitaire prévoit de céder sa base de données de patients atteints de cancer à une entreprise afin d'entraîner un réseau de…
La direction d'un centre hospitalier universitaire prévoit de céder sa base de données de patients atteints de cancer à une entreprise afin d'entraîner un réseau de neurones de diagnostic. Pour respecter la loi, l'équipe informatique propose de « supprimer uniquement le nom, le prénom et le numéro de carte vitale de chaque ligne, en conservant le code postal, la date de naissance complète, le sexe, la date d'admission et le code de diagnostic CIM-10 ».
- a) Démontrer pourquoi cette mesure ne constitue pas une véritable anonymisation, en décrivant comment un attaquant pourrait réidentifier des patients précis au moyen d'une attaque par recoupement (linkage attack) avec des bases de données publiques accessibles (comme les listes électorales).
- b) Distinguer avec rigueur technique les notions de « pseudonymisation » et d'« anonymisation » au sens du RGPD, et déterminer dans lequel de ces deux états se trouverait le jeu de données proposé par l'hôpital.
- c) Concevoir une alternative technique robuste pour protéger la vie privée des patients sans détruire l'utilité du jeu de données pour l'entraînement, en justifiant l'usage d'au moins deux techniques avancées (comme la k-anonymité, l'agrégation ou la confidentialité différentielle).
Une entreprise technologique décide d'entraîner de zéro son propre modèle de langage de 70 000 millions de paramètres dans un centre de données raccordé à un réseau dont…
Une entreprise technologique décide d'entraîner de zéro son propre modèle de langage de 70 000 millions de paramètres dans un centre de données raccordé à un réseau dont le facteur d'émission est de 0,26 kg CO₂/kWh. Le processus d'entraînement nécessite 1,5 GWh d'énergie électrique. Une fois déployé, on estime que le service traitera 20 millions de requêtes par jour, en consommant 0,5 GWh supplémentaire par mois pendant la phase d'inférence.
- a) Analyser les trois phases du cycle de vie de ce système d'IA qui contribuent à son empreinte environnementale et justifier pourquoi, sur une année de fonctionnement, l'impact de l'inférence quotidienne peut dépasser largement celui de l'entraînement initial.
- b) Calculer la masse de CO₂ (en tonnes) émise uniquement pendant la phase d'entraînement et la comparer aux émissions générées par la première année complète d'inférence.
- c) Concevoir trois mesures techniques d'ingénierie (au niveau de l'architecture du modèle, de la réutilisation des poids et du choix des infrastructures) qui réduisent drastiquement la consommation d'énergie sans dégrader de façon inacceptable la qualité des réponses.
Évaluer et décider avec l'IA : tests A/B, transparence et biais
Quand un système d'IA influence des décisions réelles, évaluer sa précision ne suffit pas.
Test A/B. Pour comparer deux versions d'un algorithme (par exemple de recommandation), on répartit au hasard les utilisateurs en deux groupes, chacun voyant une version, pendant une durée assez longue pour lisser les variations (jours de la semaine). On suit une métrique principale (impact immédiat, comme le taux de clic) et une métrique garde-fou (effet à long terme, comme le taux de retour des utilisateurs).
Transparence. Un réseau de neurones profond peut être très performant mais difficile à interpréter (« boîte noire »), alors qu'un arbre de décision, un peu moins performant, se vérifie pas à pas. Dans un domaine médical, on met en balance performance et possibilité d'expliquer, d'auditer et d'assumer la responsabilité d'une décision.
Biais de mesure. Les données reflètent ce qui est enregistré, pas toujours ce qui se passe réellement : un registre d'interventions policières mesure d'abord où la police intervient. Un modèle qui y puise renforce alors ses propres décisions passées.
Une plateforme de contenus audiovisuels en ligne a développé un nouvel algorithme de recommandation et veut évaluer s'il doit remplacer l'actuel au moyen d'un test A/B.…
Une plateforme de contenus audiovisuels en ligne a développé un nouvel algorithme de recommandation et veut évaluer s'il doit remplacer l'actuel au moyen d'un test A/B. L'équipe craint que le nouveau modèle augmente les visites immédiates grâce à des contenus sensationnalistes (clickbait), mais réduise la fidélisation à long terme.
- a) Concevoir l'expérience en définissant l'affectation des utilisateurs aux deux groupes, la durée recommandée et deux métriques quantitatives clés : une métrique primaire d'impact immédiat et une métrique secondaire ou de garde-fou (guardrail metric) pour surveiller la rétention à long terme.
- b) Identifier et justifier deux facteurs possibles de biais ou de contamination susceptibles d'invalider les résultats du test (par exemple, liés au comportement des comptes partagés ou à l'effet de nouveauté) et expliquer comment les atténuer dans la conception expérimentale.
- c) Après le test, le groupe expérimental enregistre une hausse de 14,8 % des minutes quotidiennes par utilisateur, mais une baisse de 5,2 % des utilisateurs actifs hebdomadaires au bout d'un mois. Interpréter ces données et justifier la décision technique et stratégique que la plateforme doit prendre.
Dans un hôpital, on évalue deux systèmes d'intelligence artificielle pour aider au tri aux urgences et à la détection des AVC à partir de neuroimageries : Système Alpha…
Dans un hôpital, on évalue deux systèmes d'intelligence artificielle pour aider au tri aux urgences et à la détection des AVC à partir de neuroimageries :
-
Système Alpha : réseau de neurones profond avec un taux de réussite global de 97,4 %, mais dont le processus interne de décision est une boîte noire mathématique non interprétable.
-
Système Bêta : arbre de décision fondé sur des règles cliniques structurées avec un taux de réussite de 89,6 %, totalement transparent et auditable pas à pas par les spécialistes.
- a) Justifier le dilemme éthique et déontologique auquel est confronté le personnel médical lorsqu'il choisit l'un des systèmes : est-il admissible d'utiliser un modèle au taux de réussite inférieur s'il permet de connaître les causes cliniques de chaque diagnostic ?
- b) Analyser les exigences du patient et de la législation sanitaire concernant le droit à une explication compréhensible et l'attribution des responsabilités en cas de diagnostic erroné.
- c) Concevoir une proposition de compromis technologique qui combine la haute performance du système Alpha avec les garanties d'interprétabilité du système Bêta, en justifiant l'intégration de méthodes d'explicabilité post hoc (comme les cartes de chaleur d'attribution) et d'un protocole de supervision humaine obligatoire (human-in-the-loop).
La délégation à la sécurité d'une mairie commande à une équipe technique un système d'apprentissage automatique pour « prédire quels quartiers subiront le plus…
La délégation à la sécurité d'une mairie commande à une équipe technique un système d'apprentissage automatique pour « prédire quels quartiers subiront le plus d'incidents délictueux l'année prochaine » et répartir ainsi les patrouilles. Le modèle sera entraîné à partir du registre géolocalisé des procès-verbaux et des interpellations des quatre dernières années.
- a) Argumenter de façon critique pourquoi l'utilisation des registres de plaintes et d'interventions policières comme variable cible (target) introduit un biais de mesure systématique par rapport à la conflictualité réelle de la commune.
- b) Modéliser la dynamique de boucle fermée (prophétie autoréalisatrice) que provoquera le déploiement de cet algorithme : prévoir comment évolueront les données recueillies après l'envoi de davantage de patrouilles dans les quartiers désignés lors de la première itération et quel effet cela aura sur le réentraînement du modèle.
- c) Concevoir une proposition alternative pour la mairie qui utilise la science des données non pour un patrouillage punitif anticipé, mais pour repérer les besoins d'intervention sociale préventive, d'investissement dans l'éclairage ou de renforcement des services publics dans les zones vulnérables.
Pour revenir au début : le filtre anti-spam de l'ENT n'est pas programmé règle par règle, il est un modèle entraîné sur des courriels étiquetés, évalué sur un ensemble de test, et il faut surveiller ses faux négatifs et ses biais.