L’intelligence artificielle et RGPD : « l’humain doit garder la main »

L’intelligence artificielle est un domaine actuellement fortement en développement. La Cnil met à disposition[1] plusieurs ressources permettant de comprendre les enjeux entre données personnelles et Intelligence artificielle[2].

La Cnil explique que l’enjeu important est de savoir déterminer si les personnes concernées sont en présence d’une intelligence artificielle et met en avant les erreurs communes connues de l’intelligence artificielle.

Il convient de noter que plusieurs textes sont en cours d’élaboration et vont faire l’objet de publication dans les prochains mois :

  • l’évolution du règlement ePrivacy ;
  • le Digital Markets Act[3] et le Digital services Act[4] et le Digital Governance Act[5] ;
  • le Règlement sur l’intelligence artificielle[6].

Le Cabinet rédigera des articles sur ces règlements très prochainement afin d’approfondir ces notions.

1. L’intelligence artificielle : une nécessité de connaissance

L’intelligence artificielle peut être sujette à des défaillances, des attaques, des impacts insoupçonnés sur les individus et sur la société. Il est donc primordial de connaître les risques auxquels les personnes s’exposent.

Le RGPD sur ce point a identifié dès 2016 un risque important pour les personnes concernées : celui de faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire[7].

Comme le dit la Cnil « l’humain doit garder la main[8] »

Le RGPD interdit par principe les décisions de ce type. Par exception, il les admet si elles sont nécessaires à l’exécution d’un contrat, autorisé par le droit de l’union européenne ou fondée sur le consentement explicite de la personne concernée.

Dans tous les cas les personnes concernées peuvent s’opposer à ces traitements.

La Cnil fournit un exemple de décision automatisée en matière de ressources humaines. Un algorithme peut être chargé de détecter les critères qui poussent les employés à démissionner et, sur cette base, l’employeur peut modifier l’organisation de l’entreprise.

Or, les algorithmes n’identifient pas toujours des causes neutres. Certes, l’algorithme déterminera par lui-même les facteurs les plus importants dans la prédiction du risque de démission. Ces facteurs pourraient être une évolution salariale trop lente, une stagnation hiérarchique, un manque d’offre de formation…

Mais il peut aussi identifier des facteurs moins évidents : une équipe majoritairement composée de personnes d’un certain sexe pourrait présenter un taux de roulement assez faible comparé au reste de l’entreprise pour des raisons externes au fonctionnement de l’entreprise.

L’entreprise pourrait alors choisir d’augmenter le salaire des équipes constituées de personnes dont le sexe présente un taux de roulement plus important au détriment des autres équipes. Ce qui serait discriminatoire.

C’est ainsi que la nécessité d’une bonne connaissance de l’outil est montrée par la Cnil[9].

2. Les erreurs dont il faut tenir compte

Trois catégories d’erreurs classiques sont mises en évidence par la Cnil.

Les erreurs liées à la conception :

  • le manque de représentativité : si certains cas réels n’ont pas été pris en compte dans les données d’entraînement ; par exemple reconnaissance faciale entraînée sur la base de données où certaines origines ethniques sont sous représentées ;
  • les hypothèses trop approximatives : en tant qu’abstraction mathématique, l’algorithme repose sur des hypothèses a priori dont certaines peuvent s’avérer trop approximatives ; par exemple un algorithme qui étudie la performance des étudiants et qui se fonde exclusivement sur les notes qu’ils donnent comme preuve directe de la performance ;
  • les mauvais critères retenus : lors de l’entraînement de l’algorithme, celui-ci est évalué sur la réalisation d’une tâche selon certains critères, ou métriques. Les critères et le seuil final choisis ont des conséquences importantes sur la qualité du système final.

Les erreurs liées aux conditions d’utilisation :

  • la mauvaise qualité des données ;
  • les défauts liés aux matériels et à ses contraintes.

Les autres types de défaillances classiques de systèmes informatiques.

Il convient de tenir compte de ces erreurs pour bien comprendre l’impact que peut avoir l’intelligence artificielle sur les décisions prises par les entreprises.

3. Plan d’actions

De manière générale il convient donc de s’informer sur le fonctionnement et les biais de l’intelligence artificielle utilisée, le cas échéant. La documentation technique issu de l’éditeur de l’intelligence artificielle doit prévoir des explications utiles au respect du RGPD et les cas d’erreurs possibles de l’Intelligence artificielle en cause.

De plus, il est fondamental d’encadrer les traitements en respectant les conditions de conformité du RGPD. Les contrats de développement et les conditions générales d’utilisation pour les employés de l’entreprise le cas échéant devront tenir compte des spécificités de l’intelligence artificielle.


[1] https://www.cnil.fr/fr/intelligence-artificielle/la-cnil-publie-ressources-grand-public-professionnels

[2] Le Parlement européen la définit comme tout outil utilisé par une machine afin de « reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité (https://www.europarl.europa.eu/news/fr/headlines/society/20200827STO85804/intelligence-artificielle-definition-et-utilisation).

[3] https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:52020PC0842&from=en

[4] https://digital-strategy.ec.europa.eu/fr/policies/digital-services-act-package

[5] https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:52020PC0767&from=EN

[6] https://eur-lex.europa.eu/legal-content/FR/ALL/?uri=CELEX:52021PC0206

[7] RGPD, article 22 : https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:32016R0679&from=FR

[8] https://www.cnil.fr/fr/intelligence-artificielle/intelligence-artificielle-de-quoi-parle-t-on

[9] https://www.cnil.fr/fr/intelligence-artificielle/mon-manager-est-un-robot-lia-en-gestion-des-ressources-humaines