Notes from the IAPP Canada: Who gets to decide what is true about you?

From credit scores to AI-generated assessments, privacy law has long struggled with the power of algorithms to judge individuals. Bill C-36 offers a partial answer.

Contributors:
David Fewer
Counsel
nNovation LLP
Editor's note
The IAPP is policy neutral. We publish contributed opinion pieces to enable our members to hear a broad spectrum of views in our domains.
My colleague Kris Klein's recent column about our late friend Ian Kerr sent me back to Kerr's 2013 article with Jessica Earle, "Prediction, Preemption, Presumption: How Big Data Threatens Big Picture Privacy." Kerr and Earle warned of a shift from predictions that help people plan to predictions that institutions use to pre-empt what people might do: "Prediction simply replaces the need for proof."
But their concerns went deeper: what assumptions should the law permit institutions to make about people? And how can you challenge an assumption used against you if you never see it, its basis or the process that gave it authority?
Once again, I am marveling at Kerr's ability to anticipate the problems now landing on our desks.
AI makes these problems more common and harder to detect. Imagine a hiring manager asking a model to summarize applicants. It describes one candidate as "unreliable," based on an inference, an error in source material, or an unsupported assertion. The manager rejects the candidate. Who made that assessment? And what, exactly, can the candidate challenge?
Canada's proposed Bill C-36 has something to say about this. Section 63 would give individuals the right to an explanation of an automated prediction, recommendation or decision about them that could have a legal or similarly significant effect. I think Kerr would have welcomed the attention to a problem he identified years ago. And I suspect he would have had some pointed questions about whether the proposed solution actually solves it.
Canadian privacy law has long treated inferences and opinions about identifiable people as personal information. In 2002, a Canadian bank told a customer that her credit score was not her personal information. The bank had created it using its own model, so the argument went, and it was a confidential business opinion. In PIPEDA Case Summary #2002-39, the privacy commissioner disagreed on the first point: information about an identifiable person remains personal information, whoever created it. But the commissioner accepted the bank's second point: releasing the score could reveal confidential information about the bank's credit-scoring model.
As to the decision's first point, Bill C-36 would expressly include inferences about identifiable individuals in the definition of "personal information," confirming what Canadian privacy law has long recognized. But C-36 also goes some way toward addressing the consequences of the second point in that decision: how do we determine whether an inference is reliable, how it influenced a decision and whether the individual can challenge it? AI is only complicating these difficult questions.
Some laws are beginning to answer them. Under section 12.1 of Quebec's private-sector privacy statute, an enterprise must inform an individual when it makes a decision about them based exclusively on automated processing. On request, it must explain the personal information used and the principal reasons, factors and parameters. The individual may make observations to an employee able to review the decision. That is a meaningful advance, but what happens when a human accepts an AI recommendation? Is it still one based "exclusively" on the automated process? How "in the loop" must a human be?
The EU General Data Protection Regulation, particularly Articles 15 and 22, addresses certain solely automated decisions with legal or similarly significant effects. In SCHUFA, the Court of Justice of the European Union held that an automated credit score can itself fall within Article 22 when a lender relies heavily on it. In Dun & Bradstreet Austria, the CJEU required an intelligible account of the procedure and principles actually applied to produce a credit assessment. A general description of an algorithm will not suffice. The CJEU also addressed the tension between explanation rights and trade secrets, holding that where information may constitute a trade secret, the controller must make it available to the competent authority or court for an appropriate balancing of interests.
Bill C-36 goes further in one important respect: section 63 would cover not only automated decisions, but also automated predictions and recommendations that could have legal or similarly significant effects. It would require explanations of information sources and principal factors and permit written representations to an employee able to review the result. But explanations are not much help if no one can reconstruct what happened.
In its 2026 OpenAI investigation, the Office of the Privacy Commissioner of Canada observed that verifying personal information generated by a language model may be impractical when the system supplies no sources. An organization relying on an AI assessment needs to know what information went into it, what the system produced and how the result affected the human decision.
Bill C-36, at time of writing, has only passed first reading in the House, and the automated decision system access provisions could change. And we can expect that they will draw some attention when the bill goes to committee. Businesses have legitimate interests in protecting confidential methods, and not every automated recommendation that has "a legal or similarly significant effect" on an individual calls for a hearing. But when an assessment affects someone's employment, credit, housing or other significant opportunity, a human's rubber stamp on the final decision offers little reassurance if no one can explain the basis for the decision. And Kerr would certainly ask about the curious omission of a notification obligation: how can individuals obtain an explanation when no one tells them that an automated system has assessed them?
Kerr's work points us toward the right question: can individuals see and contest the assumptions institutions make about them before those assumptions determine their opportunities? For privacy professionals, answering that question involves designing systems that preserve the evidence behind consequential assessments and providing a reviewer with genuine authority to reconsider them.
Twenty-four years after that bank's credit score, we are discovering that identifying an algorithmic judgment as personal information should be the beginning of the inquiry, not the end.
Qui décide de ce qui est vrai à votre sujet?
Une chronique récente de mon collègue Kris Klein sur notre regretté ami Ian Kerr m’a donné envie de relire un article qu’Ian avait publié en 2013 avec Jessica Earle, Prediction, Preemption, Presumption: How Big Data Threatens Big Picture Privacy. Ian et Jessica décrivaient un glissement : les prédictions, qui nous aident à prévoir l’avenir, servent désormais aux institutions à intervenir avant même que les gens passent à l’acte. « La prédiction remplace tout simplement la preuve. » Mais leur inquiétude allait plus loin : quelles hypothèses la loi devrait-elle permettre aux institutions de formuler à notre sujet? Et comment contester une hypothèse qui joue contre nous sans en connaître l’existence, le fondement ou le processus qui lui donne autorité?
Une fois de plus, je m’étonne de la capacité d’Ian à prévoir les problèmes qui se retrouvent aujourd’hui sur nos bureaux.
L’intelligence artificielle multiplie ces situations et les rend plus difficiles à déceler. Imaginons une responsable du recrutement qui demande à un modèle d’IA de résumer les candidatures. Le modèle qualifie une candidate de « peu fiable », sur la foi d’une inférence, d’une erreur dans ses sources ou d’une affirmation sans fondement. La responsable écarte sa candidature. Qui a porté ce jugement? Et que peut contester la candidate, au juste?
Le projet de loi fédéral C-36 propose une réponse. Son article 63 donnerait aux personnes concernées le droit d’obtenir une explication d’une prédiction, d’une recommandation ou d’une décision produite au moyen d’un système décisionnel automatisé et susceptible d’avoir des effets juridiques à leur égard ou une incidence tout aussi importante. Je crois qu’Ian aurait salué cette volonté de s’attaquer à un problème qu’il avait soulevé des années plus tôt. Et je le vois bien poser quelques questions incisives sur la capacité de la solution proposée à vraiment le régler.
Le droit canadien reconnaît depuis longtemps que les inférences et les opinions concernant une personne identifiable constituent des renseignements personnels. En 2002, une banque canadienne a soutenu auprès d’une cliente que sa cote de crédit ne constituait pas un renseignement personnel la concernant. Après tout, la banque avait produit cette cote à l’aide de son propre modèle; elle y voyait une opinion commerciale confidentielle. Dans le résumé de conclusions d’enquête no 2002-39 rendu en vertu de la LPRPDE, le commissaire à la protection de la vie privée a rejeté le premier argument : un renseignement concernant une personne identifiable demeure un renseignement personnel, peu importe qui l’a créé. Mais il a accepté le second : communiquer la cote pouvait révéler des renseignements commerciaux confidentiels sur le modèle d’évaluation du crédit de la banque.
Sur le premier point, le projet de loi C-36 inclurait expressément les renseignements déduits concernant une personne identifiable dans la définition de « renseignement personnel ». Il confirmerait ainsi une règle déjà bien établie. Sur le second, il tente aussi de répondre aux questions que soulève la décision : comment établir si une inférence est fiable, déterminer l’influence qu’elle a exercée sur une décision et permettre à la personne concernée de la contester? L’IA rend ces questions encore plus difficiles.
Certaines lois commencent à y répondre. Selon l’article 12.1 de la Loi sur la protection des renseignements personnels dans le secteur privé du Québec, une entreprise doit informer la personne concernée lorsqu’elle prend à son sujet une décision fondée exclusivement sur un traitement automatisé de ses renseignements personnels. Sur demande, elle doit expliquer quels renseignements elle a utilisés ainsi que les principaux motifs, facteurs et paramètres de la décision. La personne peut présenter ses observations à un membre du personnel capable de réviser celle-ci. C’est une avancée importante. Mais qu’arrive-t-il lorsqu’un humain entérine une recommandation de l’IA? La décision repose-t-elle encore « exclusivement » sur un traitement automatisé? Jusqu’à quel point l’humain doit-il intervenir?
Le Règlement général sur la protection des données (RGPD) de l’Union européenne, notamment ses articles 15 et 22, encadre certaines décisions fondées exclusivement sur un traitement automatisé qui produisent des effets juridiques ou ont une incidence tout aussi importante sur les personnes concernées. Dans l’arrêt SCHUFA, la Cour de justice de l’Union européenne (CJUE) a jugé qu’une cote de solvabilité calculée automatiquement peut elle-même relever de l’article 22 lorsqu’un prêteur s’y fie largement. Dans Dun & Bradstreet Austria, la CJUE a exigé une explication intelligible de la procédure et des principes réellement appliqués pour établir une évaluation de solvabilité. Une description générale de l’algorithme ne suffit pas. La Cour a aussi examiné la tension entre le droit à l’explication et le secret des affaires : lorsque certains renseignements peuvent constituer un secret d’affaires, le responsable du traitement doit les communiquer à l’autorité compétente ou au tribunal afin que les intérêts en jeu puissent être mis en balance.
Le projet de loi C-36 irait plus loin sur un point important : l’article 63 viserait non seulement les décisions automatisées, mais aussi les prédictions et les recommandations susceptibles d’avoir des effets juridiques ou une incidence tout aussi importante. Il exigerait une explication de la provenance des renseignements et des principaux facteurs en cause, et permettrait à la personne de présenter des observations écrites à un employé capable de réviser le résultat. Mais une explication sert à peu de chose si personne ne peut reconstituer ce qui s’est passé.
Dans son enquête de 2026 sur OpenAI, le Commissariat à la protection de la vie privée du Canada (CPVP) a observé qu’il peut être difficile, voire impossible, de vérifier des renseignements personnels produits par un modèle de langage lorsque celui-ci ne fournit aucune source. Une organisation qui s’appuie sur une évaluation produite par l’IA doit savoir quels renseignements ont alimenté le système, ce qu’il a produit et comment ce résultat a influencé la décision humaine.
Au moment d’écrire ces lignes, le projet de loi C-36 n’a franchi que l’étape de la première lecture à la Chambre des communes. Ses dispositions sur l’accès aux renseignements liés aux systèmes décisionnels automatisés pourraient encore changer. Elles susciteront sans doute des débats en comité. Les entreprises ont des intérêts légitimes à protéger leurs méthodes confidentielles, et toute recommandation automatisée susceptible d’avoir des « effets juridiques » ou une « incidence importante » sur une personne n’appelle pas nécessairement une audience. Mais lorsqu’une évaluation compromet ses perspectives d’emploi, d’accès au crédit, de logement ou d’autres possibilités importantes, le simple aval d’un humain n’offre guère de garantie si personne ne peut expliquer les raisons de la décision. Et Ian aurait certainement relevé une omission curieuse : pourquoi aucune obligation d’aviser la personne? Comment peut-elle demander une explication si personne ne lui dit qu’un système automatisé l’a évaluée?
Les travaux d’Ian nous ramènent à la bonne question : les personnes peuvent-elles connaître et contester les hypothèses que les institutions formulent à leur sujet avant que celles-ci ne déterminent leurs perspectives? Pour les professionnels de la protection des renseignements personnels, cela suppose de concevoir des systèmes qui conservent les éléments à l’appui des évaluations lourdes de conséquences et de confier leur réexamen à une personne qui détient un véritable pouvoir de les remettre en question.
Vingt-quatre ans après cette affaire de cote de crédit, nous redécouvrons que reconnaître un jugement algorithmique comme un renseignement personnel doit marquer le début de l’analyse, et non sa fin.
This French companion article is not meant to be an exact translation, but rather an article that generally covers the same topic as the English article.
This article originally appeared in the Canada Dashboard Digest, a free weekly IAPP newsletter. Subscriptions to this and other IAPP newsletters can be found here.
This content is eligible for Continuing Professional Education credits. Please self-submit according to CPE policy guidelines.
Word count: 969




