Notes from the IAPP Canada: Who protects privacy when technology outruns the law?

When technology outruns the law, who fills the gap?

The past few weeks have offered two very different but deeply connected reminders that our privacy laws are struggling to keep pace with the technologies shaping daily life.

In one case, Canadians are grappling with the aftermath of the tragic mass shooting in Tumbler Ridge, British Columbia, and revelations that the shooter's interactions with an artificial intelligence chatbot had raised internal concerns months earlier, yet were never reported to law enforcement. 

In another, the Office of the Privacy Commissioner of Canada has expanded its investigation into the social media platform X and its AI system Grok, following reports that the tool was being used to generate realistic, sexualized deepfake images of real people without their consent. The fact patterns differ, the harms are distinct and the emotions they evoke are not the same. 

Before getting into the policy questions, I want to say this plainly: the loss of life is devastating and nothing in this note is meant to minimize the grief, anger and trauma felt by families, friends and the broader community. 

Flowing from these incidents, I do see some underlying questions for people in our line of work to consider.

What happens when powerful technologies move faster than the legal frameworks meant to constrain them?

The instinctive response, particularly in moments of shock or outrage, is to ask: Why didn't the company do more? Why wasn't someone alerted? Why was this allowed to happen at all? These questions are totally understandable. But they can also lead to hard questions about the roles and evolving expectations of private companies as we live and share more of our lives online.

In the AI chatbot case, some are now calling for clearer obligations on companies to monitor user interactions and report concerning behavior to authorities. Many platforms already run trust and safety operations meant to detect and disrupt harmful activity. In the deepfake context, regulators are asking whether platforms have adequate safeguards to prevent the creation and spread of harmful, nonconsensual imagery and whether existing consent models can meaningfully apply to generative outputs. 

Both lines of inquiry point in the same direction: heightened expectations that platforms will surveil, detect risk, make judgments about intent and intervene in user behavior in the name of safety.

That raises another question: What degree of monitoring are we prepared to normalize in pursuit of preventing devastating harms like the examples I've shared? And who decides where that line should be drawn?

After a tragedy, it's natural to look back and say a warning sign should have been caught or acted upon. It is much harder to design systems that monitor private communications at scale, interpret intent and decide when to escalate concerns to authorities. That kind of infrastructure does not just affect the one individual who may pose a risk. It affects everyone whose thoughts, fears, fantasies and poorly worded late-night questions pass through a digital intermediary. 

And part of the challenge is that tools introduced for exceptional cases can expand over time. Long before AI entered the picture, this was the concern animating George Orwell's "1984:" not that harm would never occur, but that the attempt to prevent all harm could justify a level of surveillance that fundamentally reshapes society.

Clearly Canada's privacy laws were not written with these scenarios in mind. The Personal Information Protection and Electronic Documents Act, or its provincial substantially similar equivalent, does not contemplate AI systems that generate photorealistic images of people who never posed for them. Nor does it offer clear guidance on how a private company should surveil people to avert a potential act of unimaginable violence. 

In the absence of that guidance, companies are left to make judgment calls that resemble public safety triage and risk management, without all the training, accountability or democratic mandates and oversight that may accompany those roles.

Violence enabled or foreshadowed through digital tools must be taken seriously. But at the same time, when incidents occur, I do also worry about the idea that more surveillance is always the right answer, or that private companies should be quietly deputized to police us all. 

When it comes to monitoring or reporting duties, I think we need to be clear about triggers, thresholds and safeguards. What gets monitored, what gets shared, with whom, under what authority, how long it's retained and how decisions can be reviewed. If we're going to ask platforms to act, we should also demand transparency, oversight and meaningful limits. 

If there is a lesson to draw from these two cases, I think it's that Canada needs clearer, more deliberate conversations about the expectations and limits of platform responsibility and the values we are prepared to trade in the process. Privacy law has always been about more than compliance. It is about defining the kind of society we want to live in, especially when fear and technological novelty make it tempting to reach for blunt solutions. 

For privacy professionals, that makes this moment not just about any single platform or horrible incidents, but also about ensuring we have a framework that supports safety and accountability without turning constant monitoring into the default. 

If we get this right, we can be safer online and offline without giving up due process, freedom of expression and privacy.

Notes de l’IAPP Canada : Qui protège la vie privée lorsque la technologie dépasse la loi ?

Quand la technologie devance la loi, qui comble le vide? 

Les dernières semaines ont offert deux rappels très différents, mais étroitement liés, que nos lois sur la vie privée ont du mal à suivre le rythme des technologies qui façonnent la vie quotidienne.

Dans un cas, les Canadiennes et Canadiens tentent de se relever après la fusillade de masse tragique à Tumbler Ridge, en Colombie-Britannique, et après les révélations selon lesquelles les échanges du tireur avec un agent conversationnel d’IA avaient suscité des préoccupations internes des mois plus tôt, sans jamais être signalés aux forces de l’ordre. Dans un autre, le Commissariat à la protection de la vie privée du Canada a élargi son enquête visant la plateforme de médias sociaux X et son système d’IA Grok, après des informations selon lesquelles l’outil servait à générer des images hyperréalistes, sexualisées, de type « deepfake », de personnes réelles, sans leur consentement. Les faits diffèrent, les préjudices sont distincts et les réactions et les émotions qu’elles suscitent ne se vivent pas de la même façon.

Avant d’aborder les questions de politiques publiques, je veux le dire clairement : la mort de personnes est dévastatrice et rien dans cette note ne vise à minimiser le deuil, la colère et le traumatisme ressentis par les familles, les proches et l’ensemble de la communauté.

À la lumière de ces incidents, je vois toutefois des questions de fond que les personnes de notre métier pourraient vouloir examiner.

Que se passe-t-il lorsque des technologies puissantes avancent plus vite que les cadres juridiques censés les encadrer?

La réaction instinctive, surtout dans des moments de choc ou d’indignation, est de demander : Pourquoi l’entreprise n’a-t-elle pas fait davantage? Pourquoi personne n’a-t-il été alerté? Comment cela a-t-il pu être permis? Ces questions sont tout à fait compréhensibles. Mais elles peuvent aussi mener à des questions difficiles sur le rôle des entreprises privées et sur l’évolution des attentes à leur endroit, à mesure que nous vivons et partageons davantage de notre vie en ligne.

Dans le cas de l’agent conversationnel d’IA, certaines voix réclament maintenant des obligations plus claires pour que les entreprises surveillent les interactions des utilisateurs et signalent aux autorités les comportements préoccupants. Beaucoup de plateformes ont déjà des équipes de confiance et sécurité chargées de détecter et de perturber les activités nuisibles. Dans le contexte du deepfake, les autorités réglementaires se demandent si les plateformes ont des mesures de protection suffisantes pour prévenir la création et la diffusion d’images nuisibles, non consensuelles et si les modèles de consentement existants peuvent s’appliquer de façon réelle à des productions génératives. Les deux pistes mènent au même endroit : des attentes accrues selon lesquelles les plateformes surveilleront, détecteront le risque, porteront des jugements sur l’intention et interviendront dans le comportement des utilisateurs au nom de la sécurité.

Cela soulève une autre question : quel degré de surveillance sommes-nous prêts à normaliser afin de prévenir des préjudices dévastateurs comme ceux que je viens d’évoquer? Et qui décide où tracer cette ligne?

Après une tragédie, il est naturel de regarder en arrière et de dire qu’un signe avant-coureur aurait dû être repéré ou pris en compte. Il est beaucoup plus difficile de concevoir des systèmes qui surveillent à grande échelle des communications privées, interprètent l’intention et décident quand transmettre des inquiétudes aux autorités. Une telle infrastructure ne touche pas seulement la personne qui pourrait représenter un risque. Elle touche toutes celles et tous ceux dont les pensées, les peurs, les fantasmes et les questions tardives mal formulées passent par un intermédiaire numérique. Et une partie du problème, c’est que des outils introduits pour des cas exceptionnels peuvent s’étendre avec le temps. Bien avant que l’intelligence artificielle n’entre en scène, c’était la crainte au cœur de 1984 de George Orwell : non pas que le mal n’arriverait jamais, mais que la volonté de prévenir tout mal pourrait justifier un niveau de surveillance qui transforme la société en profondeur.

De toute évidence, les lois canadiennes sur la vie privée n’ont pas été rédigées en pensant à ce type de situations. La LPRPDE (ou les lois provinciales réputées essentiellement similaires) ne prévoit pas des systèmes d’IA qui génèrent des images photoréalistes de personnes qui n’ont jamais posé pour eux. Elle n’offre pas non plus d’orientation claire sur la façon dont une entreprise privée devrait surveiller des personnes pour prévenir un acte de violence inimaginable. En l’absence de cette orientation, les entreprises doivent prendre des décisions au cas par cas qui ressemblent à du triage de sécurité publique et à de la gestion du risque, sans toute la formation, la reddition de comptes ou les mandats démocratiques ni la surveillance qui peuvent accompagner ces rôles.

La violence facilitée ou annoncée par des outils numériques doit être prise au sérieux. Mais en même temps, lorsque des incidents surviennent, je m’inquiète aussi de l’idée que plus de surveillance est toujours la bonne réponse, ou que des entreprises privées devraient être discrètement investies d’un rôle de police à notre égard.

En matière d’obligations de surveillance ou de signalement, je crois qu’il faut être clairs sur les déclencheurs, les seuils et les garde-fous. Qu’est-ce qui est surveillé, qu’est-ce qui est communiqué, à qui, en vertu de quelle autorité, pendant combien de temps c’est conservé et comment les décisions peuvent être réexaminées. Si nous demandons aux plateformes d’agir, nous devrions aussi exiger de la transparence, de la surveillance indépendante et des limites réelles.

S’il y a une leçon à tirer de ces deux cas, je crois que le Canada a besoin de discussions plus claires, plus réfléchies sur les attentes et les limites entourant la responsabilité des plateformes et sur les valeurs que nous sommes prêts à échanger au passage. Le droit de la vie privée a toujours été plus qu’une question de conformité. Il s’agit de définir le type de société dans laquelle nous voulons vivre, surtout lorsque la peur et la nouveauté technologique nous incitent à recourir à des solutions brutales.

Pour les professionnelles et professionnels de la vie privée, ce moment ne concerne pas seulement une plateforme en particulier ou un des événements tragiques, mais aussi la nécessité d’un cadre qui soutient la sécurité et la responsabilisation sans faire de la surveillance constante la norme. Si nous faisons les choses correctement, nous pouvons être plus en sécurité en ligne comme hors ligne sans renoncer à l’équité procédurale, à la liberté d’expression et à la vie privée.

Traduction réalisée avec l’aide de la conseillère de nNovation Florence So, AIGP.