Algorithmic Price Personalization and the Limits of Anti-Discrimination Law
The McGill Law Journal is now open access. To see the full article, please click here.
La Revue de droit de McGill est maintenant en libre accès. Pour voir l’article complet, veuillez cliquer ici.
As much attention is turned to regulating AI systems to minimize the risk of harm, including the one caused by discriminatory biased outputs, a better understanding of how commercial practices may contravene anti-discrimination law is critical. This article investigates the instances in which algorithmic price personalization, (i.e., setting prices based on consumers’ personal information with the objective of getting as close as possible to their maximum willingness to pay (APP)), may violate anti-discrimination law. It analyses cases whereby APP could constitute prima facie discrimination, while acknowledging the difficulty to detect this commercial practice. It discusses why certain commercial practice differentiations, even on prohibited grounds, do not necessarily lead to prima facie discrimination, offering a more nuanced account of the application of anti-discrimination law to APP. However once prima facie discrimination is established, APP will not be easily exempted under a bona fide requirement, given APP’s lack of a legitimate business purpose under the stringent test of anti-discrimination law, consistent with its quasi-constitutional status. This article bridges traditional anti-discrimination law with emerging AI governance regulation. Pointing to identified gaps in anti-discrimination law, it analyses how AI governance regulation could enhance anti-discrimination law and improve compliance.
À l’heure où l’on s’affaire à réglementer les systèmes de l’IA afin de minimiser les risques, y compris ceux causés par des résultats biaisés et discriminatoires, il est essentiel de mieux comprendre comment certaines pratiques commerciales pourraient violer les lois anti-discrimination. Cet article examine les cas où la personnalisation algorithmique des prix, c’est-à-dire la fixation des prix en fonction des renseignements personnels des consommateurs dans le but de se rapprocher le plus possible de leur volonté de payer maximale (APP), pourrait violer les lois canadiennes anti-discrimination. Il analyse les cas dans lesquels le APP pourrait constituer une discrimination prima facie, tout en reconnaissant la difficulté de détecter cette pratique commerciale. Il discute des raisons pour lesquelles certaines différenciations de pratiques commerciales, même pour des motifs interdits, ne conduisent pas nécessairement à une discrimination prima facie, offrant ainsi une analyse plus nuancée de l’application de la loi anti-discrimination à l’APP. Cependant, une fois la discrimination prima facie établie, le APP ne sera pas facilement exempté en vertu d’une exigence bona fide, étant donné l’absence d’objectif commercial légitime de l’APP et en vertu du test rigoureux de la loi anti-discrimination, en accord avec son statut quasi-constitutionnel. Cet article fait le lien entre le droit anti-discrimination traditionnel et la réglementation émergente en matière de gouvernance de l’IA. En soulignant les lacunes identifiées dans le droit anti-discrimination, il analyse comment la réglementation de la gouvernance de l’IA pourrait renforcer le droit anti-discrimination et en améliorer la conformité.
* Associate Professor, University of Windsor Faculty of Law. I thank Vincent Wong, Laverne Jacobs, Trudo Lemmens, and Zahra Binbrek for their very helpful comments on earlier versions of this article, Windsor Law for research grants making this publication possible, and Windsor Law students for their excellent research assistance: Samuel Abbott, Keerthi Chintapalli, Joudy Sarraj, Marc Begin, and Lauren Tsogaz. Special thanks to the wonderful team of the McGill Law Journal for hosting the Symposium on AI and justice in February 2024, and for their excellent editing work.
