La perfilació del risc és la valoració de la probabilitat que una persona o grup infringeixi una llei o una norma. Els governs la utilitzen per a identificar potencials infractors abans que hagin comès cap infracció. Aquestes valoracions estan cada vegada més automatitzades i es basen en tècniques d'intel·ligència artificial i, en molts casos, han desembocat en violacions de drets humans. Aquesta és la primera vegada que s'avalua exhaustivament la perfilació del risc a la llum de les normes internacionals de drets humans.
“Aquest informe mostra com els sistemes de perfilació del risc afecten els drets de les persones i ofereix arguments científics i legals que poden esgrimir els qui defensen els drets humans, personal de l'administració pública, autoritats de supervisió, professionals de l'advocacia i membres de la judicatura per a impugnar el seu ús per part dels estats i altres organismes”, ha afirmat Alexander Laufer, investigador sobre tecnologia i drets humans d'Amnistia Internacional Països Baixos.
Aquests sistemes s'han utilitzat, per exemple, en investigacions sobre fraus en prestacions socials a Dinamarca, el sistema de sol·licitud del permís de residència de França, el sistema de detecció de fraus en les prestacions socials de Països Baixos i el sistema automatitzat de cobrament de deutes d'Austràlia.
Se sol al·legar que els sistemes de perfilació del risc són un mètode pel qual els Estats poden optimitzar serveis, millorar la rendibilitat, prevenir la delinqüència —inclòs el frau— i controlar la migració. Aquestes afirmacions, basades en la premissa de l'escassetat de recursos, han estat desmentides com a justificació política perquè no tenen base empírica i són suposats políticament útils que converteixen la pobresa i altres qüestions socials, que són problemes polítics, en un problema de “eficiència” que es resol mitjançant elracionament i la vigilància automatitzats.
Esdevenir objectiu de la perfilació del risc en contextos de gran rellevància com l'aplicació de la llei, la seguretat social i la immigració causa perjudicis greus. Les persones pateixen angoixa psicològica, estigmatització i acusacions falses de delictes, la qual cosa podria desembocar en el sensellarisme, la deportació, la denegació injusta de prestacions socials o fins i tot la presó.
Discriminació i repercussions interseccionals
L'informe també posa en relleu efectes estructurals i interseccionals de l'ús discriminatori de la perfilació del risc que sovint es passen per alt tot i que els governs el promouen com un instrument objectiu. Aquesta tecnologia viola el dret a la igualtat i a la no discriminació, i desemboca en la discriminació basada en la raça i l'ètnia, el gènere, l'estatus socioeconòmic i la discapacitat.
Els grups marginats són els més afectats. Les persones racialitzades, les musulmanes, les persones en moviment, les que tenen alguna discapacitat o malaltia crònica, i les de baixos ingressos tenen més probabilitats de ser etiquetades de “sospitoses”, sotmeses a vigilància constant i, en última instància, patir decisions perjudicials.
“L'absència generalitzada de transparència, que deixa la gent indefensa i sense capacitat per a qüestionar aquests sistemes i decisions que afecten els seus drets, agreuja la situació. A més, es posa en perill altres drets humans, com els relatius a un judici conforme a les normes internacionals, la presumpció d'innocència, la privacitat i la protecció de dades, la seguretat social i un nivell de vida adequat, i la realització plena de la dignitat humana”, ha afegit Alexander Laufer.
Aquests efectes discriminatoris van més enllà dels prejudicis i dels drets individuals. Encara que la reducció de la delinqüència o el frau pot ser una raó legítima per a l'ús d'aquests sistemes, aquests podrien ser empleats de manera abusiva per a oferir cobertura a la vigilància invasiva de tota la comunitat i propiciar danys desproporcionats per als drets humans.
“La forma en què s'utilitzen aquestes eines pot ser resultat d'estereotips i prejudicis preexistents sobre grups marginats als quals es considera intrínsecament delictius o perillosos. Es transforma a persones o grups que són sospitosos estadístics, hipotètics, en sospitosos reals, la qual cosa solidifica prejudicis preexistents o genera altres nous. Això és conseqüència de la discriminació sistèmica existent”, va dir Alexander Laufer.
Dubtes sobre l'eficàcia
Amnistia conclou que molts processos governamentals per a crear sistemes de perfilació del risc manquen de mètodes científics rigorosos que impedeixin la producció de resultats enganyosos o la seva interpretació errònia. Els governs solen qualificar la perfilació del risc com una forma rendible de combatre la delinqüència, el frau a la seguretat social i la migració irregular, però hi ha poques evidències científiques que validin aquestes afirmacions. Contràriament, les investigacions mostren que aquestes eines són científicament dubtoses i sistemàticament imprecises.
Les investigacions indiquen que predir si una persona cometrà un delicte o un frau a la seguretat social és una empresa científicament complicada. No existeixen i mai existiran les dades necessàries per a exercir la tasca amb suficient qualitat i exactitud. Per exemple, conductes complexes com la delinqüència o el frau a la seguretat social són summament difícils de mesurar, predir i verificar. Per tant, per a predir-les és necessari recórrer a indicadors poc fiables i esbiaixats, com l'ús d'una nova detenció per a predir la repetició de la infracció o errors involuntaris en la seguretat social en lloc de declaracions fraudulentes, la qual cosa posa en perill les comunitats racialitzades i marginades.
En conseqüència, la validesa científica dels models de perfilació del risc és fonamentalment frívola, la qual cosa pot causar perjudicis greus a les persones que hi són sotmeses. Això, alhora, fa difícil de justificar la perfilació del risc.
“Els intents de predir el frau o la delinqüència solen equivaler a convertir automàticament les comunitats i persones marginades en sospitoses i no respon a una presa de decisions basada en evidències científiques”, va concloure Alexander Laufer.
“És impossible dissenyar un algorisme de perfilació del risc que sigui objectiu o neutral. Les dades sobre persones mai són objectius. Quan els governs utilitzen dades socials del passat per a predir qui cometrà un delicte com el frau, es dirigeixen inevitablement contra persones que pertanyen a grups històricament oprimits o marginats i, així, reprodueixen i agreugen injustícies del passat. No hi ha una forma tècnica de resoldre problemes socials”.
Amnistia Internacional i altres entitats i persones han documentat estudis de casos que demostren que els sistemes de perfilació del risc associen desproporcionadament persones que experimenten una o més formes de discriminació o marginació a un risc econòmic o delictiu més alt.
Prohibició de la perfilació del risc
Cal prohibir la perfilació del risc en matèria de migració, detecció de fraus a la seguretat social i control de la delinqüència. Els sistemes predictius de perfilació i avaluació de riscos, estiguin basats en dades o en normes, han de prohibir-se en contextos de gran importància fins i tot quan siguin éssers humans els qui prenguin les decisions finals. Alhora, els estats han de promulgar lleis o reformar les lleis vigents per a implementar aquesta prohibició. Fins que existeixi aquest tipus de lleis, les autoritats no han de fer servir aquests sistemes i han d'aturar-ne el desenvolupament, producció i venda.