Tygodnik Powszechny   | Krakau  

In China wordt geëxperimenteerd met een ‘sociaal kredietsysteem’ dat is gebaseerd op de exploitatie van persoonsgegevens: mensen die op basis van onder meer goed gedrag punten verzamelen, zien hun leven vergemakkelijkt, terwijl de ‘slechteriken’ worden gestraft. Het Poolse weekblad Tygodnik Powszechny interviewde sciencefictionauteur Jacek Dukaj, die in zijn werk 
de consequenties van zulke systemen onderzoekt.

Tygodnik Powszechny: Hoe functioneert een maatschappij waarin iemands sociale positie wordt bepaald door de punten die hij of zij verzamelt?

Jacek Dukaj: ‘Omdat we geen evaluatiecriteria 
hebben, kunnen we daar alleen maar naar gissen. 
Je onderworpenheid aan het gezag kan zo groot 
worden dat je uiteindelijk anticipeert op de wensen van de macht, en dat je in je hoofd projecties van 
Big Brother creëert waarbij je oprecht in de smaak wilt vallen. In het communistische Polen hebben we dit mechanisme ook meegemaakt. Het verschil 
met het Chinese systeem is dat de technologie het inmiddels mogelijk maakt de maatschappij te controleren en manipuleren zonder dat er een controleur of manipulator aan te pas komt.’

Kent de staat beoordelingscriteria?

‘Als je het over mensen hebt die binnen het staats-apparaat functioneren, hebben we serieuze redenen om te denken van niet. Na de onthullingen van Snowden in de Verenigde Staten, toen inlichtingendiensten werden gedwongen criteria prijs te geven die werden gehanteerd bij het opsporen van terroristen, zijn de verantwoordelijken dikwijls niet in staat gebleken hun manier van functioneren uit te leggen. Het programma Skynet van de National Security Agency (NSA) leerde bijvoorbeeld zelfstandig meta-gegevens van telefoongesprekken analyseren om te bepalen waar drones aanvallen in Pakistan moesten uitvoeren. Het aantal dodelijke slachtoffers van deze aanvallen loopt in de duizenden. Hoeveel van hen waren echt terroristen? Welke formules heeft het programma toegepast om dat te beoordelen? Omdat geen mens in staat is zulke enorme hoeveelheden gegevens te verwerken, nemen we onze toevlucht 
tot kunstmatige intelligentie.

We mogen ervan uitgaan dat de Chinezen een soortgelijk probleem hebben en dat ze evenmin weten waarom de kunstmatige intelligentie mensen een bepaald cijfer voor sociaal gedrag geeft. Ze zijn 
waarschijnlijk alleen maar bekend met de algemene basisprincipes.
Let wel, dit instrument formatteert niet alleen de maatschappelijke relaties, maar ook de kern van de psyche van de mens en, op termijn, zijn biologische gedrag. Denk aan de mensen die in zo’n systeem geboren en grootgebracht worden. De mate waarin zij tot de menselijke soort behoren, zal regelrecht afhankelijk zijn van het sociale krediet dat ze 
genieten.’