Sosial kontroll 4.0

Kinas digitale sosiale kredittsystem operer med en form for gamifisert kontroll, som belønner brukerne mens de skårer poeng for atferd innenfor og utenfor nettet. Innen 2020 planlegger kinesiske myndigheter å etablere et landsdekkende system. Vestlige kommentatorer reagerer med vemmelse, men er våre egne sosiale medier egentlig så mye bedre?

Mens Kinas geopolitiske ambisjoner tiltrekker seg det meste av verdens oppmerksomhet, gjennomføres innenrikspolitikken til Kinas kommunistiske parti (KKP) relativt ubemerket.Like fullt begynner det å bli klart at Kina også internt gjennomgår en total forvandling: Innen 2020 har KKP planlagt å innføre digitale systemer for sosial kontroll over hele landet. Gjennom sosialkredittsystemer (SKS) – noen av dem er virksomme allerede – er målet å skape en poengsum for hver kinesisk borger basert på vedkommendes atferd. Et enormt antall data blir hentet inn for å kalkulere dette: betalingspraksiser, rulleblad, handlevaner, internett-søk og meldinger samt generell sosial atferd. Konformitet fører til belønninger som gode kredittvilkår, forfremmelser og forkortet behandlingstid i sikkerhetskontroller. Motsatt kan uønsket atferd medføre straff. SKS-ene har tilgang til en rekke private og statlige databaser. I 2014 tillot KKP åtte private tjenesteytere å utvikle sine egne digitale poengsystemer. Alle systemene tar i bruk algoritmer og kunstig intelligens (KI) for å beregne poenger og plasseringer gjennom automatiske prosesser. Samtidig begynte KKP å installere statlige poengsystemer i utvalgte «spesialsoner». Når SKS-ene om et par års tid blir obligatoriske i hele Kina, er meningen at samtlige kinesiske borgere, så vel som selskaper, skal ha tilgang til sin egen sentraliserte konto der poengsummene deres er lagret. KKP promoterer SKS som en milepæl på veien mot «det sosialistiske harmoniske samfunn». Offisielt er poengsystemene ment å modernisere forvaltningen og å fremme tillit innad i samfunnet samt mellom myndigheter, befolkning og økonomi. Likevel kan systemenes iboende potensial medføre at de oppfattes som midler til sosial kontroll. Bare i 2014 – SKS’ første år – var det omkring 90 000 opptøyer i Kina, offisielt beskrevet som «massehendelser» – noe som gir et gjennomsnitt på 250 om dagen. Siden har tallene bare steget.

Midler for sosial kontroll

For å hanskes med denne uroen trekker Kina veksler på sin årtusenlange historie med statlig sentralisering og byråkrati. Kontrollsystemer legitimert gjennom konfutsianisme ble delvis videreført inn i den leninistiske organiseringen av folkerepublikken. Disse omfattet Hukou – et registreringssystem for husholdninger og deres innskriving i sosiale enheter kjent som Danwei – der hver enhet overvåket sine medlemmer og registrerte informasjonen i politiske protokoller (Dang’an). Disse strukturene avgjorde forfremmelser, partimedlemskap, til og med ekteskapsinngåelse. Etter Mao Zedongs død ble noen av disse systemene for sosial kontroll mindre viktige på grunn av de politiske endringene i reformperioden. Like fullt ble statlig propaganda viktigere etter 1989. Med SKS-ene går Kina inn i en ny fase av kontroll- og overvåkningspolitikk der KKP kombinerer potensialet i analoge og digitale overvåkningsmetoder, propaganda og subtile former for disiplin. Utviklingen av både internett og mobilteknologi som smart-telefoner og integrerte teknologier – smarte klokker og briller – har gitt sikkerhetstjenestene og propaganda-avdelingene nye midler for overvåkning og påvirkning.

Samtidig profiterer KKP på det kinesiske internettets egenart. Ikke bare er nettet underlagt streng regulering; nett-tilgangen er begrenset av «den kinesiske brannmuren». Internt er «det gylne skjold» det viktigste midlet til å overvåke nettaktivitet. En viktig del av dette er «byrået for offentlig informasjon og overvåkning av nettverkssikkerhet», som i forkortet form gjerne omtales som «byrået for nettverksovervåkning». Det finnes også en rekke andre regjeringsdepartementer, ministerier og autoriteter som har ansvar for overvåkningen av nettet. Ved siden av en rekke spesialtrente tjenestemenn i politiet og inspektører som er ansatt fra privat sektor, tas kunstig intelligens-systemer i bruk for å tråle internettet for enhver regimekritisk uttalelse. I tillegg er en hel armé av regimetro kommentatorer aktive i nettfora, noe som på folkemunne er kjent som «femtiøre-partiet» (五毛党). De anklages for å prøve å påvirke offentlig debatt til støtte for KKP.

Kinas nettgiganter: Baidu, Alibaba og Tencent.

Helt siden internettet ble unnfanget, har KKP sett det som en kommunikasjonsform som må kontrolleres. Statssensuren tar likevel ikke sikte på å undertrykke kritiske kommentarer om regimet fullstendig. Kinas kommunistparti er snarere ute etter å forebygge at kollektive kampanjer i stor skala kommer i stand. Samtidig, som med sensur generelt, kan mange av de kinesiske kontrolltiltakene omgås, i det minste delvis. Kina her dermed et relativt heterogent landskap på nettet. Dette landskapet er like fullt forskjellig fra det vi har i Vesten. Siden Kinas nett for en stor del er avskåret fra World Wide Web, er det heller ikke dominert av USAs nettgiganter. I stedet har egenartede kommersielle strukturer tatt form. De tre største selskapene – Baidu, Alibaba og Tencen – er kjent under betegnelsen BAT. De leverer ikke bare infrastrukturen for de sosiale kontrollsystemene, men er også i fronten for utviklingen av kunstig intelligens på verdensbasis.

Alle de tre selskapene har tilgang til enorme datareserver. Søkemotoren til giganten Baidu står også for driften til Kinas største oppslagsverk på nettet og betalingstjenesten Baidu Pay. Alibaba, selskapet som i Vesten er kjent under navnet «AliExpress» er i sin tur den store spilleren i Kinas nettsalg. Det leverer også en populær kunde-til-kunde-plattform, Taobao Wang, som brukes av anslagsvis 470 millioner personer i måneden. I tillegg sitter Alibaba på omkring en tredjedel av Kinas mest populære mikroblogg-plattform, Sina Weibo, som brukes av omkring 380 millioner mennesker i måneden. Selskapets gruppe for finanstjenester favner også det sosiale kredittsystemet Sesame Credit og den populære betalingsappen Alipay. I året som gikk, rapporterte Alibaba Group en omsetning på om lag 8,3 milliarder amerikanske dollar. Siden 2016 har den også vært eier av Hong-Kong-avisen South China Morning Post.

Det tredje selskapet i gruppen, Téngxùn, er kjent i Vesten som Tencent. Blant gamere har det i årevis vært et kjent navn utenfor Kina på grunn av deres deleierskap i videospill-selskaper. Dessuten har Tencent også aksjer i det globalt populære sosiale mediet Snapchat, noe som er langt mindre kjent. Øvrige tjenester er QQ og WeChat: Med nærmere 900 millioner aktive brukere er QQ Kinas mest populære meldingstjeneste, mens WeChat er en meldingstjeneste for smarttelefoner som når omkring en milliard mennesker på verdensbasis. Med WeChat Pay-funksjonen blir WeChat også en betalingsapp som brukes over hele Kina.

(Meta)data og andre digitale spor.

For kinesiske internett-brukere er disse tjenestene en del av hverdagen. Omkring 95 prosent av brukerne er på nett enten via mobile enheter, noen av dem med PC i tillegg. I likhet med andre nettbrukere etterlater de et stort antall digitale spor – personlige detaljer og data om sine nettvaner – som så blir samlet og evaluert av både staten og kommersielle aktører, som dernest kan identifisere, kategorisere og klassifisere ulike brukere.Disse dataene utgjør basisen for SKS-ene og poengberegninger. Poengberegningen gjennomføres ved hjelp av algoritmer og kunstig intelligens – en prosess som ikke er synlig for brukerne. Digitale systemer har to andre trekk som er spesielt relevante for de sosiale kontrollsystemene: På den ene siden kan lagrede data kopieres og selges et endeløst antall ganger; på den andre siden glemmer digitale systemer aldri. Dessuten lager de kinesiske SKS-ene hybride systemer: De inkorporerer digitale og analoge data i evalueringene, med andre ord registrerer de ikke bare nettatferd, men også det som gjøres utenfor nettet. Dette blir gjort mulig gjennom økt bruk av «smarte» kameraer som gjenkjenner ansikter i offentlige rom. Integreringen av analog og digital overvåkning er spesielt avansert i den overveiende muslimske provinsen Xinjiang – der antallet «massehendelser» også er påfallende høyt.

Alibabas Sesame Credit.

Sesame Credit-system gir et godt eksempel på hvordan poengberegningen foregår. I likhet med vestlige selskaper filtrerer Alibaba enorme mengder data fra brukerne, siden SoMe-tjenestene gir informasjon om deres humør, preferanser og hvem som er «venner» med hvem. Også data for produktbestillinger og interaksjon med ulike web-annonser fanges opp i detalj. Minst like viktig er betalingsprosesser og internett-søk, som understøttes med metadata om besøkte sider og dynamiske data. Poengberegningen utføres så innen fem områder: brukerens kreditthistorie, deres likviditet, deres personlige detaljer, deres vaner og adferdsmønster samt deres SoMe-kontakter. Den laveste poengsummen i Sesame Credit-systemet er 350, og maksimum er 950. Dagens poenggivning belønner kjøp av Alibaba-produkter spesielt høyt.

Alibabas Sesame Credit-system likner på en måte bonusprogrammer som Payback loyalty-kortet i Tyskland. Ved å registrere seg i denne tjenesten og dermed tillate registrering, bruk og salg av personlige data vinner brukerne fordeler som øker med deres nivå i poengsystemet. I Sesame Credit – systemet kan brukere – på et visst poengnivå – søke om umiddelbare lån eller kredittprodukter uten å måtte betale depositum.

Selv innen områder som har med sikkerhet å gjøre, kan man høste fordeler. Etter en viss poengrangering går det raskere å gå gjennom sikkerhetssjekken på flyplasser. Det finnes også fordeler som gjelder utenfor Kinas grenser: I 2015 tilbød ambassadene i Singapore og Luxemburg forenklede visa-betingelser for kinesiske borgere som har oppnådd et visst antall poeng. For å regne ut alt dette samarbeider Sesame Credit-systemet med et stort antall kommersielle og offentlige databaser. Siden 2015 inkluderer det også Kinas største dating-tjeneste Baihe, som inneholder sensitive opplysninger om anslagsvis 90 millioner mennesker. Sesame Credit-systemet inkorporerer også databaser fra kinesiske rettssaler – med store konsekvenser for de straffedømte, som må finne seg i ekstra restriksjoner. Følgene av dette fremgår av en av de seneste innstrammingene: Fra 1. mai 2018 kan borgere på myndighetenes svarteliste forhindres i å reise med tog eller fly i opptil ett år. Sanksjoner var allerede mulige – om enn i en mildere form: I mars i fjor avslørte utviklings- og reformkommisjonen at over 9 millioner personer var blitt utestengt fra all flytransport, mens over tre millioner ikke fikk kjøpt togbilletter på første klasse på grunn av negative lagrede opplysninger. Blant de berørte er folk som skal ha publisert falsk informasjon om terrorvirksomhet – en anklage som er kjent for å fortolkes på svært tøyelige måter verden over.

Leken overvåkning: gamifiserings-prinsippet.

Det gjenstår å se hvor utbredt de sosiale kontrollsystemene vil bli i 2020, når KKP går inn for å innføre dem på landsbasis. I Vesten blir de allerede sammenliknet med to klassiske prinsipper for disiplinerings-og straffesystemer: Benthams panoptikon – særlig slik det ble fortolket av Michel Foucault – og George Orwells dystopi 1984. Slike sammenlikninger fanger likevel ikke inn SKS-enes fulle omfang. Det kinesiske poengsystemet er en form for teknologisk overvåkning som omfatter kommersielle og statlige aktører på like fot. Samtidig, og til forskjell fra Orwells «Storebror», er de typisk utformet som interaktive spill, og byr dermed på en langt større handlingsfrihet og aktiv deltakelse hos dem som overvåkes. Teknikken som er kjent som «gamifisering», som er avgjørende i utviklingen av dataspill, spiller en sentral rolle. Målet er å holde lengst mulig på tilskuernes oppmerksomhet og samtidig få vedkommende til å utvikle positive følelser overfor spillet. I dag blir gamifisering tatt i bruk på nesten alle samfunnsområder – inkludert militæret, administrasjon og markedsføring. SKSene motiverer brukerne ikke bare gjennom rangeringer, men også gjennom ulike nivåer, opprykk og «mini-spill». Poengsummene gjør det mulig for folk å sammenlikne seg med andre, noe som oppmuntrer dem til å øke sin egen poengsum. Selv muligheten til å motta små belønninger oppmuntrer folk til å delta – en effekt som åpenbart bidrar til å gjøre fordelsprogrammer og medlemskort populære blant vestlige forbrukere. Rekruttering er en snøballeffekt: Når de først er påmeldt, reklamerer brukerne for produktet i sin egen omgangskrets og lokker dermed flere kunder inn i systemet. Tjenestene lykkes dermed ikke bare i å vinne en stor markedsandel, men ender også opp som monopoler.

I Østen og Vesten: Nettet under overvåkning.

Selv om ulike former for leken overvåkning er langt fra å være et kinesisk særtilfelle, reagerer folk i Vesten typisk med uro når de hører om Kinas sosiale kontrollsystemer. Dette vitner ikke bare om hvordan vestlige fordommer om Kina fortsatt spiller inn, men også om hvor ukritisk digitaliseringsprosesser blir mottatt i denne delen av verden. Vestlige diskurser er altfor ofte blinde for det faktum at det meste av internettet allerede er tvers igjennom kommersialisert. Det er et sted der selskaper samler inn og evaluerer enorme mengder data for å opprette og selge brukerprofiler. Denne spionasjen strekker seg fra vurdering av kredittinformasjon til undersøkelser av forbrukeratferd gjennom lojalitetsprogrammer og fra sykkel- og bilutleietjenester til politiske kampanjeplattformer som Change.org.

Også i Vesten fører denne kontinuerlige sammenlikningen og vurderingen til en oppløsning av privatsfæren, i tillegg til en konformitetskultur i privatsfæren og en tendens til at folk blir forsiktige med å skape friksjon i arbeidslivet. Resultatet er at trusselen om en «sosial tilstivning» tiltar, noe som gjør det vanskeligere å yte motstand mot urettferdighet og sosial ulikhet. Denne utviklingen er blitt fremmet av den utbredte misoppfatningen at data og spesielt algoritmer for det meste er nøytrale – til tross for at dataprogrammer blir skrevet av mennesker som bærer med seg sine egne personlige overbevisninger og som selvsagt også er feilbarlige. I tillegg til dette kommer det faktum at det fremfor alt er selskaper og stater som er pådrivere for digitalisering, hvilket betyr at det også er disse som bestemmer retningen. Selv om myndigheter i motsetning til private selskaper i teorien må stå til ansvar overfor borgerne, har vi fått vite, sist gjennom Snowden- lekkasjene, at vestlige stater er like sultne på data som autoritære regimer. Ikke engang en fem års tid etter NSA-skandalen er det noe som har forandret seg i denne sammenhengen. Tvert imot har statlig overvåkning blitt enda mer utbredt – ikke minst på grunn av samarbeid mellom myndighetene og privat sektor.

For enkeltpersoner blir det å beskytte seg mot masseovervåkning stadig vanskeligere – særlig siden vi vet mindre og mindre om de «smarte» innretningene vi bruker daglig og manipulasjonsteknikkene som tas i bruk. Knapt noen vet hvilke dataspor som etterlates når vi surfer på nettet uten beskyttelse, for ikke å snakke om hvilke detaljerte konklusjoner som kan trekkes når det kommer til våre personlige tanker og begjær. Vi er dermed ikke fullt klar over i hvilken grad privatsfæren allerede er i full oppløsning. Krypterings- og anonymiseringstjenester gir en viss beskyttelse, men de er ikke noe endelig svar i møte med teknologiske og digitale endringer som forandrer samfunnet vårt på godt og ondt. Utover rent datatyveri dekker databasene over en annen undervurdert fare. Stater og selskaper kan oppløses, men den digitale informasjonen forblir intakt. Vi kan ikke forutse hvilke konklusjoner fremtidige myndigheter eller selskaper og deres ledere vil trekke ut av sine databaser, eller ut fra hvilke data og kategorier vi vil bedømmes.

De kinesiske SKS-ene stiller oss dermed overfor spørsmålet om hvordan enorme datamengder om oss alle samles inn, forflyttes, vurderes og selges. Hva slags samfunn vil masseovervåkningen føre til? Og hva kan vi gjøre for å motarbeide det? En ting er klar: Data er makt. Det er en kraft vi ikke kan sanse i den fysiske verden, og dermed er informasjonsbasert makt, i likhet med radioaktiv stråling, en fare vi bare oppfatter uklart. På et globalt nivå er det dermed på tide å hanskes med spørsmålet om hvordan makt og manipulering forandres i den digitale æra. Implikasjonene tvinger oss til å stille nye spørsmål om makt og legitimitet, privatliv, frihet og det gode liv – og å bestemme om vi vil forbli passive brukere eller å engasjere oss aktivt i utformingen av systemene som påvirker tilværelsen vår.

Published 21 November 2018
Original in German
Translated by Anders Dunker
First published by Blätter für deutsche und internationale Politik / Ny Tid

Contributed by Ny Tid © Blätter für deutsche und internationale Politik / Katika Kühnreich / Ny Tid / Anders Dunker / Eurozine

PDF/PRINT

Read in: EN / DE / NO / FR

Published in

Share article

Newsletter

Subscribe to know what’s worth thinking about.

Discussion