Eg føl med på kva som blir skrive om planane for CSAM*-deteksjon i iCloud Photos i iOS 15. Bruce Schneier, ein velkjent person med omfattane erfaring og kompetanse på kryptografi og informasjonsikkerheit, har hatt nokre innlegg i etterkant på sin blogg Schneier on Security.

* CSAM=Child Sexual Abuse Material

Driftige folk har teke tak i Apple sin NeuralHash-algoritme som vil bli brukt til å skanne bilete på dine Apple-einheit før opplasting til iCloud Photos. Ein har klart å dekonstruere (reverse engineer) algoritma. Etter sigande var ho allereie på plass i iOS 14.3, om enn ikkje aktivert. Ein klarte å eksportere modellen til ONNX (Open Neural Network Exchange). Du kan teste NeuralHash på Linux eller MacOS. Når eg ser på stega for å få generert ein hash (matematisk kontrollsum) for eit bilete, fell ting meir på plass i høve det eg har stussa på:

1. Convert image to RGB.
2. Resize image to 360×360.
3. Normalize RGB values to [-1, 1] range.
4. Perform inference on the NeuralHash model.
5. Calculate dot product of a 96×128 matrix with the resulting vector of 128 floats.
6. Apply binary step to the resulting 96 float vector.
7. Convert the vector of 1.0 and 0.0 to bits, resulting in 96-bit binary data.

Det første steget konverterer bilete til eit standard fargerom. Steg to forminskar bilete til 360 ganger 360 punkt. Omsett til megapixels er det 0,1296 megapixels eller 129600 punkt. I dag fotograferer iPhone med 12 megapixels (12 million punkt). Bilete blir kraftig forminska som medfører at uhorveleg mykje informasjon/detaljar forsvinn. Eg har ei viss forståing for forminskinga dersom alt av bileter, ikkje berre det du fotograferer skal kontrollerast. Kvaliteten av det du tek vare på vil variere alt etter kjelda det kjem frå.

For meg betyr det at det er brøkdelen av informasjonen i eit bilete som dannar grunnlaget for kontrollsum. Dess mindre grunnlag ein har, dess større sjanse er at ein får samanfallande kontrollsum mellom to bilete. Apple sin påstand om at sjansen for kollisjon er 1 til 1 billion kjøper eg ikkje. Store talverdiar på amerikansk er million, billion, trillion. På norsk er det million, milliard, billion, billiard, trillion. Etter forminskinga går grunnlaget vidare til normalisering av fargeverdiane før ein er over i NeuralHash-modellen. Det ser ut til at dei splittar ting opp i matriser med eit visst punktareal, men dette går over hovudet på meg. Ver merksam på at det er ei maskinell «tolking» av bilete som vert vurdert, ikkje punkt for punkt:

På denne sida er det i gong ein diskusjon der ein har fleire bilete som er vidt forskjellige, som (etter påstand) genererer same kontrollsum: 59a34eebe31910abfb06f308. Du finn bileta sist i innlegget.

Min påstand er at kontrollsummane frå CSAM-bilete vil bli kjent. Årsaken til det kan være alt frå at organisasjonane blir hacka til ein ansatt (utru eller idelogisk) gjer dei kjent. Å gjere bileta kjent er straffbart som spreiing av barneporno, men ein kontrollsum, f.eks. 59a34eebe31910abfb06f308, kan ikkje avsløre bilete. Konsekvensane for å avsløre kontrollsummen vil vere vesentlig mindre. Deretter vil nokon starte å generere bilete som dannar tilsvarande kontrollsummar. Bileta vil bli brukt i kampanjar:

Tenk deg at du får ei melding om å betale x bitcoin for å unngå å få din Apple-konto sperra. Du betalar ikkje og får tilsendt bilete som har same kontrollsummane som CSAM-bilete. Ifølgje denne artikkelen vil 30 samsvarande kontrollsummar utløyse at kontoen din blir flagga hos Apple og deaktivert.

Det er her eg ser at Apple sin påstand om sjansen for same kontrollsum for to ulike bilete er urealistisk. 1 til 1 billion tilseier at det i praktisk vil være så godt som umogleg. Dersom så var, ville ikkje 30 treff det som skulle til for å flagge kontoen, men eit tal langt mindre. Eg hadde sett for meg 5, kanskje 10 treff for å ta godt i.

Etter flagging går bileta til manuelle gjennomsyn. Eg tippar det kan ta laaaang tid, spesielt om mange er råka av det same. I mellomtida er alt utstyr låst ute av kontoen din. Still deg spørsmåla:

• Kva vil du kunne tape dersom du mister Apple-kontoen din?
• Kor lenge tåler du at Apple-kontoen din kan vere deaktivert?

Bilete som genererer same kontrollsum i Apple NeuralHash:

Eg har nokre USB-minnepinnar. Det er ikkje fordi eg lagrar data på dei, men fordi eg treng dei til ulike verktøy samt prøving og installasjon av operativsystem. Hittil har det vore å hente ned ISO-filer, det vil sei eit «disk-bilete» av ein DVD eller CD. Med Unetbootin eller Rufus har eg overført «disk-bilete» til ein USB-minnepinne. Du kan berre ha eit verktøy eller ein installasjon for kvar minnepinne. Har du få minnepinnar må du ofre noko for å klargjere noko anna.

I dag vart eg gjort merksam på eit nytt verktøy av Youtube-kanalen TechHut kalla Ventoy. Med Ventoy klargjer du ein minnepinne. Når det er gjort, kan du kopiere (alle) ISO-filene dine over på minnepinnen. Startar du PCen med minnepinnen, blir du presentert for ein meny med ISO-filene som ligg på han:

I eksempelet over har eg lagt inn 6 ISO-filer på minnepinnen og starta PCen med han. Ventoy let meg ha alt liggande på ein minnepinne. Vil eg skifte ut noko er det berre å slette ISO-filer og legge inn nye. Her har eg starta Windows 10-installasjon frå siste oppføringa i Ventoy-menyen over:

Eg har ståande ein liten filserver med Openmediavault. Han køyrer også Syncthing som gjer at eg kan synkronisere mapper mellom fleire datamaskiner. Du brukar GoogleDrive, Dropbox eller OneDrive. Eg brukar mi eiga sikre synkroniseringsløysing ståande hos meg.

Under synkronisering i går kveld, var det ei av maskinene som sleit med å ned eit par filer, ei av dei var eit bilete. Eg kopla meg på filområdet det vert synkronisert til. Når eg forsøkte å opna bilete, klaga biletprogrammet på at det var feil på fila. Her var det noko gale, for fila var OK på backup og for den del ei anna maskin.

Eg logga meg på administrasjonsgrensesnittet til Openmediavault og sjekka helsa på diskane. Det lyste raudt – prefail – på disken med operativsystemet og synkroniseringsområdet. Det er eit klart varsel på at disken må skiftast så snart som råd. Eg hadde liggande ein disk i reserve og starta maskina frå USB med Parted Magic. Ved hjelp av ddrescue, over natta til i dag spegla, eg den gamle disken over til den nye. Når eg stod att i dag tidleg, var alt spegla. ddrescue hadde funne 75 feil på disken. No gjorde han nokre forsøk på å lese områda med feil, for å prøve å hente ut data.

Etter at eg var ferdig på arbeid i dag, tok eg ein siste sjekk mot backup-området. Sluttresultatet var at det var 3 filer som hadde vorte korrupte av den feilande disken. Desse vart erstatta med kopiar som det ikkje er feil på. Det står att å handle inn ein ny disk til å ha i reserve. Som ein skigard, varer ein disk ikkje evig:

976759807 KB total disk space.
34596 KB in 8 files.
72 KB in 14 indexes.
5112 KB in bad sectors.
96015 KB in use by the system.
65536 KB occupied by the log file.
976624012 KB available on disk.

Viser til innlegget mitt – They came first for the… Apple fekk det heitt av mange etter lanseringa av dette. I etterkant har dei lagt ut eit ofte-stilte-spørsmål-dokument på sine sider. I det som vert lansert i USA, i første omgang, er det to problem sjølv om «brekkstanga» er sukra med eit heller nobelt formål:

1. CSAM-deteksjon i iCloud Photos. (CSAM=Child Sexual Abuse Material)
   Her blir ein matematisk verdi kalkulert av bilete som du skal til å laste opp til iCloud. Det er ikkje mogleg å sjå bilete utifrå denne verdien. Han blir samanlikna med kalkulerte verdiar frå kjent overgrepsmateriale. Funksjonen er avgrensa til dei som nyttar iCloud som biletelagring. Brukar du ikkje iCloud til bilder vert du ikkje påvirka. Modifiserte versjonar av eit bilete skal få same verdi for å kunne fange opp same biletinnhaldet sjølv om bilete blir tilpassa ulike format (f.eks. 16:9 eller 3:4), fargejustert eller får endra oppløysing.

2. Kommunikasjonssikkerhet i Messages (iMessage, SMS og SMS)
   Eit verktøy for foreldre for å beskytte ungar (inntil 17 år) mot å sende og motta nakenbilder i meldingene. Det er avhengig av at du har sett opp familiedelingen for familene din. Bileta blir analysert på einingen og ikkje samanlikna med andre. Om ein barnekonto sender eller mottek det som algoritma meinar kan vere eit nakenbilde, blir bilete uskarpt og ungen åtvara, presentert med nyttige ressursar og forsikra om at det er greit om dei ikkje vil sjå eller sende bilete. For ungar 12 år og yngre kan det setjast opp slik at foreldra får beskjed dersom ungen ser på bilete.

I begge tilfella er det snakk om overvaking på einingen (iPad, iPhone, Mac’ar). I denne omgang vert nr 1 brukt til å identifisere kjent overgrepsmateriale. Slikt er ulovleg og folk som distruberer slik treng å få ein tenkepause i eit avlukke. Men eg ser for meg at teknologien i neste omgang kan bli brukt til å identifisere f.eks. åndsverk (bilete osv.) Du tek vare eller sender materiale du ikkje har lov å gjere. De som har nokre år på baken veit kort hardt musikkindustrien stritta mot internett. Sjå føre deg at du lastar opp eller sender bilete eller andre mediefiler. Systemet indentifiserer at du har gjort fleire bort på åndsverkslover (les pirat), stenger kontoen din og melder deg til politiet. Du synes det kanskje er perifert, men ånda er ute av flaska. I polariserte samfunn er det fort at noko slikt kan bli brukt til å identifisere oposisjonsmateriale under dekke at det er terroristmateriale. Dagleg har vi fått meldingar om kor nær USA var å ende opp som ein autoritær stat på slutten av 2020, byrjinga av 2021.

Når deg gjeld 2, ser eg for meg at det vil fort blir obligatorisk. I USA taklar dei ikkje brystvorter. Småbarnsfamiliar tek bilete av barn med og utan klede. Poden leikar naken i strandkanten eller ved oppblåsbare bassenget. Du tek bilete når du badar dei, steller dei eller når dei er sjuke og fulle av vannkoppar. Nokon sender du til besteforeldre og vener. Systemet trur det er fy-bilder og gjer dei diffuse. Lure på kva anna som kan verte ansett å vere for tungt for «sarte sjeler» i desse «krenke-tider» og sensurert «automagisk».

Apple har vist kva dei kan få til. Når dei blir pressa av ulike aktørar, har eg vanskeleg for å sjå at nei er eit alternativ.

Eg startar innlegget med eit dikt frå ei dyster tid i forrige århundre. Det illustrerer kva som skjer når ein apatisk aksepterer at små bitar av vårt handlingsrom blir fjerna. Brått er dagen komen der det er deg dei er på jakt etter:

I ein rettsstat er ein uskuldig inntil det motsette er prova. Så lenge ein er uskuldig har ein ikkje rett til å overvake ditt daglege liv. Dersom politiet får mistanke om at du driv på med noko kriminelt, kan dei gå til ein domstol med sine førebelse bevis eller indikasjonar. Domstolen kan avvise eller gi politiet rett til å ransake og eventuelt overvake deg for å samle bevis til ei eventuell rettsak der ein domstol tek stilling til om du du er strafferettsleg skuldig eller uskuldig etter anklage. Det er stor fare for at denne måten no vert undergreven og vi vil kome til å leve i eit overvakingssamfunn der det minste feiltrinn blir prompte slått ned på og straffa.

Først vil eg berra ha sagt at at mishandling og misbruk av barn er forkastleg og ulovleg. Slikt må straffast, men samtidig er eg sterkt ueinig i framgangsmåtar som no er på bordet frå politikarar og verksemder. Poltikarane ønskjer seg bakdører i sikker kommunikasjon. Apple legg til rette for å skanne alle dine foto du har lagra på utstyret ditt.

At tilbydarar har bruksvilkår for sine skytenester er greitt. Dei er i sin fulle rett til å setje rammer for kva som er akseptabelt i iCloud osv. I vinter hadde vi tenesta Parler som gjentekne gonger braut vilkåra til Amazon Web Services og vart utestengt frå deira plattform.

Eg har hatt nettsider sidan før tusenårsskiftet. For 14 år sidan flytta eg innhaldet mitt på ei Microsoft-teneste, som seinare vart lagt ned slik at eg enda opp på WordPress. Eit av bileta, som aldri hadde vore eit problem for norsk tenesteleverandør, vart identifisert av ei algoritme hos Microsoft til å vere i strid med vilkåra deira og eg vart beden om å fjerne det.

Det som er er spesielt med Apple er at dei vil flytte overvakinga frå skya og ned til dine einingar – Apple MacBook, iPad, iPhone, Watch osv., https://www.apple.com/child-safety/:

Apple’s method of detecting known CSAM* is designed with user privacy in mind. Instead of scanning images in the cloud, the system performs on-device matching using a database of known CSAM image hashes provided by NCMEC and other child safety organizations. Apple further transforms this database into an unreadable set of hashes that is securely stored on users’ devices.

* Child Sexual Abuse Material

I motsetning til Parler og eg, som hadde lagt offentlige tilgjengeleg informasjon på tenester som streid mot vilkår, vil Apple skanne dine private bilete som ligg på dine private einingar. Bileta blir prosessert lokalt av ei avansert algoritme som genererer ein matematisk verdi, også kalla hash, av bilete. Verdien blir samanlikna verdiar generert frå kjent «problematisk media»:

The system, called neuralMatch, will “proactively alert a team of human reviewers if it believes illegal imagery is detected, who would then contact law enforcement if the material can be verified,” the Financial Times said. neuralMatch, which was trained using 200,000 images from the National Center for Missing & Exploited Children, will roll out first in the US. Photos will be hashed and compared with a database of known images of child sexual abuse.

“According to people briefed on the plans, every photo uploaded to iCloud in the US will be given a ‘safety voucher,’ saying whether it is suspect or not,” the Financial Times said. “Once a certain number of photos are marked as suspect, Apple will enable all the suspect photos to be decrypted and, if apparently illegal, passed on to the relevant authorities.”

The Verge

So bra – tommel opp, seier du. Vent, seier eg. Mitt bilete på ei nettsideteneste frå Microsoft vart fanga opp av ei algoritme som mellom anna baserte seg på andel hudfargar i bilete. Sjølve bilete viste ein barnerygg, hardt angrepen av vannkoppar i lindrande bad, utan at ein kunne identifisere kven dette var. Algoritmane til Apple vil eg tru har kome mykje lengre enn dei ein hadde for over 10 år sidan, men her er det prinsippet eg er i mot. Det blir berre heilt feil å sei at alle er skuldige, ergo må vi overvåke dei for å prove at dei er uskuldige.

Vi tek masse bilete med telefonane sine. Småbarnsfamiliar har bilete av barn med og utan klede. Poden leikar naken i strandkanten eller ved oppblåsbare bassenget. Du tek bilete når du badar dei, steller dei eller når dei er sjuke og fulle av vannkoppar. Nokon sender du til besteforeldre og dine vener, men det meste er held du privat for deg. Sjølv om du ikkje brukar Apple sin skyteneste iCloud, vil Apple kontrollere alle bileta mot problematisk materiale. Eg har sett litt på den tekniske overordna skildringa:

The main purpose of the hash is to ensure that identical and visually similar images result in the same hash, and images that are different from one another result in different hashes. For example, an image that has been slightly cropped or resized should be considered identical to its original and have the same hash.

Apple

Legg merke til at ein går på visuelle i bilete. Ein svart/kvitt-versjon av same bilete generer tilsvarande hash. I tillegg vil same bilete litt skore til eller med endra oppløysing få same hash.

I dokumentet eg lenka til er det forklart korleis ein kjem fram til det, men forklaringa «går meg hus forbi». Slik eg ser det vil det vere ei måling av forhold mellom punkt eller former i bilete uavhengig av fargar. Forholdet vil eksistere sjølv om ein endrar oppløysing på bilete og dersom ein har eit stort nok sett med slike målepunkt, gjer det ikkje noko om ytterkantar av bilete er tilpassa, f. eks. 16:9 kontra 4:3-storleik.

Det næraste eg kan tenkje med er at det blir noko tilsvarande ansiktsgjenkjenninga på iPhone, tilrettelagt for bilete. Med identiske tvillingar har eg god erfaring med gjenkjenningssystem anten dei kjem frå Apple, Microsoft eller blir nytta i passkontrollen. 4 av 4 system vi har testa har feila på å skilje tvillingane frå kvarandre. Systema er ikkje i tvil, dei ser same person uavhengig av kven av tvillingane dei ser på. Tenk på det når dine bilete skal analyserast.

Denne gongen vil dei ha kontroll på bileta dine, neste gong går dei etter meiningane dine. Dette er ein autokrats våte draum. Eg kan ikkje fatte at Apple, som ein tilsynelatande fanebærar av personvernet i vanskelege tider, har lete seg forlede til å utarbeide noko slikt.

No matter how well-intentioned, @Apple is rolling out mass surveillance to the entire world with this. Make no mistake: if they can scan for kiddie porn today, they can scan for anything tomorrow.

They turned a trillion dollars of devices into iNarcs—*without asking.* https://t.co/wIMWijIjJk

— Edward Snowden (@Snowden) August 6, 2021

I mitt forrige innlegg sa eg kva eg meiner om EUs sitt framlegg til å undergrave tryggleiken for oss alle som individ. Ingen årsak er god nok til å skjere alle over same kam. På same tid verserer ei sak i media om programvaren Pegasus:

• Wikipedia har ei side med ei oppsummering av prosjektet
• The Guardian har skrive mykje
• Washington Post har også skrive om dette
• Kaspersky, ein kjent antivirus-leverandør, har skrive om Pegasus tilbake i 2017

Pegasus er programvare levert av NSO Group. Selskapet har kjøpt eller funne svakheiter i operativsystema Android og iOS, som det meste av mobile einingar nyttar. Dette er svakheiter (zero day) som Google og Apple ikkje veit om og dermed er det vanskeleg å vite kva som må fiksast. Sidan NSO Group treng det for å levere produktet sitt, held dei korta tett til sitt bryst for å ikkje miste svakheitene dei utnyttar.

Svakheitene gjer at ein med ei melding kan lure brukar til å klikke på ei lenke. Nyare versjonar av Pegasus kan installerast utan at målet merkar det. Artikkelen påpeikar at dagens Apple iOS 14.x er sårbar for dette angrepet. No har 14.7 kome, men den er også sårbar. Når det kjem ei oppdatering som rettar feila Pegasus utnyttar, vil NSO Group , endre Pegasus til å nytte andre svakheiter som ikkje er kjente. Har dei slike svakheiter i bakhand, vil det gå raskt. Må dei finne nye kan det ta tid. Om du les artikkelen frå Kaspersky, vil du sjå at svakheitene som vart nytta tilbake i 2016/17 vart lukka med Apple iOS 9.3.5.

Pegasus vert installert på eit så lågt nivå av operativsystemet at det har tilgang til innhald i tenester og appar som køyrer på eit høgare nivå. I praksis er Pegasus ei bakdør som gir tilgang til alt, tydeleg illustrert i artikkelen til The Guardian:

NSO Group har som mål eller intensjon å selje Pegasus berre til myndigheiter som bistand til spore terroristar og kriminelle. Men om du ser på lenkene over kan det virke som at myndigheiter har vorte vel ivrige og overvaka smarttelefoner tilhøyrande journalistar, menneskerettighetsaktivister, forretningsleiarar, presidentar, og to kvinner i sfæren til myrda saudiarabisk journalist Jamal Khashoggi. Det minner meg om eit ordtak eg høyrde for lenge sidan:

One man’s terrorist is another man’s freedom fighter

Saka viser korleis bakdører kan misbrukast og vil garantert bli misbrukte. Eg stiller difor spørsmålet:

• Synes du det er greit at EU opnar opp for at kommunikasjonstenester skal legge til rette for bakdører i sine tenester?