Interessant idee, maar ik heb toch twee bedenkingen.

Ten eerste zit het me niet lekker dat het inzetten van de tweede factor volautomatisch gebeurt. Voor mij moet dat een doelbewuste handeling zijn die niet per ongeluk kan gebeuren. Veiligheid zit in het opwerpen van barrières die stuk voor stuk de kans op ellende helpen verkleinen. Ze nemen zo'n barrière weg.

Ten tweede zit het me niet lekker dat beide apps op compromitteerbare apparaten draaien die met het internet verbonden zijn. De kracht van digipassen, raboscanners en dat soort apparaten zit er mede in dat ze een eindpunt vormen dat niet met malware of spyware besmet kan worden omdat er geen kanaal beschikbaar is om dat over te installeren. Cryptografie gaat uit van communicatie tusen veilige eindpunten via onveilige verbindingen. De eindpunten moeten dus veilig zijn, en in mijn ogen hebben 'dedicated' apparaatjes een wezenlijk voordeel daarin boven 'general purpose'-apparaten waar wie weet wat op geïnstalleerd kan worden.

Slim, het is veel meer dan een eenvoudige 2FA, tel maar eens.
- De smartphone, iets wat je bezit, en de desktop moeten gekoppeld zijn.
- Ze moeten zich in de zelfde ruimte / tijd bevinden door achtergrondgeluiden
Ik zou het device desktop / smartphone nog wat uitwerken in een strikte koppeling. Nu lees ik enkel dat om een nieuwe browser is die herkent wordt. Waarom zit dit niet op OS niveau?
Een andere vraag zou zijn kan het ook met een follow-me aanpak onder virtuele desktops. Je zou het wifi adres van de smartphone als identificatie kunnen gebruiken.

Als de geluiden nooit het apparaat verlaten, hoe worden ze dan vergeleken?

Hoe ze het daar doen weet ik niet, maar ik kan wel iets bedenken.

Als je met een Fourier-transformatie een "spectrum" van de aanwezige geluidsfrequenties maakt op beide apparaten kan je die spectra versturen en vergelijken. Zo'n spectrum bestaat uit twee componenten: per geluidsfrequentie de amplitude (sterkte) van die frequentie en ook de fase (hoe ver de sinus-golf van elke frequentie naar links of rechts is geschoven). Als je dat laatste weglaat heb je wel een herkenbare vingerafdruk van het geluid maar kan je het oorspronkelijke geluid niet meer reconstrueren, je houdt iets onherkenbaars over.

Zie voor een voorbeeld deze afbeelding:
https://www.wavemetrics.com/products/igorpro/dataanalysis/signalprocessingpix/fftexample.png
Het rode grafiekje laat een geluidsgolf zien, het blauwe de bijbehorende geluidssterktes over verschillende frequenties. Het fase-deel van de transformatie is daar al niet weergegeven (die zou ook niets opleveren waar je als mens veel aan herkent, vermoedelijk). Die fase-informatie is wél nodig om de transformatie om te kunnen keren en het oorspronkelijke geluid te reconstrueren.

Zo'n fouriertransformatie is wiskundig gezien bekend terrein, de techniek heeft toepassingen op allerlei terreinen (van analyses van gegevens over seizoengebonden zaken tot digitale audiofilters) en software-libraries die efficiënte implementaties leveren zijn volop beschikbaar.

Het fase-deel van de FT bevat feitelijk de meer belangrijke informatie dan het amplitude deel.

Bij een Fourier transform van beelden (2D signaal) is dat mooi te zien als je kijkt naar een gereconstrueerd plaatje op basis van alleen de amplitude informatie, en eentje op basis van alleen de fase informatie.
De fase informatie bevat een herkenbaar beeld, en de amplitude informatie totaal niet .

Zie https://dsp.stackexchange.com/questions/16995/image-reconstructionphase-vs-magnitude

Ik weet niet of en hoe herkenbaar geluid is op basis van alleen fase informatie (of alleen amplitude-informatie) van de FT, maar bij beelden is het verschil dus bijzonder duidelijk.


En ter aanvulling : alle (lossy) compressie algorithmen (MP3 voor audio, MPEG2/MPEG4, H.264 etc ) bevatten een Fourier (of vergelijkbare) transform en doen hun compressie [en weglaten van details] op basis van het signaal in het frequentie domein.

Lol, ik wil helemaal geen devices die luisteren naar wat er in mijn huis, of op mijn werk, gebeurt.

Nee, daar ben ik (degene op wie je reageerde) het niet mee eens. Magnitude (amplitude bij geluid) en fase zijn een tweedimensionale weergave van wat in feite complexe getallen zijn (een reëel en imaginair deel zijn de voor de hand liggende andere tweedimensionale weergave). Door een daarvan weg te laten sla je een dimensie plat en houd je veel minder informatie over, maar je kan niet stellen dat het ene deel daarvan belangrijker is dan het andere, het resultaat is precies even incompleet.

Leuk, ik heb zelf uitgebreid met fouriertransformaties van afbeeldingen gespeeld, met soortgelijke resultaten (en meer).

De amplitudeinformatie (het plaatje rechtsboven) lijkt niets herkenbaars te bevatten. Als de oorspronkelijke afbeelding echter een krantenfoto was geweest, met in raster van inktvlekjes van verschillende grootte, dan had je een duidelijke weergave van dat raster teruggevonden in de afbeelding. Die vlekjes zitten namelijk op regelmatige afstanden en net als bij geluid kan je dat zien als een frequentie die veel voorkomt en een hoge amplitude heeft. De piek krijgt in tegenstelling tot bij geluid geen plek op een lijn maar in een vlak. Afhankelijk van je toepassing kan dat nou net de informatie zijn waar je het meest aan hebt. Je kan bijvoorbeeld een masker maken op basis van het resulterende patroon, dat uit de FT-data filteren, de inverse transformatie uitvoeren en je houdt een foto over waar het rasterpatroon (grotendeels, het succes wisselt) uit is weggefilterd.

Dat je in de afbeelding rechtsonder contouren van de afbeelding kan herkennen klopt, en de eerste reactie op die pagina legt uit waarom. Dat levert voor mensen herkenbare informatie op, maar het is niet meer informatie dan in het magnitudedeel zit en of het belangrijker is hangt af van de toepassing. Het is (voor alle duidelijkheid) niet de fase-afbeelding zelf, maar het resultaat van een inverse FT met weglating van het magnitude-deel. De fase-afbeelding zelf bevat niets herkenbaars, maar de contouren kunnen eruit gereconstrueerd worden.

Bij geluid is het magnitud/amplitude-deel over het algemeen het meest herkenbare, je krijgt een "spectrum" wat keurig de verdeling van het aanwezige geluid over verschillende frequenties weergeeft. De contouren die zichtbaar zijn in de afbeelding rechtsonder zouden bij geluid overeenkomen met scherpe overgangen tussen hard en zacht geluid. In het equivalent van dat gereconstrueerde plaatje zou je ruispiekjes bij scherpe volumeovergangen aantreffen. Ik kan me voorstellen dat je het ritme van slagwerk erin terug kan herkennen. Als er geen muziek met slagwerk in het geluidsfragment zit zou het goed kunnen dat er weinig of niets herkenbaars overblijft.

Lijkt me onbruikbaar voor audio.
Bestanden die niet EXACT hetzelfde zijn leveren altijd een totaal andere hash op.

Er zijn speciale hash functies die kleine afwijkingen accepteren. Die worden ook gebruikt voor het genereren van "hashes" van vingerafdrukken. Die zijn ook nooit hetzelfde, maar met de juiste codering is het toch mogelijk om vingerafdrukken te gebruiken voor identificatie.

Voor het geval je het niet weet: vingerafdrukscanners sturen nooit de vingerafdruk naar de server ter verificatie. Ook daar staat alleen een hash waar, zoals gebruikelijk bij hashes, de oorspronkelijke afdruk niet uit te reproduceren is.

Peter

Lees je eigenlijk wel wat er staat in de tekst die je in je reactie citeert? Dit met name:
Daar staat duidelijk dat ze een hashfunctie hebben gemaakt die bij bestanden die niet EXACT hetzelfde zijn toch een match oplevert. Beetje onzinnig om dan te reageren alsof dat er niet staat.

Ik denk overigens niet dat deze hashfunctie geschikt is voor het doel waar we het hier over hebben, omdat daar geluiden die zijn opgenomen door twee apparaten worden vergeleken die zich in twee verschillende kamers moeten kunnen bevinden. Dan zal de verhouding tussen geluidsbronnen verschillen, en het is zelfs mogelijk dat een zacht geluid bij de microfoon van een apparaat voor dat apparaat keihard is terwijl het voor het andere apparaat zowat afwezig is. Dat lijken me verschillen die verder gaan dan kwaliteitsverschillen in opnames, die zullen vallen onder "otherwise be sensitive to the content changes".

Het is waarschijnlijker dat men een "fingerprint" gebruikt die niet identiek hoeft te zijn maar waartussen een correlatie berekend kan worden. Een voldoend hoge correlatie levert dan een match op, een te lage correlatie niet. De al besproken fouriertransformatie zou daar geschikt voor kunnen zijn.

Ik hou helemaal niet van dit soort methodes. Je neemt een stap terug (van zekerheid naar waarschijnlijkheid) daarnaast is het gewoon onhandig dat er een 2e apparaat voor nodig is, ze gaan er gewoon even van uit dat iedereen wel een smarphone heeft wat gewoon niet zo is. Ik zou nog liever een paar extra passwords intikken.