Hur Soundsweep analyserar ljud
Den här sidan beskriver varje steg i analysen: vilken modell eller metod som används, hur den är inkopplad, vilka gränser som gäller och vilken forskning den bygger på. Allt som står här motsvarar koden som körs. Källorna nederst är samma lista som analysrapporten använder.
Flödet
Proveniens
Kontrollsumma. Källfilens SHA-256 räknas när filen läses in. När analysen körs på analysservern räknar servern en egen SHA-256 på det den tog emot; skiljer de sig åt avbryts analysen. Båda värdena står i analysrapporten.
Originalet ändras aldrig. Talförbättring (GTCRN) är en lyssningshjälp och analysen görs alltid på originalet. Ljudutdrag skapas som nya WAV-filer ur originalet, med källans SHA-256 inskriven och utdragets egen SHA-256 loggad.
Rättelser. När en replik eller en talargräns rättas sparas maskinens ursprungliga resultat. Exporterna visar både rättelsen och maskinens text, och sammanslagningar av röster loggas med tid i ärendets beslutslogg.
De fem lagren
Var någon talar. Ljudet delas i fönster om 10 sekunder och varje fönster körs genom segmenteringsmodellen, som för varje ögonblick anger vilka lokala talare som hörs, även när flera talar samtidigt. Segment kortare än 0,3 s tas bort.
Vem som talar. Varje talsegment på minst 0,4 s får ett röstavtryck, en vektor som beskriver rösten (högst 8 s av segmentet används). Medan analysen pågår placeras varje segment hos den mest lika talaren om cosinuslikheten är minst 0,42, annars blir det en ny talare, så att tidslinjen fylls direkt.
När alla avtryck finns görs en slutlig sammanslagning med medellänkning (UPGMA): bara segment på minst 1,5 s får grunda en talare, och grupper slås ihop så länge det mest lika paret har en genomsnittlig cosinuslikhet på minst 0,35. Kortare segment går till den grupp de i snitt liknar mest. Gränsen 0,35 är kalibrerad mot facit för syntetiska testinspelningar.
Vad som sägs. Talsegmenten slås ihop till bitar om högst 28 s (glapp under 1,2 s räknas som samma bit) och varje bit transkriberas med KB-Whisper, Kungliga bibliotekets svenska vidareträning av Whisper. Varje replik får den talare som överlappar den mest i tid.
Antalet ord per bit har ett tak efter bitens längd, så att modellen inte kan fastna i en upprepning på icke-tal som signaler och toner. Ord som kan vara felhörda markeras med skäl och döljs aldrig.
Plötsliga ljud. Kandidater hittas på två sätt: nivåtoppar där nivån stiger minst 20 dB på 20 ms och ljudet är bredbandigt (spektral planhet över 0,3, vilket skiljer en smäll från en ordstart), och plötsliga byten av klangfärg (spektralt flöde, högst 8 per minut). Varje kandidat klassas med Audio Spectrogram Transformer bland AudioSets 527 ljudklasser på ett fönster från 0,4 s före till 1,6 s efter.
Äkthet och intensitet
Tecken på klipp. Två kontroller. Den första letar efter total digital tystnad (minst 8 ms) mitt i ljud som annars har brus; en sådan lucka uppstår sällan naturligt. Den andra jämför bakgrundens spektrala form (24 logaritmiska band per 100 ms, de tystaste 30 % av rutorna) två sekunder före och efter varje punkt, med nivån borträknad; ett plötsligt byte som sticker ut mot filens eget mönster (robust z-värde minst 4 med median och MAD) markeras. Båda är indikationer, inte bevis: en verklig förändring i miljön ger samma tecken.
Intensitet. Under tal mäts nivå och skärpa per halvsekund och jämförs med filens eget tal (median och MAD), så att en lugn och en högljudd inspelning bedöms var för sig. Rop, skrik, gråt och skratt som AST hör höjer intensiteten där de hörs. Höga partier visas som intensitetstoppar.
Innehåll och samtalsanalyser UTAN AI
Nyckelfakta. Belopp, klockslag, dagar, platser, adresser, registreringsnummer och telefonnummer hittas med mönster i texten. Omnämnanden av vapen, narkotika, våld, pengar, polis och att undvika spårning hittas med ordlistor, bland annat samma gatuslang som Chatsweep använder. Tiden för ett ord uppskattas ur var i repliken det står.
Samtalet. Talarroller (taltid, ord, tempo, frågor, uppmaningar, initiativ), turtagning (vem som svarar vem och hur snabbt), överlapp och avbrott, långa pauser, tempo och röstläge, och eskalering räknas direkt ur talarlagret och transkriberingen. Inget av detta använder AI.
AI-delarna AI
Sammanfattning, sökning på innebörd och analyserna motsägelser, kodord samt ämnen och vändpunkter görs av en språkmodell som läser transkriberingen med tider, talare och händelser. Ljudet skickas aldrig, bara texten. Allt sådant är märkt med AI-symbolen och beskrivs som en tolkning, inte bevis.
Vilken modell som används styrs av säkerhetsnivån: på nivå 1 (Slutet nät) den egna modellen, Gemma 4 på analysservern i den egna miljön; på nivå 0 (Öppet) Claude (Anthropic). På nivå 2 och 3 används ingen språkmodell. Rapporten anger vilken modell som gjorde vad.
Säkerhetsnivåer
Säkerhetsnivån väljs uppe till höger och avgör både vart data får gå och var analysen räknas. Siffran i skölden är nivåns symbol överallt i appen.
| Nivå | Där ljudet analyseras | Ljudet lämnar datorn | AI (språkmodell) | Ärenden | Nätverk |
|---|---|---|---|---|---|
| 0 · Öppet | Analysservern | Till egen server | Claude (Anthropic), bara text | Ja | Krävs |
| 1 · Slutet nät | Analysservern | Till egen server | Egen modell, bara text | Ja | Krävs |
| 2 · Lokalt | Webbläsaren | Bara vid sparande i ärende | Ingen | Ja | Bara för ärenden |
| 3 · Isolerat | Webbläsaren | Aldrig | Ingen | Nej | Kan stängas av |
På nivå 3 sätter sidan en innehållspolicy som stoppar alla anslutningar när modellerna är hämtade (connect-src none); spärren hävs bara genom att sidan laddas om. Samma modeller och samma analyskod används i webbläsaren och på analysservern.
Modeller
| Används för | Modell (exakt som den laddas) | Ursprung |
|---|
Modellerna körs med Transformers.js och ONNX Runtime, i webbläsaren eller på analysservern med samma filer och samma analyskod. Rapporter skapas som PDF i webbläsaren med pdfmake.
Källor
Varje källa är kontrollerad mot förlagets eller arkivets egen post (ISCA Archive, PMLR, IEEE, arXiv). DOI anges där den är bekräftad. Källorna beskriver modellerna och metoderna; trösklarna, händelsedetekteringen, intensiteten och äkthetskontrollen är Soundsweeps egna.