‹Soundsweep›Metod och källor
Metod och källor

Hur Soundsweep analyserar ljud

Den här sidan beskriver varje steg i analysen: vilken modell eller metod som används, hur den är inkopplad, vilka gränser som gäller och vilken forskning den bygger på. Allt som står här motsvarar koden som körs. Källorna nederst är samma lista som analysrapporten använder.

Flödet

01Källfilen tas emotSHA-256 räknas på exakt de byte som tas emot, innan något annat görs.
02AvkodningLjudet avkodas till mono 16 kHz, den form modellerna är tränade för. Originalet ändras aldrig.
03Fem lagerTal, talare, transkribering, händelser och bakgrund körs i följd och ritas medan de pågår.
04GranskningAllt kan kontrolleras mot ljudet och rättas; maskinens resultat sparas bredvid rättelsen.

Proveniens

Kontrollsumma. Källfilens SHA-256 räknas när filen läses in. När analysen körs på analysservern räknar servern en egen SHA-256 på det den tog emot; skiljer de sig åt avbryts analysen. Båda värdena står i analysrapporten.

Originalet ändras aldrig. Talförbättring (GTCRN) är en lyssningshjälp och analysen görs alltid på originalet. Ljudutdrag skapas som nya WAV-filer ur originalet, med källans SHA-256 inskriven och utdragets egen SHA-256 loggad.

Rättelser. När en replik eller en talargräns rättas sparas maskinens ursprungliga resultat. Exporterna visar både rättelsen och maskinens text, och sammanslagningar av röster loggas med tid i ärendets beslutslogg.

De fem lagren

LAGER 1Talpyannote segmentation 3.0

Var någon talar. Ljudet delas i fönster om 10 sekunder och varje fönster körs genom segmenteringsmodellen, som för varje ögonblick anger vilka lokala talare som hörs, även när flera talar samtidigt. Segment kortare än 0,3 s tas bort.

Gräns: modellen ser bara ett fönster i taget; vem som är vem över fönstren avgörs i nästa lager.
LAGER 2TalareWeSpeaker ResNet34

Vem som talar. Varje talsegment på minst 0,4 s får ett röstavtryck, en vektor som beskriver rösten (högst 8 s av segmentet används). Medan analysen pågår placeras varje segment hos den mest lika talaren om cosinuslikheten är minst 0,42, annars blir det en ny talare, så att tidslinjen fylls direkt.

När alla avtryck finns görs en slutlig sammanslagning med medellänkning (UPGMA): bara segment på minst 1,5 s får grunda en talare, och grupper slås ihop så länge det mest lika paret har en genomsnittlig cosinuslikhet på minst 0,35. Kortare segment går till den grupp de i snitt liknar mest. Gränsen 0,35 är kalibrerad mot facit för syntetiska testinspelningar.

Gräns: talarnumren är automatiska. Samma person kan få två nummer och två lika röster kan bli en; därför kan granskaren slå ihop, dela och döpa röster, och varje beslut loggas.
LAGER 3TranskriberingKB-Whisper base

Vad som sägs. Talsegmenten slås ihop till bitar om högst 28 s (glapp under 1,2 s räknas som samma bit) och varje bit transkriberas med KB-Whisper, Kungliga bibliotekets svenska vidareträning av Whisper. Varje replik får den talare som överlappar den mest i tid.

Antalet ord per bit har ett tak efter bitens längd, så att modellen inte kan fastna i en upprepning på icke-tal som signaler och toner. Ord som kan vara felhörda markeras med skäl och döljs aldrig.

Gräns: taligenkänning gör fel, särskilt på brusigt mobilljud, dialekt och överlappande tal. Texten ska alltid kontrolleras mot ljudet.
LAGER 4HändelserAST · AudioSet

Plötsliga ljud. Kandidater hittas på två sätt: nivåtoppar där nivån stiger minst 20 dB på 20 ms och ljudet är bredbandigt (spektral planhet över 0,3, vilket skiljer en smäll från en ordstart), och plötsliga byten av klangfärg (spektralt flöde, högst 8 per minut). Varje kandidat klassas med Audio Spectrogram Transformer bland AudioSets 527 ljudklasser på ett fönster från 0,4 s före till 1,6 s efter.

Gräns: klassningen anger sannolikheter, inte fakta. "Skott" betyder att ljudet liknar skott i träningsdatan.
LAGER 5BakgrundAST · AudioSet

Ljudmiljön. Hela inspelningen klassas i fönster om 10 s med samma modell, så att trafik, musik, folkmassa, inomhus och utomhus syns längs tidslinjen.

Äkthet och intensitet

Tecken på klipp. Två kontroller. Den första letar efter total digital tystnad (minst 8 ms) mitt i ljud som annars har brus; en sådan lucka uppstår sällan naturligt. Den andra jämför bakgrundens spektrala form (24 logaritmiska band per 100 ms, de tystaste 30 % av rutorna) två sekunder före och efter varje punkt, med nivån borträknad; ett plötsligt byte som sticker ut mot filens eget mönster (robust z-värde minst 4 med median och MAD) markeras. Båda är indikationer, inte bevis: en verklig förändring i miljön ger samma tecken.

Intensitet. Under tal mäts nivå och skärpa per halvsekund och jämförs med filens eget tal (median och MAD), så att en lugn och en högljudd inspelning bedöms var för sig. Rop, skrik, gråt och skratt som AST hör höjer intensiteten där de hörs. Höga partier visas som intensitetstoppar.

Innehåll och samtalsanalyser UTAN AI

Nyckelfakta. Belopp, klockslag, dagar, platser, adresser, registreringsnummer och telefonnummer hittas med mönster i texten. Omnämnanden av vapen, narkotika, våld, pengar, polis och att undvika spårning hittas med ordlistor, bland annat samma gatuslang som Chatsweep använder. Tiden för ett ord uppskattas ur var i repliken det står.

Samtalet. Talarroller (taltid, ord, tempo, frågor, uppmaningar, initiativ), turtagning (vem som svarar vem och hur snabbt), överlapp och avbrott, långa pauser, tempo och röstläge, och eskalering räknas direkt ur talarlagret och transkriberingen. Inget av detta använder AI.

AI-delarna AI

SPRÅKMODELLLäser bara textenegen modell eller Claude

Sammanfattning, sökning på innebörd och analyserna motsägelser, kodord samt ämnen och vändpunkter görs av en språkmodell som läser transkriberingen med tider, talare och händelser. Ljudet skickas aldrig, bara texten. Allt sådant är märkt med AI-symbolen och beskrivs som en tolkning, inte bevis.

Vilken modell som används styrs av säkerhetsnivån: på nivå 1 (Slutet nät) den egna modellen, Gemma 4 på analysservern i den egna miljön; på nivå 0 (Öppet) Claude (Anthropic). På nivå 2 och 3 används ingen språkmodell. Rapporten anger vilken modell som gjorde vad.

Säkerhetsnivåer

Säkerhetsnivån väljs uppe till höger och avgör både vart data får gå och var analysen räknas. Siffran i skölden är nivåns symbol överallt i appen.

NivåDär ljudet analyserasLjudet lämnar datornAI (språkmodell)ÄrendenNätverk
0 · ÖppetAnalysservernTill egen serverClaude (Anthropic), bara textJaKrävs
1 · Slutet nätAnalysservernTill egen serverEgen modell, bara textJaKrävs
2 · LokaltWebbläsarenBara vid sparande i ärendeIngenJaBara för ärenden
3 · IsoleratWebbläsarenAldrigIngenNejKan stängas av

På nivå 3 sätter sidan en innehållspolicy som stoppar alla anslutningar när modellerna är hämtade (connect-src none); spärren hävs bara genom att sidan laddas om. Samma modeller och samma analyskod används i webbläsaren och på analysservern.

Modeller

Används förModell (exakt som den laddas)Ursprung

Modellerna körs med Transformers.js och ONNX Runtime, i webbläsaren eller på analysservern med samma filer och samma analyskod. Rapporter skapas som PDF i webbläsaren med pdfmake.

Källor

    Varje källa är kontrollerad mot förlagets eller arkivets egen post (ISCA Archive, PMLR, IEEE, arXiv). DOI anges där den är bekräftad. Källorna beskriver modellerna och metoderna; trösklarna, händelsedetekteringen, intensiteten och äkthetskontrollen är Soundsweeps egna.