LEAKPRO: Leakage Profiling and Risk Oversight for Machine Learning Models

Syfte och mål

Det primära målet är att skapa LEAKPRO, en plattform för att utvärdera risken för informationsläckage i maskininlärningsapplikationer och att identifiera/validera realistiska attackvektorer. LEAKPRO kommer utvecklas som open-source med fokus på skalbarhet och relevans. Attacker mot olika typer modellarkitekturer och datamodaliteter kommer att stödjas för att vara så relevant som möjligt för det svenska ekosystemet. LEAKPRO stödjer riskprofilering av dataläckage för olika typer av scenarion såsom black-box, white-box, federerad träning, och syntetisk data.

Förväntade effekter och resultat

LEAKPRO förväntas bistå det svenska ekosystemet med ett verktyg för att på ett ansvarsfullt sätt exponera maskinlärningsmodeller och syntetisk data gentemot externa parter. LEAKPRO kommer att fungera som en komponent i utvecklingskedjan för att iterera fram en modell som minimerar risken för dataläckage givet nuvarande state-of-the-art attacker. Vidare förväntas LEAKPRO bidra till politiska diskussioner som underlag för vilka de reella riskerna är gällande överlappet mellan sekretess och maskinlärningsmodeller.

Planerat upplägg och genomförande

LEAKPRO är uppdelat i sju arbetspaket. Det första paketet fokuserar på att etablera en arkitektur för plattformen. Arbetspaket 2-5 sker parallellt där attacker implementeras och testas gentemot 1) white/black-box modeller, 2) federerad inlärning, 3) syntetisk data. Arbetspaket 5 syftar till att implementera attackerna i LEAKPRO tillsammans med tester och dokumentation. Arbetspaket 6 handlar om att testa LEAKPRO internt hos projektpartners och att bana väg för inkludering i RISE Cyberrange. Arbetspaket 7 handlar om kunskapsdelning och administration.