RegTek: Metoder för Konsekvensutredningar för Banbrytande Teknik

Syfte och mål

60 % av svenska konsekvensutvärderingar är idag otillräckliga enligt OECD. RegTek-projektet syftar till att effektivisera skapandet av regelverk genom en pilotstudie som utvärderar träffsäkerheten och användbarheten av en språkmodell för snabbare konsekvensutvärderingar. Ett utvärderat verktyg kan öka förtroendet för och användningen av språkmodeller hos regelgivande organ, samtidigt som vi säkerställer objektivitet och efterlevnad av EU standarder för AI i enlighet med AI Act.

Förväntade effekter och resultat

Resultat från RegTek-projektet kompletterar och förstärker befintliga initiativ för konsekvensutredningar av banbrytande teknik hos myndigheter genom ESV uppdrag för metodutveckling och stöd. Med detta projekt kan RISE börja bygga en förmåga för AI-testning enligt EU AI Act där metrologi nämns för kvalitetssäkring och efterlevnad av lagen.

Planerat upplägg och genomförande

Målet med RegTek-projektet är att genomföra en pilotstudie för att utvärdera träffsäkerheten och användbarheten av en RAG-baserad språkmodell för konsekvensutredningar för AI-regelverk, vilket kan leda till bredare acceptans och tillit till språkmodeller samt mer utförliga och rättvisa regleringar. I arbetet ingår att utforska hur metrologi, mer specifikt, Rasch mätmetod kan användas för att utvärdera/mäta AI-språkmodellers förmågor och prestanda såsom träffsäkerhet och precision.