SuperLim 2.0
| Diarienummer | |
| Koordinator | Lindholmen Science Park AB - AI Sweden |
| Bidrag från Vinnova | 3 005 000 kronor |
| Projektets löptid | december 2021 - februari 2023 |
| Status | Avslutat |
Viktiga resultat som projektet gav
Målet med det projektet var att bygga vidare på SuperLim genom att bidra både med träningsdata för respektive test, en referensimplementation med jämförelseresultat för ett antal standardmodeller, samt även utveckla och tillhandahålla en standardiserad webbaserad testmiljö för jämförelse mellan modeller och publicering av resultat. Alla dessa mål är uppfyllda och har resulterat i ett komplett utvärderingsramverk för svenska språkmodeller, vilket kommer bidra väsentligt till en fortsatt stark utveckling av svensk språkteknologi, och framförallt svenska språkmodeller.
Långsiktiga effekter som förväntas
SuperLim kommer bidra till utvecklingen av svenska språkmodeller genom att tillhandahålla ett standardiserat ramverk för att jämföra olika modeller med avseende på ett antal olika parametrar och testtyper. Vi förväntar oss att SuperLim kommer ge användare inom både offentlig och privat sektor samt akademi en bättre möjlighet att göra mer informerade och korrekta bedömningar för urvalet av språkmodeller för deras konkreta behov. Leaderboarden kommer dessutom utgöra en naturlig samlingspunkt för publicerandet av nya svenska modeller, vilket är något som saknats inom svensk NLP.
Upplägg och genomförande
SuperLim har tagit sin utgångspunkt i engelska förlagor som GLUE och SuperGLUE, men har vidareutvecklat tester och leaderboard efter svenska behov. Detta upplägget har accelererat projektarbetet och möjliggjort att projektet har kunnat leverera ett utförligt testramverk. Vi har lagt mer vikt på transparens och reproducerbarhet än de engelska förlagorna, och testmängderna kan avändas för såväl ordbaserade modeller som både encoders och decoders. De sorteringsfunktioner som vi lagt in i leaderboarden hjälper till att göra urvalet enklare och öka översikten.