Friends AutoIarm
| Diarienummer | |
| Koordinator | Stiftelsen Friends - Elever Mot Mobbning - Stiftelsen Friends |
| Bidrag från Vinnova | 600 000 kronor |
| Projektets löptid | november 2022 - november 2023 |
| Status | Avslutat |
| Utlysning | Lärande och mötesplatser |
Viktiga resultat som projektet gav
Projektet syftade till att använda AI för att analysera enkäter från skolelever i Sverige och upptäcka tidiga tecken på mobbing. Data insamlades från 30 000 enkäter, med 600 annoterade svar i kategorier av utsatt/icke utsatt. Modellens mål var 85% träffsäkerhet, 80% precision och recall, och ett F1-värde på 0.82. Modellen designades för att vara överkänslig och hellre ge falska positiva. Färdiga språkmodeller som ChatGPT och Llama2 jämfördes med projektets AI för att mäta effektivitet.
Långsiktiga effekter som förväntas
Vi använde vårt egenutvecklade verktyg för skolenkäter och utvecklade en AI-modell för att upptäcka mobbning och allvarligare utsatthet. En LLM, vid jämförelse, presterade bättre än den egenbyggda AI-modellen. Vår AI kunde bara skilja på ´mobbning´ eller ´ingen mobbning´, medan LLM differentierade flera kategorier. Detta resultat, sett till våra databegränsningar, var förväntat. En LLM kan överträffa i precision. Däremot med tillräckliga data, har den egenbyggda AI-modellen potential.
Upplägg och genomförande
Projektet använde djupinlärning och LSTM för sentimentanalys av data från Friends och apprecensioner. Databearbetning inkluderade textrensning och skapandet av numeriska representationer. Data tränades i olika omgångar, och efter varje träningsomgång utvärderades prestationsparametrar. Justeringar gjordes för att förbättra modellens prestanda. Färdigtränade språkmodeller testades och påvisade likvärdig prestanda på den binära problemställningen. Samarbetet med Friends säkerställde kvaliteten på textanalysen.