Аутоматска процена кратких одговора коришћењем латентне семантичке анализе

Abstract

Употреба технологије у настави представља изазов како за предаваче, тако и за ученике. У овом раду, представили смо систем за аутоматску процену тачности одговора коришћењем Латентне семантичке анализе (LSA) – методe који почива на претпоставци да ће се речи сличног значења јавити у сличним контекстима. Систем ће бити коришћен у оквиру дигиталних лексичких картица за усвајање вокабулара другог језика, које ће пратити CLIL метод наставе. Резултати приказани у овом раду указују на то да LSA даје боље резултате на дужем тексту него на краћем који има форму дефиниције. Одговори су класификовани у две и у више категорија коришћењем KNN алгоритма. Процењена прецизност модела за две категорије је P=0,73, одзив R=1,00, а скор F1=0,85, док код више категорија је добијено P=0,50, R=0,47, а  мера F1=0,46. Резултате је потребно узети са одређеном резервом због малог скупа над којим је вршено обучавање и евалуација.