Нови jезички модели за српски jезик

Abstract

У раду ће укратко бити приказан историјат развоја језичких модела за српски језик (заснованих на трансформерској архитектури) и биће представљено неколико нових модела за генерисање и векторизацију текста, обучених на ресурсима Друштва за језичке ресурсе и технологије. Десет одабраних модела за векторијзацију српског језика (укључујући два нова) ће бити упоређена на четири задатка обраде природног језика, а потом ће бити речи о томе који модел обавља најбоље који задатак, како величина модела и величина скупа за обучавање утичу на перформансе и шта је потребно за обучавање најбољих модела за српски језик.