| Automatic Assessment of Short Answers Using Latent Semantic Analysis | Automatska procena kratkih odgovora korišćenjem latentne semantičke analize |
| INFOtheca, Scientific paper [pdf] | INFOteka, Naučni rad [pdf] [WikiData] |
| ID: 1.2023.1.4 Number: 23 Volume: 1 Year: 2023 UDC: 81’322.4 [tmx] [bow] |
Teodora Mihajlov
Institution: University of Belgrade, Belgrade, Serbia
Mail: teodoramihajlov@gmail.com | Teodora Mihajlov
Institucija: Univerzitet u Beogradu
E-pošta: teodoramihajlov@gmail.com |
Abstract
Implementing technology in a modern-day classroom is an ongoing challenge. In this paper, we created a system for an automatic assessment of student answers using Latent Semantic Analysis (LSA) – a method with an underlying assumption that words with similar meanings will appear in the same contexts. The system will be used within digital lexical flashcards for L2 vocabulary acquisition in a CLIL classroom. Results presented in this paper indicate that while LSA does well in creating semantic spaces for longer texts, it fell somewhat short of detecting topics in answers and word definitions. The answers were classified using KNN, for both binary and multinomial classification. The results of KNN classification are as follows: precision P=0.73, recall R=1.00, F1=0.85 for binary classification, and P=0.50, R=0.47, F1=0.46 score for the multinomial classifier. The results are to be taken with a grain of salt, due to a small test and training dataset. | Apstrakt
Upotreba tehnologije u nastavi predstavlja izazov kako za predavače, tako i za učenike. U ovom radu, predstavili smo sistem za automatsku procenu tačnosti odgovora korišćenjem Latentne semantičke analize (LSA) – metode koji počiva na pretpostavci da će se reči sličnog značenja javiti u sličnim kontekstima. Sistem će biti korišćen u okviru digitalnih leksičkih kartica za usvajanje vokabulara drugog jezika, koje će pratiti CLIL metod nastave. Rezultati prikazani u ovom radu ukazuju na to da LSA daje bolje rezultate na dužem tekstu nego na kraćem koji ima formu definicije. Odgovori su klasifikovani u dve i u više kategorija korišćenjem KNN algoritma. Procenjena preciznost modela za dve kategorije je P=0,73, odziv R=1,00, a skor F1=0,85, dok kod više kategorija je dobijeno P=0,50, R=0,47, a mera F1=0,46. Rezultate je potrebno uzeti sa određenom rezervom zbog malog skupa nad kojim je vršeno obučavanje i evaluacija. |
| Keywords: lsa, clil, l2 vocabulary acquisition, cosine similarity, knn | Ključne reči: lsa, clil, usvajanje vokabulara drugog jezika, kosinusna sličnost, knn |
| Pages: 78-106 | Strane: 75-104 |
Publishing place:
Publisher:
Publishing year: | Mesto izdanja:
Izdavač:
Godina izdanja: |
| Translator: | Prevodilac: |