| En/De/Fr/It- (first 9 out of 175 sentences)
[pdf] |
Srpski - (prvih 9 od 175 rečenica)
[pdf]
|
| n1 | ABSTRACT: The paper will briefly present the development history of transformer-based language models for the Serbian language. | n1 | SAŽETAK: U radu će ukratko biti prikazan istorijat razvoja jezičkih modela za srpski jezik koji su zasnovani na transformerskoj arhitekturi. |
| n2 | Several new models for text generation and vectorization, trained on the resources of the Society for Language Resources and Technologies, will also be presented. | n2 | Biće predstavljeno i nekoliko novih modela za generisanje i vektorizaciju teksta, obučenih na resursima Društva za jezičke resurse i tehnologije. |
| n3 | Ten selected vectorization models for Serbian, including two new ones, will be compared on four natural language processing tasks. | n3 | Deset odabranih modela za vektorizaciju srpskog jezika, među kojima su i dva nova modela, biće upoređena na četiri zadatka obrade prirodnog jezika. |
| n4 | The paper will analyze which models are the best for each selected task, how their size and the size of their training sets affects the performance on those tasks, and what is the optimal setting to train the best language models for the Serbian language. | n4 | Analiziraćemo koji su modeli najbolji za izabrane zadatke, kako veličina modela i veličina skupa za obučavanje utiču na njihove performanse na tim zadacima i šta je potrebno za obučavanje najboljih modela za srpski jezik. |
| n5 | KEYWORDS: language models, Serbian language, vectorization, natural language processing. | n5 | KLjUČNE REČI: jezički modeli, srpski jezik, vektorizacija, obrada prirodnog jezika. |
| n6 | The beginning of the twenty-first century, brought a sharp increase in the amount of available textual data, followed by a sharp increase in computing power, triggering a wave of research based on the idea of deep learning (LeCun, Bengio, and Hinton 2015). | n6 | Početkom dvadeset i prvog veka, došlo je najpre do naglog porasta količine dostupnih tekstualnih podataka, a potom i do naglog rasta računarske moći, što je pokrenulo talas istraživanja zasnovanih na ideji dubokog učenja (deep learning) (LeCun, Bengio, and Hinton 2015). |
| n7 | In the case of natural language processing, the research culminated in the appearance of the transformer architecture (Vaswani et al. 2017), based on the use of encoders, responsible for text analysis, and decoders, responsible for text synthesis. | n7 | U slučaju obrade prirodnih jezika, istraživanja kulminiraju pojavom arhitekture transformera (Vaswani et al. 2017), zasnovanoj na upotrebi enkodera, čija je glavna namena analiza teksta, i dekodera, koji su zaduženi za sintezu teksta. |
| n8 | The first extremely popular model of this type was BERT1 (Devlin et al. 2018), based exclusively on the transformer encoder (encoder-only model). | n8 | Prvi izrazito popularan model ovog tipa bio je BERT1 (Devlin et al. 2018), zasnovan isključivo na transformerskom enkoderu. |
| n9 | This model had made a major breakthrough on multiple natural language processing tasks, primarily the ones based on vectorization of text (word embedding). | n9 | Ovaj model napravio je veliki pomak u obradi prirodnih jezika, pre svega na zadacima zasnovanim na vektorizaciji teksta. |