Slovenian (sl) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | slwiki sample |
|---|---|
| original | * 00. december - na orkneyu huje zboli in umre norveški kralj hakon iv.. nasledi ga sin in sokralj magnus vi. 0000 ↔ * 00. november - bajbars angažira vse razpoložljive sile za spopad z mongoli, vendar se ti umaknejo nazaj čez evfrat. ** nubijski krščanski kralj iz k obosni žarek - obrat časa - obratni kvadratni zakon - obsevan - obsevanje - obstreljevati - obzornik - obzornik za matematiko in fiziko - ochsenfeld, |
| 1000 | ▁* ▁00. ▁de ce mber ▁- ▁na ▁or k ne y u ▁hu je ▁z bo li ▁in ▁u m re ▁no r ve ški ▁kra lj ▁ha kon ▁i v . . ▁nas ledi ▁ga ▁si n ▁in ▁so kra lj ▁ma g nu s ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁nove mber ▁- ▁ba j b ar s ▁an ga ži ra ▁vse ▁raz po lo ž lji ve ▁si le ▁za ▁spo pad ▁z ▁mo n go li , ▁vendar ▁se ▁ti ▁u ma k ne jo ▁na za j ▁če z ▁ev f ra t . ▁** ▁n u bi jski ▁kr šč an ski ▁kra lj ▁iz ▁k ▁ob o sni ▁ ža re k ▁- ▁ob ra t ▁ča sa ▁- ▁ob ra tni ▁k va d ra tni ▁za kon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje va ti ▁- ▁ob z or nik ▁- ▁ob z or nik ▁za ▁ma te mati ko ▁in ▁fi zi ko ▁- ▁o ch s en fe l d , |
| 3000 | ▁* ▁00. ▁december ▁- ▁na ▁or k ne y u ▁hu je ▁z bo li ▁in ▁u mre ▁nor ve ški ▁kralj ▁ha kon ▁iv .. ▁nas ledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nu s ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁ba j bar s ▁an ga ži ra ▁vse ▁razpo lož lji ve ▁si le ▁za ▁spo pad ▁z ▁mon go li , ▁vendar ▁se ▁ti ▁u mak ne jo ▁naza j ▁čez ▁ev f ra t . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k ▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kva dra tni ▁za kon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁ob zor nik ▁- ▁ob zor nik ▁za ▁matemati ko ▁in ▁fizi ko ▁- ▁o ch sen fe ld , |
| 5000 | ▁* ▁00. ▁december ▁- ▁na ▁or k ne y u ▁hu je ▁zbo li ▁in ▁u mre ▁norve ški ▁kralj ▁ha kon ▁iv .. ▁nas ledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nus ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁ba j bar s ▁an ga ži ra ▁vse ▁razpo lož ljive ▁sile ▁za ▁spo pad ▁z ▁mongo li , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k ▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kvadra tni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁ob zor nik ▁- ▁ob zor nik ▁za ▁matemati ko ▁in ▁fizi ko ▁- ▁o ch sen fe ld , |
| 10000 | ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁hu je ▁zbo li ▁in ▁umre ▁norve ški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nus ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁baj bar s ▁an ga ži ra ▁vse ▁razpo lož ljive ▁sile ▁za ▁spo pad ▁z ▁mongo li , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k ▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kvadra tni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matemati ko ▁in ▁fiziko ▁- ▁o ch sen feld , |
| 25000 | ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁hu je ▁zbo li ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kralj ▁magnus ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁baj bar s ▁angaži ra ▁vse ▁razpolož ljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščanski ▁kralj ▁iz ▁k ▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obra tni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁obstre ljevati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o ch sen feld , |
| 50000 | ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁huje ▁zboli ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kralj ▁magnus ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁baj bars ▁angaži ra ▁vse ▁razpolož ljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umaknejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nubi jski ▁krščanski ▁kralj ▁iz ▁k ▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obratni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁obstre ljevati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o chsen feld , |
| 100000 | ▁* ▁00. ▁december ▁- ▁na ▁orkney u ▁huje ▁zboli ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁sokralj ▁magnus ▁vi . ▁0000 ▁ ↔ ▁* ▁00. ▁november ▁- ▁bajbars ▁angaži ra ▁vse ▁razpoložljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umaknejo ▁nazaj ▁čez ▁evfrat . ▁** ▁nubi jski ▁krščanski ▁kralj ▁iz ▁k ▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obratni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obsevanje ▁- ▁obstreljevati ▁- ▁obzornik ▁- ▁obzornik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o chsen feld , |