Serbo-Croatian (sh) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | shwiki sample |
|---|---|
| original | zasljepljen prividnim uspjehom u ratu protiv sasa i totalnom pobjedom u italiji, franački kralj je počeo vjerovati u vlastitu nepobjedivost tako da ka 000. godine aleksandar je otpustio deset hiljada veterana u opisu. za vođu puta natrag u makedoniju odredio im je kratera koji je trebalo da zameni an zagrebačka katedrala kaptol je povijesno naselje u zagrebu formirano oko zagrebačke katedrale. danas je središte crkvenih institucija (zagrebačka nadb |
| 1000 | ▁za s lje p ljen ▁pri vi d nim ▁us p je ho m ▁u ▁ra tu ▁protiv ▁sa sa ▁i ▁to ta l nom ▁po b je dom ▁u ▁i ta li ji , ▁f ra na čki ▁kra lj ▁je ▁poče o ▁vje ro va ti ▁u ▁vla sti tu ▁ne po b je di vo st ▁tako ▁da ▁ka ▁000. ▁godine ▁a le k sa nda r ▁je ▁ot pu sti o ▁de se t ▁hi lja da ▁ve te ra na ▁u ▁op is u . ▁za ▁vo đu ▁pu ta ▁na tra g ▁u ▁ma ke do ni ju ▁od re dio ▁i m ▁je ▁kra te ra ▁koji ▁je ▁tre ba lo ▁da ▁za me ni ▁an ▁za gre ba čka ▁kate d ra la ▁ka p to l ▁je ▁po vije sno ▁naselje ▁u ▁za gre bu ▁for mi ra no ▁oko ▁za gre ba čke ▁kate d ra le . ▁dana s ▁je ▁sredi šte ▁crk ve nih ▁in sti tu cija ▁( za gre ba čka ▁nad b |
| 3000 | ▁za s lje p ljen ▁pri vid nim ▁uspje ho m ▁u ▁ratu ▁protiv ▁sa sa ▁i ▁to ta l nom ▁pobje dom ▁u ▁ita liji , ▁f rana čki ▁kralj ▁je ▁počeo ▁vje ro vati ▁u ▁vla stitu ▁nepo bje di vo st ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksa ndar ▁je ▁ot pu stio ▁de set ▁hiljada ▁ve te rana ▁u ▁opis u . ▁za ▁vo đu ▁puta ▁na tra g ▁u ▁makedo niju ▁odre dio ▁im ▁je ▁kra tera ▁koji ▁je ▁treba lo ▁da ▁za meni ▁an ▁zagreba čka ▁kate dra la ▁ka p to l ▁je ▁povije sno ▁naselje ▁u ▁zagrebu ▁formira no ▁oko ▁zagreba čke ▁kate dra le . ▁danas ▁je ▁sredi šte ▁crkve nih ▁institu cija ▁( za gre ba čka ▁nad b |
| 5000 | ▁za s lje p ljen ▁pri vid nim ▁uspje hom ▁u ▁ratu ▁protiv ▁sa sa ▁i ▁to tal nom ▁pobje dom ▁u ▁italiji , ▁f rana čki ▁kralj ▁je ▁počeo ▁vje ro vati ▁u ▁vla stitu ▁nepo bje di vo st ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksandar ▁je ▁ot pu stio ▁deset ▁hiljada ▁ve te rana ▁u ▁opis u . ▁za ▁vo đu ▁puta ▁na tra g ▁u ▁makedo niju ▁odre dio ▁im ▁je ▁kra tera ▁koji ▁je ▁treba lo ▁da ▁za meni ▁an ▁zagreba čka ▁kate dra la ▁ka pto l ▁je ▁povije sno ▁naselje ▁u ▁zagrebu ▁formira no ▁oko ▁zagreba čke ▁kate dra le . ▁danas ▁je ▁središte ▁crkve nih ▁institu cija ▁( za gre ba čka ▁nad b |
| 10000 | ▁za slje p ljen ▁pri vid nim ▁uspje hom ▁u ▁ratu ▁protiv ▁sa sa ▁i ▁to tal nom ▁pobje dom ▁u ▁italiji , ▁frana čki ▁kralj ▁je ▁počeo ▁vjero vati ▁u ▁vlastitu ▁nepo bje di vo st ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksandar ▁je ▁ot pu stio ▁deset ▁hiljada ▁ve te rana ▁u ▁opis u . ▁za ▁vo đu ▁puta ▁natrag ▁u ▁makedo niju ▁odre dio ▁im ▁je ▁kra tera ▁koji ▁je ▁trebalo ▁da ▁za meni ▁an ▁zagreba čka ▁katedrala ▁ka pto l ▁je ▁povije sno ▁naselje ▁u ▁zagrebu ▁formira no ▁oko ▁zagreba čke ▁katedra le . ▁danas ▁je ▁središte ▁crkve nih ▁institucija ▁( zagre ba čka ▁nad b |
| 25000 | ▁za slje p ljen ▁pri vid nim ▁uspjehom ▁u ▁ratu ▁protiv ▁sa sa ▁i ▁to tal nom ▁pobjedom ▁u ▁italiji , ▁frana čki ▁kralj ▁je ▁počeo ▁vjero vati ▁u ▁vlastitu ▁nepo bje di vost ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksandar ▁je ▁otpu stio ▁deset ▁hiljada ▁ve terana ▁u ▁opisu . ▁za ▁vođu ▁puta ▁natrag ▁u ▁makedoniju ▁odredio ▁im ▁je ▁kra tera ▁koji ▁je ▁trebalo ▁da ▁zameni ▁an ▁zagrebačka ▁katedrala ▁kapto l ▁je ▁povijesno ▁naselje ▁u ▁zagrebu ▁formira no ▁oko ▁zagrebačke ▁katedrale . ▁danas ▁je ▁središte ▁crkvenih ▁institucija ▁( zagre ba čka ▁nad b |
| 50000 | ▁za slje pljen ▁privid nim ▁uspjehom ▁u ▁ratu ▁protiv ▁sasa ▁i ▁total nom ▁pobjedom ▁u ▁italiji , ▁franački ▁kralj ▁je ▁počeo ▁vjerovati ▁u ▁vlastitu ▁nepo bje di vost ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksandar ▁je ▁otpu stio ▁deset ▁hiljada ▁veterana ▁u ▁opisu . ▁za ▁vođu ▁puta ▁natrag ▁u ▁makedoniju ▁odredio ▁im ▁je ▁kratera ▁koji ▁je ▁trebalo ▁da ▁zameni ▁an ▁zagrebačka ▁katedrala ▁kapto l ▁je ▁povijesno ▁naselje ▁u ▁zagrebu ▁formirano ▁oko ▁zagrebačke ▁katedrale . ▁danas ▁je ▁središte ▁crkvenih ▁institucija ▁( zagreba čka ▁nad b |
| 100000 | ▁za slje pljen ▁privid nim ▁uspjehom ▁u ▁ratu ▁protiv ▁sasa ▁i ▁total nom ▁pobjedom ▁u ▁italiji , ▁franački ▁kralj ▁je ▁počeo ▁vjerovati ▁u ▁vlastitu ▁nepobje di vost ▁tako ▁da ▁ka ▁000. ▁godine ▁aleksandar ▁je ▁otpustio ▁deset ▁hiljada ▁veterana ▁u ▁opisu . ▁za ▁vođu ▁puta ▁natrag ▁u ▁makedoniju ▁odredio ▁im ▁je ▁kratera ▁koji ▁je ▁trebalo ▁da ▁zameni ▁an ▁zagrebačka ▁katedrala ▁kaptol ▁je ▁povijesno ▁naselje ▁u ▁zagrebu ▁formirano ▁oko ▁zagrebačke ▁katedrale . ▁danas ▁je ▁središte ▁crkvenih ▁institucija ▁( zagreba čka ▁nad b |