Lithuanian (lt) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeltwiki sample
original * 0000 – vytautas didysis ostrove sudarė sutartį (astravo sutartis) su jogaila, pagal kurią gavo trakų kunigaikštystę ir tapo faktišku lietuvos valdov
* 0000 – aleksandras išrinktas lietuvos didžiuoju kunigaikščiu; * 0000 – reichstage pasiūlyta vokietijos kancleriui sudaryti nepriklausomą valstybę (d
ekonominėj viršūnėje, iv a. pr. m. e., senovės graikija buvo pažangiausia ekonomika pasaulyje. kai kurie ekonomikos istorikai teigia, kad ji buvo paža
1000 ▁* ▁0000 ▁– ▁v yt au tas ▁did ys is ▁ os tr ov e ▁sudar ė ▁sut art į ▁( as tra vo ▁su tar tis ) ▁su ▁j og ail a , ▁pagal ▁kuri ą ▁g avo ▁t ra kų ▁kunig aikšt yst ę ▁ir ▁tapo ▁f ak ti šk u ▁lietuvos ▁vald ov
▁* ▁0000 ▁– ▁al eks and ras ▁iš r ink tas ▁lietuvos ▁didži uoj u ▁kunig aik š či u ; ▁* ▁0000 ▁– ▁r ei ch st ag e ▁pasi ū l yta ▁voki et ijos ▁k anc l eri ui ▁sudar yti ▁nep ri klaus om ą ▁valstyb ę ▁( d
▁ek on om in ėj ▁virš ūn ėje , ▁i v ▁a . ▁pr . ▁m . ▁e ., ▁sen ov ės ▁gr aik ija ▁buvo ▁p až an gi ausi a ▁ek on om ik a ▁pasaul yje . ▁kai ▁kuri e ▁ek on om ikos ▁is tori k ai ▁t ei gi a , ▁kad ▁ji ▁buvo ▁p až a
3000 ▁* ▁0000 ▁– ▁vytautas ▁did ysis ▁os tr ove ▁sudarė ▁sut artį ▁( as tra vo ▁sutar tis ) ▁su ▁jog ail a , ▁pagal ▁kurią ▁gavo ▁tra kų ▁kunigaikštyst ę ▁ir ▁tapo ▁fak ti šk u ▁lietuvos ▁vald ov
▁* ▁0000 ▁– ▁aleksand ras ▁išrinktas ▁lietuvos ▁didži uoju ▁kunigaik šči u ; ▁* ▁0000 ▁– ▁rei ch st age ▁pasi ūl yta ▁vokietijos ▁k anc l eri ui ▁sudar yti ▁nepriklausom ą ▁valstyb ę ▁( d
▁ekonom inėj ▁virš ūn ėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graik ija ▁buvo ▁paž angi ausia ▁ekonom ika ▁pasaulyje . ▁kai ▁kurie ▁ekonom ikos ▁istori kai ▁tei gia , ▁kad ▁ji ▁buvo ▁paž a
5000 ▁* ▁0000 ▁– ▁vytautas ▁didysis ▁os tr ove ▁sudarė ▁sutartį ▁( as tra vo ▁sutar tis ) ▁su ▁jog ail a , ▁pagal ▁kurią ▁gavo ▁trakų ▁kunigaikštyst ę ▁ir ▁tapo ▁fak ti šk u ▁lietuvos ▁vald ov
▁* ▁0000 ▁– ▁aleksandras ▁išrinktas ▁lietuvos ▁didži uoju ▁kunigaik šči u ; ▁* ▁0000 ▁– ▁rei ch st age ▁pasi ūl yta ▁vokietijos ▁k anc l eri ui ▁sudar yti ▁nepriklausom ą ▁valstyb ę ▁( d
▁ekonom inėj ▁viršūn ėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graik ija ▁buvo ▁paž angi ausia ▁ekonom ika ▁pasaulyje . ▁kai ▁kurie ▁ekonomikos ▁istori kai ▁tei gia , ▁kad ▁ji ▁buvo ▁paž a
10000 ▁* ▁0000 ▁– ▁vytautas ▁didysis ▁ostr ove ▁sudarė ▁sutartį ▁( as tra vo ▁sutartis ) ▁su ▁jogail a , ▁pagal ▁kurią ▁gavo ▁trakų ▁kunigaikštyst ę ▁ir ▁tapo ▁fak tišk u ▁lietuvos ▁valdov
▁* ▁0000 ▁– ▁aleksandras ▁išrinktas ▁lietuvos ▁didži uoju ▁kunigaikšči u ; ▁* ▁0000 ▁– ▁rei ch st age ▁pasiūl yta ▁vokietijos ▁kanc l eriui ▁sudaryti ▁nepriklausom ą ▁valstybę ▁( d
▁ekonom inėj ▁viršūn ėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graik ija ▁buvo ▁paž angi ausia ▁ekonom ika ▁pasaulyje . ▁kai ▁kurie ▁ekonomikos ▁istori kai ▁teigia , ▁kad ▁ji ▁buvo ▁paž a
25000 ▁* ▁0000 ▁– ▁vytautas ▁didysis ▁ostr ove ▁sudarė ▁sutartį ▁( as tra vo ▁sutartis ) ▁su ▁jogaila , ▁pagal ▁kurią ▁gavo ▁trakų ▁kunigaikštystę ▁ir ▁tapo ▁fak tišk u ▁lietuvos ▁valdov
▁* ▁0000 ▁– ▁aleksandras ▁išrinktas ▁lietuvos ▁didžiuoju ▁kunigaikščiu ; ▁* ▁0000 ▁– ▁reich st age ▁pasiūlyta ▁vokietijos ▁kancl eriui ▁sudaryti ▁nepriklausomą ▁valstybę ▁( d
▁ekonom inėj ▁viršūnėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graikija ▁buvo ▁paž angi ausia ▁ekonomika ▁pasaulyje . ▁kai ▁kurie ▁ekonomikos ▁istorikai ▁teigia , ▁kad ▁ji ▁buvo ▁paž a
50000 ▁* ▁0000 ▁– ▁vytautas ▁didysis ▁ostr ove ▁sudarė ▁sutartį ▁( astra vo ▁sutartis ) ▁su ▁jogaila , ▁pagal ▁kurią ▁gavo ▁trakų ▁kunigaikštystę ▁ir ▁tapo ▁fak tišku ▁lietuvos ▁valdov
▁* ▁0000 ▁– ▁aleksandras ▁išrinktas ▁lietuvos ▁didžiuoju ▁kunigaikščiu ; ▁* ▁0000 ▁– ▁reichst age ▁pasiūlyta ▁vokietijos ▁kancl eriui ▁sudaryti ▁nepriklausomą ▁valstybę ▁( d
▁ekonom inėj ▁viršūnėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graikija ▁buvo ▁pažangi ausia ▁ekonomika ▁pasaulyje . ▁kai ▁kurie ▁ekonomikos ▁istorikai ▁teigia , ▁kad ▁ji ▁buvo ▁paž a
100000 ▁* ▁0000 ▁– ▁vytautas ▁didysis ▁ostr ove ▁sudarė ▁sutartį ▁( astra vo ▁sutartis ) ▁su ▁jogaila , ▁pagal ▁kurią ▁gavo ▁trakų ▁kunigaikštystę ▁ir ▁tapo ▁fak tišku ▁lietuvos ▁valdov
▁* ▁0000 ▁– ▁aleksandras ▁išrinktas ▁lietuvos ▁didžiuoju ▁kunigaikščiu ; ▁* ▁0000 ▁– ▁reichst age ▁pasiūlyta ▁vokietijos ▁kancleriui ▁sudaryti ▁nepriklausomą ▁valstybę ▁( d
▁ekonom inėj ▁viršūnėje , ▁iv ▁a . ▁pr . ▁m . ▁e ., ▁senovės ▁graikija ▁buvo ▁pažangi ausia ▁ekonomika ▁pasaulyje . ▁kai ▁kurie ▁ekonomikos ▁istorikai ▁teigia , ▁kad ▁ji ▁buvo ▁paž a