BPEmb: mrj

Western Mari (mrj) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
25000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Western Mari subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	mrjwiki sample
original	''ploceus insignis'' — кӹрӓн калпакан кошыгек ''ploceus angolensis'' — ангола кошыгек ** ''ploceus sanctaethomae'' — actinopterygii группыш пырышы луан кол (''caranx crysos'') sarcopterygii группыш пырышы луан кол (''latimeria chalumnae'') эльбистан (турокла elbistan ) — турцин, йыдвел кахраманмараш илӹн районжы (''илчежӹ''). 0000-шӹ ин тӹштӹ 000.000 (пӱэргӹ: 00.000; ӹдӹрӓмӓш: 00.000)
1000	▁ ▁'' p l oc e us ▁in s ig n is '' ▁— ▁к ӹр ӓн ▁к ал п ак ан ▁ко шы г ек ▁ ▁'' p l oc e us ▁ ang ol ensis '' ▁— ▁ анг ола ▁ко шы г ек ▁** ▁'' p l oc e us ▁s an c ta e th om ae '' ▁— ▁ ac t in op ter yg ii ▁группыш ▁пырышы ▁л у ан ▁кол ▁('' c ar an x ▁c rys os '') ▁s ar c op ter yg ii ▁группыш ▁пырышы ▁л у ан ▁кол ▁('' la t im eria ▁ch al um n ae '') ▁э ль би ст ан ▁( турокла ▁ el b ist an ▁) ▁— ▁турцин , ▁йыдвел ▁к ах ра ман мар аш ▁илӹн ▁районжы ▁('' илчежӹ ''). ▁0000- шӹ ▁ин ▁тӹштӹ ▁000.000 ▁( пӱэргӹ : ▁00.000; ▁ӹдӹрӓмӓш : ▁00.000)
3000	▁ ▁'' ploceus ▁in s ig nis '' ▁— ▁кӹрӓн ▁калпакан ▁кошыгек ▁ ▁'' ploceus ▁ang ol ensis '' ▁— ▁анг ола ▁кошыгек ▁** ▁'' ploceus ▁s anc ta e th om ae '' ▁— ▁ac t in opter yg ii ▁группыш ▁пырышы ▁лу ан ▁кол ▁('' car an x ▁c rys os '') ▁s arc opter yg ii ▁группыш ▁пырышы ▁лу ан ▁кол ▁('' lat im eria ▁ch alum n ae '') ▁э ль би стан ▁( турокла ▁el b ist an ▁) ▁— ▁турцин , ▁йыдвел ▁к ах ра ман мар аш ▁илӹн ▁районжы ▁('' илчежӹ ''). ▁0000- шӹ ▁ин ▁тӹштӹ ▁000.000 ▁( пӱэргӹ : ▁00.000; ▁ӹдӹрӓмӓш : ▁00.000)
5000	▁ ▁'' ploceus ▁ins ig nis '' ▁— ▁кӹрӓн ▁калпакан ▁кошыгек ▁ ▁'' ploceus ▁ang ol ensis '' ▁— ▁ангола ▁кошыгек ▁** ▁'' ploceus ▁s anc tae th om ae '' ▁— ▁ac t in opter yg ii ▁группыш ▁пырышы ▁лу ан ▁кол ▁('' car an x ▁c rys os '') ▁s arc opter yg ii ▁группыш ▁пырышы ▁лу ан ▁кол ▁('' lat im eria ▁ch alum n ae '') ▁э ль би стан ▁( турокла ▁el b ist an ▁) ▁— ▁турцин , ▁йыдвел ▁к ах ра ман мар аш ▁илӹн ▁районжы ▁('' илчежӹ ''). ▁0000- шӹ ▁ин ▁тӹштӹ ▁000.000 ▁( пӱэргӹ : ▁00.000; ▁ӹдӹрӓмӓш : ▁00.000)
10000	▁ ▁'' ploceus ▁ins ig nis '' ▁— ▁кӹрӓн ▁калпакан ▁кошыгек ▁ ▁'' ploceus ▁ang olensis '' ▁— ▁ангола ▁кошыгек ▁** ▁'' ploceus ▁sanc tae th om ae '' ▁— ▁ac tin opteryg ii ▁группыш ▁пырышы ▁луан ▁кол ▁('' car an x ▁c rys os '') ▁s arc opteryg ii ▁группыш ▁пырышы ▁луан ▁кол ▁('' lat im eria ▁ch alum n ae '') ▁эль би стан ▁( турокла ▁el b ist an ▁) ▁— ▁турцин , ▁йыдвел ▁ках ра ман мар аш ▁илӹн ▁районжы ▁('' илчежӹ ''). ▁0000- шӹ ▁ин ▁тӹштӹ ▁000.000 ▁( пӱэргӹ : ▁00.000; ▁ӹдӹрӓмӓш : ▁00.000)
25000	▁ ▁'' ploceus ▁insignis '' ▁— ▁кӹрӓн ▁калпакан ▁кошыгек ▁ ▁'' ploceus ▁angolensis '' ▁— ▁ангола ▁кошыгек ▁** ▁'' ploceus ▁sanc tae th omae '' ▁— ▁actin opterygii ▁группыш ▁пырышы ▁луан ▁кол ▁('' car an x ▁c rys os '') ▁sarc opterygii ▁группыш ▁пырышы ▁луан ▁кол ▁('' lat im eria ▁ch alum nae '') ▁эль би стан ▁( турокла ▁el b istan ▁) ▁— ▁турцин , ▁йыдвел ▁кахраманмараш ▁илӹн ▁районжы ▁('' илчежӹ ''). ▁0000- шӹ ▁ин ▁тӹштӹ ▁000.000 ▁( пӱэргӹ : ▁00.000; ▁ӹдӹрӓмӓш : ▁00.000)