BPEmb: lbe

Lak (lbe) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Lak subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	lbewiki sample
original	аьрасатнал финно-угорнал халкьри. удмурт халкьуннал аьдад 000 азара инсан. удмурт халкь ххачпарасти. сурат:vikipedi-000000articles-logo.png\|000 азара макьала сурат:noktali000000.jpg\|000 азара макьала сурат:tr-logo00k.png\|00 азара макьала туркиясса шагьру ва агъры ильданул район. агьалинал аьдад 000 000 инсан (адимина: 00 000; хъамитайпа: 00 000)
1000	▁аьрасат нал ▁ф инн о - у г ор нал ▁халкьри . ▁у д мур т ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁у д мур т ▁халкь ▁ххачпарасти . ▁сурат : vi k i p ed i - 0000 00 art ic l es - l o g o . p n g \|000 ▁азара ▁макьала ▁сурат : n o k t al i 0000 00. jpg \|000 ▁азара ▁макьала ▁сурат : t r - l o g o 00 k . p n g \| 00 ▁азара ▁макьала ▁туркиясса ▁шагьру ▁ва ▁а гъ ры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)
3000	▁аьрасатнал ▁финно - угорнал ▁халкьри . ▁уд мурт ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁уд мурт ▁халкь ▁ххачпарасти . ▁сурат : vi kip ed i - 0000 00 art ic l es - l og o . png \|000 ▁азара ▁макьала ▁сурат : n o k t al i 0000 00. jpg \|000 ▁азара ▁макьала ▁сурат : t r - l og o 00 k . png \| 00 ▁азара ▁макьала ▁туркиясса ▁шагьру ▁ва ▁агъры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)
5000	▁аьрасатнал ▁финно - угорнал ▁халкьри . ▁удмурт ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁удмурт ▁халкь ▁ххачпарасти . ▁сурат : vi kip ed i -0000 00 art ic les - logo . png \|000 ▁азара ▁макьала ▁сурат : no k tal i 0000 00. jpg \|000 ▁азара ▁макьала ▁сурат : t r - logo 00 k . png \| 00 ▁азара ▁макьала ▁туркиясса ▁шагьру ▁ва ▁агъры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)