Moksha (mdf) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | mdfwiki sample |
|---|---|
| original | хопра () - ляйсь рузмасторса, липецкяень, томбунь эди воронежень ди аймакса, оцю дон ляйть кержи шудемац. ляйть кувалмоц — 000 вв, вастоц — 000 км². верма ши (илякс вирняй ши) – тундань мокшень илась, кона сотф кунардонь акша кал озкс мархта. тя шиня оттне йакасть кудста кудс, удыхнень стяфнезь вер п. пяк оцю виец: сон шавсы и плхтасы идемевть, э., шяйтанть, м. (ванк: шяйтан), великаттнень, чудовищатнень. арьсесть, што коське кизось, цярахманца ш |
| 1000 | ▁х о п ра ▁() ▁- ▁ляй сь ▁руз мастор са , ▁ли пе ц кя ень , ▁то мб у нь ▁эди ▁в ор о не ж ень ▁ди ▁айма кса , ▁оцю ▁д он ▁ляй ть ▁к ер жи ▁шу дема ц . ▁ляй ть ▁ку вал мо ц ▁— ▁000 ▁в в , ▁васт оц ▁— ▁000 ▁к м 2 . ▁в ер ма ▁ши ▁( и ля кс ▁ви р н яй ▁ши ) ▁– ▁ту нда нь ▁мокшень ▁ила сь , ▁кона ▁сот ф ▁кунардонь ▁а кша ▁кал ▁оз кс ▁мархта . ▁тя ▁ш ин я ▁о ттне ▁ й а ка сть ▁куд ста ▁куд с , ▁у ды хнень ▁ст я фне зь ▁в ер ▁п . ▁пяк ▁оцю ▁в ие ц : ▁сон ▁ша в сы ▁и ▁п л х та сы ▁и де м ев ть , ▁э ., ▁ш яй та н ть , ▁м . ▁( ва н к : ▁ш яй та н ), ▁ве ли ка ттнень , ▁ч у дов и ща тнень . ▁а рь се сть , ▁што ▁ко сь ке ▁кизо сь , ▁ц я ра х ма нц а ▁ш |
| 3000 | ▁х о пра ▁() ▁- ▁ляй сь ▁рузмасторса , ▁ли пе ц кя ень , ▁то мб унь ▁эди ▁в ор оне жень ▁ди ▁аймакса , ▁оцю ▁д он ▁ляйть ▁кер жи ▁шу дема ц . ▁ляйть ▁кувалмоц ▁— ▁000 ▁в в , ▁васт оц ▁— ▁000 ▁к м 2 . ▁вер ма ▁ши ▁( и ля кс ▁ви рняй ▁ши ) ▁– ▁тунда нь ▁мокшень ▁ила сь , ▁кона ▁сот ф ▁кунардонь ▁акша ▁кал ▁озкс ▁мархта . ▁тя ▁шиня ▁о ттне ▁й а ка сть ▁куд ста ▁куд с , ▁у ды хнень ▁ст я фнезь ▁вер ▁п . ▁пяк ▁оцю ▁в ие ц : ▁сон ▁шав сы ▁и ▁п лх та сы ▁идем ев ть , ▁э ., ▁шяй та нть , ▁м . ▁( ван к : ▁шяй та н ), ▁ве ли ка ттнень , ▁ч у дови ща тнень . ▁арьсесть , ▁што ▁коське ▁кизось , ▁ц я ра х ма нца ▁ш |
| 5000 | ▁х о пра ▁() ▁- ▁ляйсь ▁рузмасторса , ▁ли пе ц кя ень , ▁томб унь ▁эди ▁в ор оне жень ▁ди ▁аймакса , ▁оцю ▁д он ▁ляйть ▁кержи ▁шу дема ц . ▁ляйть ▁кувалмоц ▁— ▁000 ▁вв , ▁вастоц ▁— ▁000 ▁км 2 . ▁вер ма ▁ши ▁( илякс ▁ви рняй ▁ши ) ▁– ▁тундань ▁мокшень ▁ила сь , ▁кона ▁сотф ▁кунардонь ▁акша ▁кал ▁озкс ▁мархта . ▁тя ▁шиня ▁оттне ▁й а ка сть ▁кудста ▁куд с , ▁у ды хнень ▁ст я фнезь ▁вер ▁п . ▁пяк ▁оцю ▁в ие ц : ▁сон ▁шав сы ▁и ▁п лхта сы ▁идем ев ть , ▁э ., ▁шяй та нть , ▁м . ▁( ванк : ▁шяй тан ), ▁вели ка ттнень , ▁чу дови ща тнень . ▁арьсесть , ▁што ▁коське ▁кизось , ▁ця ра хма нца ▁ш |