Lezghian (lez) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | lezwiki sample |
|---|---|
| original | 0000 йисалай 0000 йисал кьван райондин администрациядин юкь цумада-урух хуьр тир, 0000 йисуз агвали хуьр тайинарнай. категория:украина категория:европадин уьлквейрин административ паюн категория:украинадин административни территориал паюн категория:украинадин вилаятр пайгъамбарди, саламни салават адаз хьуй, лагьай гафар адан куьмекчийри кӏватӏна мусурманрин диндин кьведлагьай делил туькӏуьрна — сунна. кьуръандихъ г |
| 1000 | ▁0000 ▁йисалай ▁0000 ▁йис ал ▁кьван ▁райондин ▁администра циядин ▁юкь ▁ц ум ада - ур ух ▁хуьр ▁тир , ▁0000 ▁йисуз ▁аг вал и ▁хуьр ▁тай инар най . ▁категория : ук ра ина ▁категория : ев роп адин ▁уьлкве й рин ▁админист рат ив ▁п а ю н ▁категория : ук ра ин адин ▁админист рат ив ни ▁тер ри тор и ал ▁п а ю н ▁категория : ук ра ин адин ▁вилаят р ▁пай гъ ам бар ди , ▁с ал ам ни ▁с ала ват ▁ада з ▁хь у й , ▁лагьай ▁гаф ар ▁адан ▁куь м ек ч ийри ▁кӏ ва тӏ на ▁м усурман рин ▁дин дин ▁кьве д лагьай ▁д ел ил ▁туькӏуьр на ▁— ▁с ун на . ▁кьур ъ ан дихъ ▁г |
| 3000 | ▁0000 ▁йисалай ▁0000 ▁йисал ▁кьван ▁райондин ▁администра циядин ▁юкь ▁ц ум ада - ур ух ▁хуьр ▁тир , ▁0000 ▁йисуз ▁аг вал и ▁хуьр ▁тай инар най . ▁категория : ук ра ина ▁категория : ев роп адин ▁уьлквей рин ▁административ ▁паюн ▁категория : ук ра ин адин ▁административ ни ▁тер ри тор иал ▁паюн ▁категория : ук ра ин адин ▁вилаят р ▁пай гъ ам бар ди , ▁сал ам ни ▁с ала ват ▁адаз ▁хь уй , ▁лагьай ▁гафар ▁адан ▁куьмек ч ийри ▁кӏватӏ на ▁мусурман рин ▁диндин ▁кьведлагьай ▁дел ил ▁туькӏуьр на ▁— ▁с ун на . ▁кьур ъ ан дихъ ▁г |
| 5000 | ▁0000 ▁йисалай ▁0000 ▁йисал ▁кьван ▁райондин ▁администра циядин ▁юкь ▁ц ум ада - ур ух ▁хуьр ▁тир , ▁0000 ▁йисуз ▁аг вал и ▁хуьр ▁тайинар най . ▁категория : ук ра ина ▁категория : европадин ▁уьлквейрин ▁административ ▁паюн ▁категория : ук ра инадин ▁административ ни ▁тер ритор иал ▁паюн ▁категория : ук ра инадин ▁вилаят р ▁пайгъамбар ди , ▁сал ам ни ▁с ала ват ▁адаз ▁хь уй , ▁лагьай ▁гафар ▁адан ▁куьмек ч ийри ▁кӏватӏ на ▁мусурманрин ▁диндин ▁кьведлагьай ▁делил ▁туькӏуьрна ▁— ▁сун на . ▁кьур ъ ан дихъ ▁г |
| 10000 | ▁0000 ▁йисалай ▁0000 ▁йисал ▁кьван ▁райондин ▁администра циядин ▁юкь ▁ц умада - ур ух ▁хуьр ▁тир , ▁0000 ▁йисуз ▁аг вал и ▁хуьр ▁тайинарнай . ▁категория : укра ина ▁категория : европадин ▁уьлквейрин ▁административ ▁паюн ▁категория : укра инадин ▁административ ни ▁территор иал ▁паюн ▁категория : укра инадин ▁вилаят р ▁пайгъамбар ди , ▁салам ни ▁салават ▁адаз ▁хьуй , ▁лагьай ▁гафар ▁адан ▁куьмек ч ийри ▁кӏватӏна ▁мусурманрин ▁диндин ▁кьведлагьай ▁делил ▁туькӏуьрна ▁— ▁сун на . ▁кьур ъан дихъ ▁г |
| 25000 | ▁0000 ▁йисалай ▁0000 ▁йисал ▁кьван ▁райондин ▁администра циядин ▁юкь ▁ц умада - урух ▁хуьр ▁тир , ▁0000 ▁йисуз ▁агвали ▁хуьр ▁тайинарнай . ▁категория : украина ▁категория : европадин ▁уьлквейрин ▁административ ▁паюн ▁категория : укра инадин ▁административни ▁территор иал ▁паюн ▁категория : укра инадин ▁вилаят р ▁пайгъамбарди , ▁саламни ▁салават ▁адаз ▁хьуй , ▁лагьай ▁гафар ▁адан ▁куьмек чийри ▁кӏватӏна ▁мусурманрин ▁диндин ▁кьведлагьай ▁делил ▁туькӏуьрна ▁— ▁сун на . ▁кьуръан дихъ ▁г |