Avaric (av) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix

View Avaric subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeavwiki sample
original тайбэялда atr 00 самолеталъул катастрофа яги transasia гьавамухъазул 000 рейс — ккола 0000 соналъул 0 февралалда тайваналъул transasia airways авиаком
(бецi-хъахiилалъ) релъун руго гьаб сагiаталъ хiалтiулел отделениял ругел пачалихъал; (бирюзовияб) — кьералъ релъун руго отделениял гьечiел, амма рукiи
0000-ел соназда хеккого тіаде борхана китаялъул асар сагіудиялъул къватіисеб бича-хисиялда: 0000 соналъ пекиналда ва ар-риядалда гьорькоб къайидул тіа
1000 ▁т ай б э ялда ▁a t r ▁00 ▁самол ет алъул ▁кат аст ро ф а ▁яги ▁t r an s as ia ▁гьав ам ухъ азул ▁000 ▁ре й с ▁— ▁ккола ▁0000 ▁соналъул ▁0 ▁ф ев р ал алда ▁т ай ван алъул ▁t r an s as ia ▁a ir w a y s ▁ав и ак ом
▁( б ец i - хъ ах i ил алъ ) ▁ре лъун ▁руго ▁гьаб ▁с аг i ат алъ ▁х i алт i улел ▁от д ел ен иял ▁ругел ▁пачалихъ ал ; ▁( б ир ю з ов ияб ) ▁— ▁кь ер алъ ▁ре лъун ▁руго ▁от д ел ен иял ▁гьеч i ел , ▁амма ▁рук i и
▁0000 - ел ▁сон азда ▁х ек к ого ▁ті аде ▁бор х ана ▁к ит аялъул ▁ас ар ▁сагі уд иялъул ▁къват і ис еб ▁бич а - х ис иялда : ▁0000 ▁соналъ ▁п ек ин алда ▁ва ▁ар - рия д алда ▁гь ор ь к об ▁къ ай ид ул ▁ті а
3000 ▁тай б э ялда ▁a t r ▁00 ▁самол еталъул ▁катастро фа ▁яги ▁t rans as ia ▁гьав амухъ азул ▁000 ▁рейс ▁— ▁ккола ▁0000 ▁соналъул ▁0 ▁феврал алда ▁тай ван алъул ▁t rans as ia ▁air w ay s ▁ави аком
▁( б ец i - хъ ах i ил алъ ) ▁ре лъун ▁руго ▁гьаб ▁саг i аталъ ▁х i алт i улел ▁от дел ен иял ▁ругел ▁пачалихъал ; ▁( б ир ю з ов ияб ) ▁— ▁кьер алъ ▁ре лъун ▁руго ▁от дел ен иял ▁гьеч i ел , ▁амма ▁рук i и
▁0000- ел ▁соназда ▁х ек к ого ▁ті аде ▁борх ана ▁кит аялъул ▁асар ▁сагіуд иялъул ▁къваті исеб ▁бич а - х ис иялда : ▁0000 ▁соналъ ▁п ек иналда ▁ва ▁ар - рияд алда ▁гь ор ь к об ▁къай ид ул ▁ті а
5000 ▁тай б э ялда ▁at r ▁00 ▁самол еталъул ▁катастрофа ▁яги ▁t rans as ia ▁гьавамухъ азул ▁000 ▁рейс ▁— ▁ккола ▁0000 ▁соналъул ▁0 ▁феврал алда ▁тай ван алъул ▁t rans as ia ▁air w ays ▁ави аком
▁( б ец i - хъ ах i ил алъ ) ▁ре лъун ▁руго ▁гьаб ▁саг i аталъ ▁х i алт i улел ▁от дел ен иял ▁ругел ▁пачалихъал ; ▁( бир юз ов ияб ) ▁— ▁кьер алъ ▁ре лъун ▁руго ▁от дел ен иял ▁гьеч i ел , ▁амма ▁рук i и
▁0000- ел ▁соназда ▁х ек к ого ▁тіаде ▁борх ана ▁кит аялъул ▁асар ▁сагіуд иялъул ▁къваті исеб ▁бича - хис иялда : ▁0000 ▁соналъ ▁п ек иналда ▁ва ▁ар - рияд алда ▁гьор ь к об ▁къай идул ▁ті а
10000 ▁тай б э ялда ▁at r ▁00 ▁самолеталъул ▁катастрофа ▁яги ▁trans as ia ▁гьавамухъазул ▁000 ▁рейс ▁— ▁ккола ▁0000 ▁соналъул ▁0 ▁февралалда ▁тай ван алъул ▁trans as ia ▁air w ays ▁ави аком
▁( б ец i - хъ ах i ил алъ ) ▁релъун ▁руго ▁гьаб ▁саг i аталъ ▁х i алт i улел ▁отдел ениял ▁ругел ▁пачалихъал ; ▁( бир юз ов ияб ) ▁— ▁кьер алъ ▁релъун ▁руго ▁отдел ениял ▁гьеч i ел , ▁амма ▁рук i и
▁0000- ел ▁соназда ▁х екк ого ▁тіаде ▁борхана ▁кит аялъул ▁асар ▁сагіудиялъул ▁къваті исеб ▁бича - хис иялда : ▁0000 ▁соналъ ▁п ек иналда ▁ва ▁ар - рияд алда ▁гьор ь к об ▁къай идул ▁ті а