BPEmb: nrm

Narom (nrm) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Narom subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	nrmwiki sample
original	douard i d'angliétèrre prînt galles en 0000 et c'menchit la bâtithie d'châtchieaux pouor contrôler l'pays. l'chein d'caernarfon fut c'menchi sus l'bor cha feut couma cha pouor la normaundie, et byin d's âotes, pa'rai. âo jouo d'anhyi, y a enco des provinches, mais sauns l's pays bas (hollandais: nederland) sont un pays en ûrope. ch'est iun des membres dé l'unnion ûropéenne.
1000	▁dou ard ▁i ▁d ' angliétèrre ▁pr înt ▁gal les ▁en ▁0000 ▁et ▁c ' men chit ▁la ▁bât ith ie ▁d ' ch â tch ieaux ▁pouor ▁cont r ô ler ▁l ' pa ys . ▁l ' che in ▁d ' c aer n ar f on ▁fut ▁c ' men chi ▁sus ▁l ' b or ▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁ âot es , ▁pa ' r ai . ▁ âo ▁j ouo ▁d ' an h yi , ▁y ▁a ▁en co ▁des ▁pro v in ches , ▁mais ▁s auns ▁l ' s ▁pays ▁bas ▁( h ol land ais : ▁ne d er land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁i un ▁des ▁me mb res ▁dé ▁l ' unnion ▁ ûro pé enne .
3000	▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁cont r ô ler ▁l ' pays . ▁l ' chein ▁d ' c aer n ar f on ▁fut ▁c ' menchi ▁sus ▁l ' b or ▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provin ches , ▁mais ▁sauns ▁l ' s ▁pays ▁bas ▁( h ol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .
5000	▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁contr ô ler ▁l ' pays . ▁l ' chein ▁d ' c aer n ar f on ▁fut ▁c ' menchi ▁sus ▁l ' b or ▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provinches , ▁mais ▁sauns ▁l ' s ▁pays ▁bas ▁( h ol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .
10000	▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁contrô ler ▁l ' pays . ▁l ' chein ▁d ' caer n arfon ▁fut ▁c ' menchi ▁sus ▁l ' bor ▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provinches , ▁mais ▁sauns ▁l ' s ▁pays ▁bas ▁( hol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .