Piemontese (pms) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizepmswiki sample
original la lenga balanta-kentohe o balanta-kentohe a fa part dle lenghe nìger-kordofanian-e e a l'é parlà specialment an guinea-bissau.
* soa popolassion ant l'ann 0000 a l'era ëd 0.000 abitant, dont a-j ven ël pòst ch'a fa 00 antra le sità dla lituania.
l'espression romànich, coma vàire àotre designassion dë stil dla stòria dl'architetura, a l'é mai stàita dovrà da coj ch'a tiravo sù dle costrussion a
1000 ▁la ▁lenga ▁b al anta - k ent o he ▁o ▁b al anta - k ent o he ▁a ▁fa ▁part ▁dle ▁lenghe ▁n ì ger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b is sa u .
▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁p òst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁l it u ania .
▁l ' es pres sion ▁rom àn ich , ▁coma ▁vàire ▁ à ot re ▁de si gn assion ▁dë ▁s ti l ▁dla ▁st òr ia ▁dl ' ar chit et ura , ▁a ▁l ' é ▁ma i ▁stàita ▁dov rà ▁da ▁co j ▁ch ' a ▁ti ra vo ▁s ù ▁dle ▁cost r ussion ▁a
3000 ▁la ▁lenga ▁bal anta - k ent o he ▁o ▁bal anta - k ent o he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u .
▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lit u ania .
▁l ' es pression ▁rom àn ich , ▁coma ▁vàire ▁à ot re ▁de si gn assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁ti ra vo ▁s ù ▁dle ▁costrussion ▁a
5000 ▁la ▁lenga ▁bal anta - k ento he ▁o ▁bal anta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u .
▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania .
▁l ' espression ▁rom ànich , ▁coma ▁vàire ▁à ot re ▁de si gn assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁ti ra vo ▁sù ▁dle ▁costrussion ▁a
10000 ▁la ▁lenga ▁bal anta - k ento he ▁o ▁bal anta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u .
▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania .
▁l ' espression ▁romànich , ▁coma ▁vàire ▁àot re ▁de sign assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁tira vo ▁sù ▁dle ▁costrussion ▁a
25000 ▁la ▁lenga ▁balanta - k ento he ▁o ▁balanta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - bissau .
▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania .
▁l ' espression ▁romànich , ▁coma ▁vàire ▁àot re ▁design assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁tira vo ▁sù ▁dle ▁costrussion ▁a