Piemontese (pms) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | pmswiki sample |
|---|---|
| original | la lenga balanta-kentohe o balanta-kentohe a fa part dle lenghe nìger-kordofanian-e e a l'é parlà specialment an guinea-bissau. * soa popolassion ant l'ann 0000 a l'era ëd 0.000 abitant, dont a-j ven ël pòst ch'a fa 00 antra le sità dla lituania. l'espression romànich, coma vàire àotre designassion dë stil dla stòria dl'architetura, a l'é mai stàita dovrà da coj ch'a tiravo sù dle costrussion a |
| 1000 | ▁la ▁lenga ▁b al anta - k ent o he ▁o ▁b al anta - k ent o he ▁a ▁fa ▁part ▁dle ▁lenghe ▁n ì ger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b is sa u . ▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁p òst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁l it u ania . ▁l ' es pres sion ▁rom àn ich , ▁coma ▁vàire ▁ à ot re ▁de si gn assion ▁dë ▁s ti l ▁dla ▁st òr ia ▁dl ' ar chit et ura , ▁a ▁l ' é ▁ma i ▁stàita ▁dov rà ▁da ▁co j ▁ch ' a ▁ti ra vo ▁s ù ▁dle ▁cost r ussion ▁a |
| 3000 | ▁la ▁lenga ▁bal anta - k ent o he ▁o ▁bal anta - k ent o he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u . ▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lit u ania . ▁l ' es pression ▁rom àn ich , ▁coma ▁vàire ▁à ot re ▁de si gn assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁ti ra vo ▁s ù ▁dle ▁costrussion ▁a |
| 5000 | ▁la ▁lenga ▁bal anta - k ento he ▁o ▁bal anta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u . ▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania . ▁l ' espression ▁rom ànich , ▁coma ▁vàire ▁à ot re ▁de si gn assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁ti ra vo ▁sù ▁dle ▁costrussion ▁a |
| 10000 | ▁la ▁lenga ▁bal anta - k ento he ▁o ▁bal anta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - b issa u . ▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania . ▁l ' espression ▁romànich , ▁coma ▁vàire ▁àot re ▁de sign assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁tira vo ▁sù ▁dle ▁costrussion ▁a |
| 25000 | ▁la ▁lenga ▁balanta - k ento he ▁o ▁balanta - k ento he ▁a ▁fa ▁part ▁dle ▁lenghe ▁nìger - kordofanian - e ▁e ▁a ▁l ' é ▁parlà ▁specialment ▁an ▁guinea - bissau . ▁* ▁soa ▁popolassion ▁ant ▁l ' ann ▁0000 ▁a ▁l ' era ▁ëd ▁0.000 ▁abitant , ▁dont ▁a - j ▁ven ▁ël ▁pòst ▁ch ' a ▁fa ▁00 ▁antra ▁le ▁sità ▁dla ▁lituania . ▁l ' espression ▁romànich , ▁coma ▁vàire ▁àot re ▁design assion ▁dë ▁stil ▁dla ▁stòria ▁dl ' architetura , ▁a ▁l ' é ▁mai ▁stàita ▁dovrà ▁da ▁coj ▁ch ' a ▁tira vo ▁sù ▁dle ▁costrussion ▁a |