Extremaduran (ext) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | extwiki sample |
|---|---|
| original | los heneralis alemanis iban decidiu que la mehol horma pa derrotal a fráncia era pasal pol bélhica. puerien antoci atacal a los francesis pol norti i mapa provincial d'españa la província es una devisión territorial d'españa, d'alcuerdu cola costitución española. 0000-0000 *"cien años de son" *"son del monte" *"buena vista social club" *"antologia" (0000) *"lo mejor de la vida" *"calle salud" 0000 *"yo soy del |
| 1000 | ▁los ▁h enera lis ▁al em an is ▁i ban ▁de ci di u ▁que ▁la ▁me h ol ▁hor ma ▁pa ▁de r ro tal ▁a ▁f rán cia ▁era ▁pas al ▁pol ▁b él hi ca . ▁pue ri en ▁an to ci ▁a ta cal ▁a ▁los ▁fran ces is ▁pol ▁norti ▁i ▁ma pa ▁prov in cial ▁d ' es paña ▁la ▁província ▁es ▁una ▁de vis ión ▁terri to ri al ▁d ' es paña , ▁d ' al c uer du ▁col a ▁cos titu ción ▁español a . ▁0000 -0000 ▁* " ci en ▁a ñ os ▁de ▁son " ▁* " s on ▁del ▁mon te " ▁* " bu ena ▁v ista ▁so cial ▁c lu b " ▁* " an tol og ia " ▁(0000) ▁* " lo ▁me j or ▁de ▁la ▁vi da " ▁* " cal le ▁sal u d " ▁0000 ▁* " y o ▁so y ▁del |
| 3000 | ▁los ▁h enera lis ▁alem an is ▁i ban ▁deci diu ▁que ▁la ▁me hol ▁horma ▁pa ▁der ro tal ▁a ▁fráncia ▁era ▁pas al ▁pol ▁b él hi ca . ▁pue ri en ▁an to ci ▁ata cal ▁a ▁los ▁frances is ▁pol ▁norti ▁i ▁ma pa ▁provin cial ▁d ' españa ▁la ▁província ▁es ▁una ▁devisión ▁territo ri al ▁d ' españa , ▁d ' al cuerdu ▁cola ▁costitu ción ▁española . ▁0000-0000 ▁* " ci en ▁añ os ▁de ▁son " ▁* " son ▁del ▁mon te " ▁* " bu ena ▁v ista ▁social ▁club " ▁* " an tol og ia " ▁(0000) ▁* " lo ▁mej or ▁de ▁la ▁vida " ▁* " cal le ▁sal u d " ▁0000 ▁* " yo ▁so y ▁del |
| 5000 | ▁los ▁henera lis ▁alem anis ▁i ban ▁deci diu ▁que ▁la ▁me hol ▁horma ▁pa ▁derro tal ▁a ▁fráncia ▁era ▁pas al ▁pol ▁bél hica . ▁pue ri en ▁anto ci ▁ata cal ▁a ▁los ▁frances is ▁pol ▁norti ▁i ▁mapa ▁provincial ▁d ' españa ▁la ▁província ▁es ▁una ▁devisión ▁territorial ▁d ' españa , ▁d ' al cuerdu ▁cola ▁costitu ción ▁española . ▁0000-0000 ▁* " ci en ▁añ os ▁de ▁son " ▁* " son ▁del ▁mon te " ▁* " bu ena ▁vista ▁social ▁club " ▁* " an tol ogia " ▁(0000) ▁* " lo ▁mej or ▁de ▁la ▁vida " ▁* " cal le ▁sal u d " ▁0000 ▁* " yo ▁so y ▁del |
| 10000 | ▁los ▁heneralis ▁alemanis ▁iban ▁deci diu ▁que ▁la ▁mehol ▁horma ▁pa ▁derro tal ▁a ▁fráncia ▁era ▁pasal ▁pol ▁bél hica . ▁pue rien ▁anto ci ▁ata cal ▁a ▁los ▁francesis ▁pol ▁norti ▁i ▁mapa ▁provincial ▁d ' españa ▁la ▁província ▁es ▁una ▁devisión ▁territorial ▁d ' españa , ▁d ' alcuerdu ▁cola ▁costitución ▁española . ▁0000-0000 ▁*" cien ▁años ▁de ▁son " ▁*" son ▁del ▁monte " ▁*" bu ena ▁vista ▁social ▁club " ▁*" an tologia " ▁(0000) ▁*" lo ▁mejor ▁de ▁la ▁vida " ▁*" cal le ▁sal ud " ▁0000 ▁*" yo ▁so y ▁del |
| 25000 | ▁los ▁heneralis ▁alemanis ▁iban ▁deci diu ▁que ▁la ▁mehol ▁horma ▁pa ▁derrotal ▁a ▁fráncia ▁era ▁pasal ▁pol ▁bélhica . ▁puerien ▁antoci ▁atacal ▁a ▁los ▁francesis ▁pol ▁norti ▁i ▁mapa ▁provincial ▁d ' españa ▁la ▁província ▁es ▁una ▁devisión ▁territorial ▁d ' españa , ▁d ' alcuerdu ▁cola ▁costitución ▁española . ▁0000-0000 ▁*" cien ▁años ▁de ▁son " ▁*" son ▁del ▁monte " ▁*" buena ▁vista ▁social ▁club " ▁*" an tologia " ▁(0000) ▁*" lo ▁mejor ▁de ▁la ▁vida " ▁*" calle ▁salud " ▁0000 ▁*" yo ▁soy ▁del |