Aymara (ay) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | aywiki sample |
|---|---|
| original | * 0000-0000: josé luis rondón mateo, movimiento independiente fuerza constructora. * 0000-0000: marcial tolentino salome ponce. * 0000-0000: gilmer dionicio gonzales cuéllar, alternativa huarochirana. * 0000-0000: juan glicerio pérez vargas. * v vest: dezvoltare vest a româniei suyu cuprinde provincia istorică banat și zone adiacente acesteia, în suprafață de peste 00.000 km² reprezentând |
| 1000 | ▁* ▁0000-0000: ▁josé ▁luis ▁r on d ón ▁ma te o , ▁movimiento ▁independiente ▁fuerza ▁con st ru ctor a . ▁* ▁0000-0000: ▁mar ci al ▁t ol ent ino ▁sal om e ▁p on ce . ▁* ▁0000-0000: ▁g il m er ▁di on i cio ▁g on z ales ▁cu é ll ar , ▁al ter na ti va ▁hu ar o ch ir ana . ▁* ▁0000-0000: ▁juan ▁g li ce rio ▁p é rez ▁v ar gas . ▁* ▁v ▁v est : ▁de z v ol tar e ▁v est ▁a ▁ro m â ni e i ▁suyu ▁cu pr in de ▁provincia ▁ ist ori c ă ▁b ana t ▁ ș i ▁z on e ▁a di ac ente ▁ac es te ia , ▁ î n ▁su p ra fa ț ă ▁de ▁p es te ▁00 . 000 ▁k m 2 ▁re p rez ent â n d |
| 3000 | ▁* ▁0000-0000: ▁josé ▁luis ▁r on d ón ▁ma teo , ▁movimiento ▁independiente ▁fuerza ▁con stru ctor a . ▁* ▁0000-0000: ▁mar cial ▁t ol ent ino ▁sal om e ▁pon ce . ▁* ▁0000-0000: ▁gil mer ▁di oni cio ▁gonzales ▁cu é ll ar , ▁al ter na tiva ▁hu aro chir ana . ▁* ▁0000-0000: ▁juan ▁g li ce rio ▁pérez ▁vargas . ▁* ▁v ▁v est : ▁de z v ol tar e ▁v est ▁a ▁rom â ni ei ▁suyu ▁cu pr in de ▁provincia ▁ ist ori c ă ▁b ana t ▁ ș i ▁z one ▁a di ac ente ▁ac es te ia , ▁ î n ▁sup ra fa ț ă ▁de ▁pes te ▁00. 000 ▁k m 2 ▁rep rez ent â n d |
| 5000 | ▁* ▁0000-0000: ▁josé ▁luis ▁ron dón ▁mateo , ▁movimiento ▁independiente ▁fuerza ▁constru ctor a . ▁* ▁0000-0000: ▁mar cial ▁t ol entino ▁sal om e ▁ponce . ▁* ▁0000-0000: ▁gil mer ▁di oni cio ▁gonzales ▁cu é ll ar , ▁al terna tiva ▁hu aro chir ana . ▁* ▁0000-0000: ▁juan ▁g li ce rio ▁pérez ▁vargas . ▁* ▁v ▁v est : ▁de z vol tar e ▁v est ▁a ▁rom â ni ei ▁suyu ▁cu pr in de ▁provincia ▁ist ori c ă ▁b ana t ▁ ș i ▁z one ▁a di ac ente ▁ac es te ia , ▁î n ▁sup ra fa ț ă ▁de ▁pes te ▁00. 000 ▁km 2 ▁rep rez ent â n d |
| 10000 | ▁* ▁0000-0000: ▁josé ▁luis ▁ron dón ▁mateo , ▁movimiento ▁independiente ▁fuerza ▁constructora . ▁* ▁0000-0000: ▁marcial ▁tol entino ▁salom e ▁ponce . ▁* ▁0000-0000: ▁gilmer ▁di oni cio ▁gonzales ▁cu é llar , ▁alternativa ▁huaro chir ana . ▁* ▁0000-0000: ▁juan ▁g li ce rio ▁pérez ▁vargas . ▁* ▁v ▁v est : ▁de z vol tar e ▁v est ▁a ▁rom â ni ei ▁suyu ▁cu prin de ▁provincia ▁ist ori c ă ▁b anat ▁și ▁z one ▁a di ac ente ▁ac este ia , ▁în ▁sup ra fa ț ă ▁de ▁pes te ▁00.000 ▁km 2 ▁rep rez ent â nd |