Ladino (lad) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ladwiki sample |
|---|---|
| original | 000px el territorio de querétaro kolinda al norte kon san luis potosí, al sud topa kon el estado de michoacán, kon el estado de meksiko al sudoeste, k el antiko nombre dela sivdad es dekonyesido, se kree ke es de lingua raramuri i sinyifika ''lugar seko i arenoso''. otroa version reza, ke en lingua n matilda estudió en la eskola de la komunita djudia de milano. estudio linguas en la universita "bocconi" de milano i endemás literaturas italiana i dj |
| 1000 | ▁000 px ▁el ▁territor io ▁de ▁q uer é tar o ▁kol in da ▁al ▁norte ▁kon ▁san ▁lu is ▁po tos í , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁mi cho ac án , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁su do este , ▁k ▁el ▁ant iko ▁nombre ▁del a ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sin y if ika ▁'' lu gar ▁se ko ▁i ▁ar enos o ''. ▁o tro a ▁v ers ion ▁re za , ▁ke ▁en ▁lingua ▁n ▁m at il da ▁estudi ó ▁en ▁la ▁esk ola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudi o ▁lin guas ▁en ▁la ▁univers ita ▁" bo c c on i " ▁de ▁mil ano ▁i ▁ende m ás ▁l iter at ur as ▁ital i ana ▁i ▁dj |
| 3000 | ▁000 px ▁el ▁territorio ▁de ▁q uer é tar o ▁kol inda ▁al ▁norte ▁kon ▁san ▁luis ▁po tos í , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁mi cho acán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁su do este , ▁k ▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sinyifika ▁'' lugar ▁se ko ▁i ▁ar enos o ''. ▁otro a ▁vers ion ▁re za , ▁ke ▁en ▁lingua ▁n ▁mat il da ▁estudi ó ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁mil ano ▁i ▁endemás ▁liter at uras ▁ital iana ▁i ▁dj |
| 5000 | ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kol inda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k ▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sinyifika ▁'' lugar ▁se ko ▁i ▁ar enos o ''. ▁otro a ▁vers ion ▁re za , ▁ke ▁en ▁lingua ▁n ▁mat il da ▁estudi ó ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁mil ano ▁i ▁endemás ▁liter at uras ▁italiana ▁i ▁dj |
| 10000 | ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kolinda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k ▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kree ▁ke ▁es ▁de ▁lingua ▁r aram ur i ▁i ▁sinyifika ▁'' lugar ▁seko ▁i ▁ar enos o ''. ▁otro a ▁version ▁re za , ▁ke ▁en ▁lingua ▁n ▁mat il da ▁estudió ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁milano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁milano ▁i ▁endemás ▁liter aturas ▁italiana ▁i ▁dj |
| 25000 | ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kolinda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k ▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yesido , ▁se ▁kree ▁ke ▁es ▁de ▁lingua ▁r aram uri ▁i ▁sinyifika ▁'' lugar ▁seko ▁i ▁ar enos o ''. ▁otro a ▁version ▁reza , ▁ke ▁en ▁lingua ▁n ▁matilda ▁estudió ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁milano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" boc con i " ▁de ▁milano ▁i ▁endemás ▁liter aturas ▁italiana ▁i ▁dj |