Minangkabau (min) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | minwiki sample |
|---|---|
| original | saroman spons pado umumnyo, spesies ko mamiliki tubuah nan bapori dan pamukaan nan kareh mode batu. salain itu, coscinoderma nardorus dapek juo manyer saroman spons pado umumnyo, spesies ko mamiliki tubuah nan bapori dan pamukaan nan kareh mode batu. salain itu, collospongia auris dapek juo manyerap * delsy syamsumar, pelukis neoklasik * itji tarmizi, pelukis realisme-sosialis * mara karma, pelukis, kritikus senirupa, jurnalis * marah sultan bahar |
| 1000 | ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁c os c in od er ma ▁n ar do r us ▁dapek ▁juo ▁many er ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁col l os pongia ▁a ur is ▁dapek ▁juo ▁manyerap ▁* ▁d el sy ▁s y am s um ar , ▁p el uk is ▁n eo k las ik ▁* ▁ it j i ▁t ar m i z i , ▁p el uk is ▁r e alis me - so si alis ▁* ▁m ara ▁kar ma , ▁p el uk is , ▁k rit ik us ▁s en ir up a , ▁j ur n alis ▁* ▁mar ah ▁s ul tan ▁bah ar |
| 3000 | ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁cos cin od er ma ▁n ar do rus ▁dapek ▁juo ▁many er ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁col l ospongia ▁aur is ▁dapek ▁juo ▁manyerap ▁* ▁del sy ▁sy am s um ar , ▁pel uk is ▁neo k las ik ▁* ▁ it ji ▁tar mi zi , ▁pel uk is ▁re alis me - so si alis ▁* ▁m ara ▁kar ma , ▁pel uk is , ▁k rit ik us ▁sen ir up a , ▁j ur nalis ▁* ▁mar ah ▁sul tan ▁bah ar |
| 5000 | ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁cos cin oder ma ▁n ar do rus ▁dapek ▁juo ▁many er ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁coll ospongia ▁aur is ▁dapek ▁juo ▁manyerap ▁* ▁del sy ▁sy am sum ar , ▁pel uk is ▁neo k las ik ▁* ▁it ji ▁tar mi zi , ▁pel uk is ▁re alis me - so si alis ▁* ▁mara ▁kar ma , ▁pel uk is , ▁k rit ik us ▁sen ir upa , ▁jur nalis ▁* ▁mar ah ▁sultan ▁bah ar |
| 10000 | ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁cos cin oderma ▁nar dorus ▁dapek ▁juo ▁many er ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁coll ospongia ▁aur is ▁dapek ▁juo ▁manyerap ▁* ▁del sy ▁sy am sum ar , ▁pel ukis ▁neo k las ik ▁* ▁it ji ▁tar mi zi , ▁pel ukis ▁re alisme - so si alis ▁* ▁mara ▁kar ma , ▁pel ukis , ▁k ritik us ▁sen ir upa , ▁jurnalis ▁* ▁mar ah ▁sultan ▁bah ar |
| 25000 | ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁cos cinoderma ▁nar dorus ▁dapek ▁juo ▁many er ▁saroman ▁spons ▁pado ▁umumnyo , ▁spesies ▁ko ▁mamiliki ▁tubuah ▁nan ▁bapori ▁dan ▁pamukaan ▁nan ▁kareh ▁mode ▁batu . ▁salain ▁itu , ▁coll ospongia ▁aur is ▁dapek ▁juo ▁manyerap ▁* ▁del sy ▁syam sum ar , ▁pelukis ▁neo k las ik ▁* ▁itji ▁tarmizi , ▁pelukis ▁re alisme - so si alis ▁* ▁mara ▁karma , ▁pelukis , ▁kritikus ▁senir upa , ▁jurnalis ▁* ▁marah ▁sultan ▁bahar |