Volapük (vo) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | vowiki sample |
|---|---|
| original | ma el ''u.s. census bureau'' (pöpinumamabür lamerikänik), connellsville labon sürfati valodik mö 0,0 km², kela 0,0 km² binon län e kela 0,0 km² (0,00% ma el ''u.s. census bureau'' (pöpinumamabür lamerikänik), whittier labon sürfati valodik mö 00,0 km² (vat: 0%). bid patedik: ''altispinax dunkeri'' (dames 0000 e von huene 0000) pasevon te medü tuts. bids pebepenöl votik siso petopätükons ini els ''genera'' voti |
| 1000 | ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁c on n ell s ville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00% ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁w h it t ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%). ▁bid ▁patedik : ▁'' alt is p ina x ▁d un k er i '' ▁( d am es ▁0000 ▁e ▁von ▁h u en e ▁0000 ) ▁pas e v on ▁te ▁m ed ü ▁t ut s . ▁bid s ▁p e be pen öl ▁votik ▁s is o ▁p et op ä t ük ons ▁in i ▁el s ▁'' g en er a '' ▁v ot i |
| 3000 | ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00% ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁wh itt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%). ▁bid ▁patedik : ▁'' alt is p ina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁h u ene ▁0000) ▁pas ev on ▁te ▁med ü ▁tut s . ▁bid s ▁pe bepen öl ▁votik ▁s is o ▁pet op ät ük ons ▁ini ▁els ▁'' gen era '' ▁v oti |
| 5000 | ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00% ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁wh itt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%). ▁bid ▁patedik : ▁'' alt is p ina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁hu ene ▁0000) ▁pas ev on ▁te ▁medü ▁tuts . ▁bid s ▁pe bepen öl ▁votik ▁sis o ▁pet op ät ükons ▁ini ▁els ▁'' gen era '' ▁v oti |
| 10000 | ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00% ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁whitt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%). ▁bid ▁patedik : ▁'' alt is pina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁hu ene ▁0000) ▁pas ev on ▁te ▁medü ▁tuts . ▁bids ▁pebepen öl ▁votik ▁sis o ▁pet op ät ükons ▁ini ▁els ▁'' gen era '' ▁v oti |
| 25000 | ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁connellsville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0,00% ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁whittier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%). ▁bid ▁patedik : ▁'' alt is pinax ▁dunker i '' ▁( dames ▁0000 ▁e ▁von ▁huene ▁0000) ▁pasevon ▁te ▁medü ▁tuts . ▁bids ▁pebepenöl ▁votik ▁siso ▁pet op ät ükons ▁ini ▁els ▁'' genera '' ▁v oti |