Iloko (ilo) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ilowiki sample |
|---|---|
| original | papeles:european central bank 000000.jpg|thumb|ti ecb idiay frankfurt, alemania, ket isu ti mangimaton ti annuroten ti kuarta ti eurosona. a panagtagikua kadagiti pamuspusan ti panagpataud, nga adda iti estado, nga itigapuna, ket mangitunton a nangirepresenta ti kakaykayatan dagiti agobob nga adda iti agarup a 0.0 bilion a sumursurot a naisinsina kadagiti tallo a sanga ti katoliko, protestante ken ortodokso, ti kristianidad ket isu ti k |
| 1000 | ▁papeles : e ur op e an ▁c en tr al ▁ban k ▁0000 00 . jpg | thumb | ti ▁e c b ▁idiay ▁f ran k f ur t , ▁al eman ia , ▁ket ▁isu ▁ti ▁mang im at on ▁ti ▁an n ur ot en ▁ti ▁k uar ta ▁ti ▁eur os ona . ▁a ▁panag t agi k ua ▁kadagiti ▁pam us p us an ▁ti ▁panagp ata ud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it un ton ▁a ▁nang i rep res en ta ▁ti ▁k ak ay kay atan ▁dagiti ▁ag ob ob ▁nga ▁adda ▁iti ▁agarup ▁a ▁0 . 0 ▁b ili on ▁a ▁sum ur s ur ot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁san ga ▁ti ▁kat oli ko , ▁pro t es tan te ▁ken ▁or to d ok so , ▁ti ▁k ris ti an idad ▁ket ▁isu ▁ti ▁k |
| 3000 | ▁papeles : e ur op ean ▁cen tral ▁ban k ▁0000 00 . jpg | thumb | ti ▁e c b ▁idiay ▁fran k f ur t , ▁alemania , ▁ket ▁isu ▁ti ▁mang imat on ▁ti ▁ann urot en ▁ti ▁k uar ta ▁ti ▁eur os ona . ▁a ▁panagt agikua ▁kadagiti ▁pam us p usan ▁ti ▁panagp ataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it unton ▁a ▁nang i representa ▁ti ▁kak ay kay atan ▁dagiti ▁ag ob ob ▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁b ili on ▁a ▁sum urs urot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁pro tes tan te ▁ken ▁or to d ok so , ▁ti ▁kristi an idad ▁ket ▁isu ▁ti ▁k |
| 5000 | ▁papeles : europ ean ▁central ▁ban k ▁0000 00. jpg | thumb | ti ▁ec b ▁idiay ▁frank f ur t , ▁alemania , ▁ket ▁isu ▁ti ▁mang imaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁eur os ona . ▁a ▁panagt agikua ▁kadagiti ▁pam us p usan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it unton ▁a ▁nang irepresenta ▁ti ▁kak ay kay atan ▁dagiti ▁ag ob ob ▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sum urs urot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁pro tes tante ▁ken ▁orto d ok so , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k |
| 10000 | ▁papeles : europ ean ▁central ▁bank ▁0000 00. jpg | thumb | ti ▁ec b ▁idiay ▁frank f urt , ▁alemania , ▁ket ▁isu ▁ti ▁mangimaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁euros ona . ▁a ▁panagt agikua ▁kadagiti ▁pam usp usan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mangit unton ▁a ▁nang irepresenta ▁ti ▁kak ay kay atan ▁dagiti ▁agob ob ▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sum ursurot ▁a ▁naisinsina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁protestante ▁ken ▁ortodokso , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k |
| 25000 | ▁papeles : europ ean ▁central ▁bank ▁000000. jpg | thumb | ti ▁ecb ▁idiay ▁frankfurt , ▁alemania , ▁ket ▁isu ▁ti ▁mangimaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁eurosona . ▁a ▁panagtagikua ▁kadagiti ▁pamuspusan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mangitunton ▁a ▁nangirepresenta ▁ti ▁kakaykay atan ▁dagiti ▁agob ob ▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sumursurot ▁a ▁naisinsina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁protestante ▁ken ▁ortodokso , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k |