Lojban (jbo) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | jbowiki sample |
|---|---|
| original | la baupla fuzykamni goi byfy cu kamni lo nu platu fi la .lojban. .i byfy fuzme lo nu banro lo selci'a co skicu be le lojbo te karbi kei .e lo nu cikre .i * de'i 00 la xamast. la'o zoi. charles spencelayh zoi. noi ke'a cu brito ke cinta larcygau cu mrobi'o to jbena filo 0000moi toi ni'o 0 la cimast. cu 0moi djedi fi'o masti la cimast. noi ke'a cu cimoi masti .i 0 la cimast. cu purlamdei .ije 0 la cimast. cu bavlamdei |
| 1000 | ▁la ▁bau pla ▁fu z y k am ni ▁goi ▁by fy ▁cu ▁kam ni ▁lo ▁nu ▁pl at u ▁fi ▁la ▁. lo j ban . ▁. i ▁by fy ▁fu z me ▁lo ▁nu ▁ban ro ▁lo ▁sel ci ' a ▁co ▁s ki cu ▁be ▁le ▁loj bo ▁te ▁kar bi ▁kei ▁. e ▁lo ▁nu ▁ci k re ▁. i ▁* ▁de ' i ▁00 ▁la ▁xamast . ▁la ' o ▁zoi . ▁charles ▁sp en c el a y h ▁zoi . ▁noi ▁ke ' a ▁cu ▁brito ▁ke ▁cinta ▁larcygau ▁cu ▁mrobi ' o ▁to ▁jbena ▁filo ▁0000 moi ▁toi ▁ni ' o ▁0 ▁la ▁cimast . ▁cu ▁0 moi ▁djedi ▁fi ' o ▁masti ▁la ▁cimast . ▁noi ▁ke ' a ▁cu ▁ci moi ▁masti ▁. i ▁0 ▁la ▁cimast . ▁cu ▁purlamdei ▁. ije ▁0 ▁la ▁cimast . ▁cu ▁bavlamdei |
| 3000 | ▁la ▁bau pla ▁fu zy kam ni ▁goi ▁by fy ▁cu ▁kam ni ▁lo ▁nu ▁platu ▁fi ▁la ▁. lojban . ▁. i ▁by fy ▁fu z me ▁lo ▁nu ▁banro ▁lo ▁selci ' a ▁co ▁skicu ▁be ▁le ▁lojbo ▁te ▁kar bi ▁kei ▁. e ▁lo ▁nu ▁ci kre ▁. i ▁* ▁de ' i ▁00 ▁la ▁xamast . ▁la ' o ▁zoi . ▁charles ▁sp en cel ay h ▁zoi . ▁noi ▁ke ' a ▁cu ▁brito ▁ke ▁cinta ▁larcygau ▁cu ▁mrobi ' o ▁to ▁jbena ▁filo ▁0000 moi ▁toi ▁ni ' o ▁0 ▁la ▁cimast . ▁cu ▁0 moi ▁djedi ▁fi ' o ▁masti ▁la ▁cimast . ▁noi ▁ke ' a ▁cu ▁cimoi ▁masti ▁. i ▁0 ▁la ▁cimast . ▁cu ▁purlamdei ▁. ije ▁0 ▁la ▁cimast . ▁cu ▁bavlamdei |
| 5000 | ▁la ▁bau pla ▁fu zy kam ni ▁goi ▁by fy ▁cu ▁kamni ▁lo ▁nu ▁platu ▁fi ▁la ▁. lojban . ▁. i ▁by fy ▁fu zme ▁lo ▁nu ▁banro ▁lo ▁selci ' a ▁co ▁skicu ▁be ▁le ▁lojbo ▁te ▁karbi ▁kei ▁. e ▁lo ▁nu ▁cikre ▁. i ▁* ▁de ' i ▁00 ▁la ▁xamast . ▁la ' o ▁zoi . ▁charles ▁spen cel ay h ▁zoi . ▁noi ▁ke ' a ▁cu ▁brito ▁ke ▁cinta ▁larcygau ▁cu ▁mrobi ' o ▁to ▁jbena ▁filo ▁0000 moi ▁toi ▁ni ' o ▁0 ▁la ▁cimast . ▁cu ▁0 moi ▁djedi ▁fi ' o ▁masti ▁la ▁cimast . ▁noi ▁ke ' a ▁cu ▁cimoi ▁masti ▁. i ▁0 ▁la ▁cimast . ▁cu ▁purlamdei ▁. ije ▁0 ▁la ▁cimast . ▁cu ▁bavlamdei |