Kongo (kg) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | kgwiki sample |
|---|---|
| original | tshela kele mbanza na repubilika ya kongo ya dimokalasi na kizunga kongo ya kati. yau ke vuandaka na mukidi ya nzadi lubuzi. joseph kasa vubu, ntuadis kixhosa kele ndinga ya nene ya kibantu. yo kele ndinga ya repubilika ya afelika sudi. yo kele na batubi 0 000 000. batubi ya kixhosa ke vuanda na bizu falanse kele nsi na mputu. luyalumunu ya yau ke lutaka kilometa kare milio dizole, na ntalu ya besi falanse ke lutaka milio 00. falanse kele nsi ya nz |
| 1000 | ▁t s he la ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mu ki di ▁ya ▁nzadi ▁lu bu zi . ▁jo se ph ▁ka sa ▁v ubu , ▁ntu a di s ▁ki x ho sa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kib antu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batu bi ▁0 ▁000 ▁000. ▁batu bi ▁ya ▁ki x ho sa ▁ke ▁vu anda ▁na ▁bi zu ▁f alanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalu m unu ▁ya ▁yau ▁ke ▁luta ka ▁ki lo me ta ▁ka re ▁mi li o ▁di z ole , ▁na ▁nta lu ▁ya ▁be si ▁f alanse ▁ke ▁luta ka ▁mi li o ▁00. ▁f alanse ▁kele ▁nsi ▁ya ▁nz |
| 3000 | ▁tshela ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mukidi ▁ya ▁nzadi ▁lubu zi . ▁joseph ▁kasa ▁vubu , ▁ntu adi s ▁ki xhosa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kibantu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batubi ▁0 ▁000 ▁000. ▁batubi ▁ya ▁ki xhosa ▁ke ▁vuanda ▁na ▁bi zu ▁falanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalumunu ▁ya ▁yau ▁ke ▁luta ka ▁ki lo me ta ▁ka re ▁milio ▁di zole , ▁na ▁ntalu ▁ya ▁besi ▁falanse ▁ke ▁luta ka ▁milio ▁00. ▁falanse ▁kele ▁nsi ▁ya ▁nz |
| 5000 | ▁tshela ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mukidi ▁ya ▁nzadi ▁lubu zi . ▁joseph ▁kasa ▁vubu , ▁ntu adi s ▁kixhosa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kibantu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batubi ▁0 ▁000 ▁000. ▁batubi ▁ya ▁kixhosa ▁ke ▁vuanda ▁na ▁bi zu ▁falanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalumunu ▁ya ▁yau ▁ke ▁lutaka ▁ki lo me ta ▁kare ▁milio ▁di zole , ▁na ▁ntalu ▁ya ▁besi ▁falanse ▁ke ▁lutaka ▁milio ▁00. ▁falanse ▁kele ▁nsi ▁ya ▁nz |