Dinka (din) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | dinwiki sample |
|---|---|
| original | aköl de krïthmath ayee yanh yee cam në pɛinïn 00 penëthiɛ̈ɛ̈rkurou. yen ayee tök në kɛm ke nïn thiekiic arët tënë kërëthanooi, yen ku aköljönrɔtëbɛ̈ny manut në runken ke luɔi kayee duthuɛ̈ɛ̈c abɛ̈n, ee yee luui arët në käkke kuɔny në kɔckɔ̈kiic. acë wëu juëc ariɔpde ne nba yic gam bë kɔkɔ̈k kony thud {| border=0 align=right cellpadding=0 cellspacing=0 width=000 style="margin: 0 0 0em 0em; background: #f0f0f0; border: 0px #aaaaaa solid; border-colla |
| 1000 | ▁aköl ▁de ▁kr ïth math ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛ in ïn ▁00 ▁pen ëth iɛ ̈ ɛ ̈ r kurou . ▁yen ▁ayee ▁tök ▁në ▁kɛ m ▁ke ▁nïn ▁thi ek iic ▁arët ▁tënë ▁kërëth an ooi , ▁yen ▁ku ▁aköl j ön r ɔt ëbɛ ̈ ny ▁man ut ▁në ▁run ken ▁ke ▁luɔi ▁ka yee ▁du th uɛ ̈ ɛ ̈ c ▁ab ɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔ ny ▁në ▁kɔc kɔ ̈ k iic . ▁acë ▁wëu ▁juëc ▁ar iɔp de ▁ne ▁n ba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud ▁ { | ▁border =0 ▁ali g n = ri gh t ▁c el l p ad d ing =0 ▁c el l s p ac ing =0 ▁w id th = 000 ▁st y le = " m ar g in : ▁0 ▁0 ▁0 em ▁0 em ; ▁b ac k g rou n d : ▁# f 0 f 0 f 0 ; ▁border : ▁0 p x ▁# aa aa aa ▁s ol id ; ▁border - c ol la |
| 3000 | ▁aköl ▁de ▁krïthmath ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛinïn ▁00 ▁penëth iɛ ̈ ɛ ̈ rkurou . ▁yen ▁ayee ▁tök ▁në ▁kɛm ▁ke ▁nïn ▁thiek iic ▁arët ▁tënë ▁kërëthanooi , ▁yen ▁ku ▁aköl j ön rɔt ëbɛ ̈ ny ▁manut ▁në ▁run ken ▁ke ▁luɔi ▁kayee ▁du th uɛ ̈ ɛ ̈ c ▁abɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔny ▁në ▁kɔc kɔ ̈ kiic . ▁acë ▁wëu ▁juëc ▁ar iɔp de ▁ne ▁nba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud ▁ { | ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0 ▁0 ▁0 em ▁0 em ; ▁background : ▁# f 0 f 0 f 0; ▁border : ▁0 px ▁# aaaaaa ▁solid ; ▁border - col la |
| 5000 | ▁aköl ▁de ▁krïthmath ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛinïn ▁00 ▁penëthiɛ ̈ ɛ ̈ rkurou . ▁yen ▁ayee ▁tök ▁në ▁kɛm ▁ke ▁nïn ▁thiek iic ▁arët ▁tënë ▁kërëthanooi , ▁yen ▁ku ▁aköl j ön rɔt ëbɛ ̈ ny ▁manut ▁në ▁run ken ▁ke ▁luɔi ▁kayee ▁du thuɛ ̈ ɛ ̈ c ▁abɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔny ▁në ▁kɔckɔ ̈ kiic . ▁acë ▁wëu ▁juëc ▁ariɔp de ▁ne ▁nba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud ▁ { | ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0 ▁0 ▁0 em ▁0 em ; ▁background : ▁# f 0 f 0 f 0; ▁border : ▁0 px ▁# aaaaaa ▁solid ; ▁border - col la |