Ido (io) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | iowiki sample |
|---|---|
| original | piramido esas monumento kun quar facii triangula e bazo quadriangula, qua uzesis kom tombo por l'olima reji di egiptia (faraoni). {| border="0" cellpadding="0" cellspacing="0" style="float:right; empty-cells:show; width:00%; margin-left:0em; margin-bottom:0,0em; background:#dad00 * 000 ak - alexandros la magna, imperiestro di historiala macedonia (m. 000 ak) * 0000 - rejulo juan la 0ma di kastilia (m. 0000) * 0000 - gregor mend |
| 1000 | ▁pi ra mi do ▁esas ▁mon um ento ▁kun ▁qu ar ▁fa ci i ▁tri an gu la ▁e ▁ba zo ▁qua d ri an gu la , ▁qua ▁uz esis ▁kom ▁to m bo ▁por ▁l ' o li ma ▁rej i ▁di ▁e gi p ti a ▁( fa ra oni ). ▁ { | ▁b or der = " 0 " ▁c el l pa d d ing = " 0 " ▁c el l s p ac ing = " 0 " ▁s ty le = " f lo a t : rig h t ; ▁e mp ty - c el l s : s ho w ; ▁w i d th : 00 % ; ▁mar g in - le f t : 0 em ; ▁mar g in - bo t to m : 0 , 0 em ; ▁b ac k g ro un d : # da d 00 ▁* ▁000 ▁ak ▁- ▁a le x and ro s ▁la ▁ma g na , ▁imp eri es tro ▁di ▁histo ri ala ▁ma ce d oni a ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁ju an ▁la ▁0 ma ▁di ▁k as ti lia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gre g or ▁m en d |
| 3000 | ▁pi ra mi do ▁esas ▁mon um ento ▁kun ▁quar ▁fa ci i ▁tri an gu la ▁e ▁bazo ▁qua dri an gu la , ▁qua ▁uz esis ▁kom ▁to mbo ▁por ▁l ' oli ma ▁reji ▁di ▁egiptia ▁( fa ra oni ). ▁ { | ▁border ="0" ▁c ell pa dd ing ="0" ▁c ell s p ac ing ="0" ▁s ty le =" f lo at : right ; ▁e mp ty - c ell s : s ho w ; ▁w id th : 00 % ; ▁mar g in - left : 0 em ; ▁mar g in - bo tto m : 0 ,0 em ; ▁b ac k g ro und : # dad 00 ▁* ▁000 ▁ak ▁- ▁alexand ros ▁la ▁ma gna , ▁imperiestro ▁di ▁historiala ▁ma ced onia ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁juan ▁la ▁0 ma ▁di ▁kas ti lia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gre g or ▁m end |
| 5000 | ▁pi ra mi do ▁esas ▁mon um ento ▁kun ▁quar ▁faci i ▁tri an gu la ▁e ▁bazo ▁qua dri an gu la , ▁qua ▁uzesis ▁kom ▁to mbo ▁por ▁l ' oli ma ▁reji ▁di ▁egiptia ▁( fa ra oni ). ▁ { | ▁border ="0" ▁cellpadding ="0" ▁cellspacing ="0" ▁style =" f lo at : right ; ▁emp ty - c ell s : s ho w ; ▁width :00 % ; ▁mar gin - left : 0 em ; ▁mar gin - bo tto m : 0 ,0 em ; ▁bac k ground : # dad 00 ▁* ▁000 ▁ak ▁- ▁alexand ros ▁la ▁ma gna , ▁imperiestro ▁di ▁historiala ▁macedonia ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁juan ▁la ▁0 ma ▁di ▁kastilia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gre gor ▁m end |
| 10000 | ▁pira mi do ▁esas ▁monumento ▁kun ▁quar ▁faci i ▁trian gula ▁e ▁bazo ▁qua dri an gula , ▁qua ▁uzesis ▁kom ▁tombo ▁por ▁l ' oli ma ▁reji ▁di ▁egiptia ▁( fa ra oni ). ▁ { | ▁border ="0" ▁cellpadding ="0" ▁cellspacing ="0" ▁style =" flo at : right ; ▁emp ty - c ells : sho w ; ▁width :00 % ; ▁mar gin - left : 0 em ; ▁mar gin - bo tto m : 0 ,0 em ; ▁background : # dad 00 ▁* ▁000 ▁ak ▁- ▁alexandros ▁la ▁magna , ▁imperiestro ▁di ▁historiala ▁macedonia ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁juan ▁la ▁0 ma ▁di ▁kastilia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gre gor ▁m end |
| 25000 | ▁piramido ▁esas ▁monumento ▁kun ▁quar ▁facii ▁triangula ▁e ▁bazo ▁quadri angula , ▁qua ▁uzesis ▁kom ▁tombo ▁por ▁l ' olima ▁reji ▁di ▁egiptia ▁( fa ra oni ). ▁ { | ▁border ="0" ▁cellpadding ="0" ▁cellspacing ="0" ▁style =" float : right ; ▁emp ty - c ells : show ; ▁width :00%; ▁margin - left :0 em ; ▁margin - bo tto m :0 ,0 em ; ▁background :# dad 00 ▁* ▁000 ▁ak ▁- ▁alexandros ▁la ▁magna , ▁imperiestro ▁di ▁historiala ▁macedonia ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁juan ▁la ▁0 ma ▁di ▁kastilia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gregor ▁mend |
| 50000 | ▁piramido ▁esas ▁monumento ▁kun ▁quar ▁facii ▁triangula ▁e ▁bazo ▁quadriangula , ▁qua ▁uzesis ▁kom ▁tombo ▁por ▁l ' olima ▁reji ▁di ▁egiptia ▁( fara oni ). ▁ { | ▁border ="0" ▁cellpadding ="0" ▁cellspacing ="0" ▁style =" float : right ; ▁empty - cells : show ; ▁width :00%; ▁margin - left :0 em ; ▁margin - bottom :0,0 em ; ▁background :# dad 00 ▁* ▁000 ▁ak ▁- ▁alexandros ▁la ▁magna , ▁imperiestro ▁di ▁historiala ▁macedonia ▁( m . ▁000 ▁ak ) ▁* ▁0000 ▁- ▁rejulo ▁juan ▁la ▁0 ma ▁di ▁kastilia ▁( m . ▁0000) ▁* ▁0000 ▁- ▁gregor ▁mend |