Esperanto (eo) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | eowiki sample |
|---|---|
| original | kiam bezonatas tre altaj potenco-pezo kvocientoj, eksplodmotoroj estas uzataj en formo de gasoturbinoj. tio okazas ekzemple ĉe reagaviadiloj, helikopt esbato, festo aŭ rito en novpaganismo kaj viĉo, kiu festas la plenan lunon. ĉar la luno estas simbolo de la diino kaj la ina principo, esbatoj estas a la unua aranĝita kurkonkurenco de du mem-energiaj kurvehikloj laŭlonge de antaŭfiksita vojo okazis je la 0:00 a.m. la 00an de aŭgusto, 0000, inter ash |
| 1000 | ▁kiam ▁be z ona tas ▁tre ▁al taj ▁po ten co - pe zo ▁k vo ci en toj , ▁eks plo d mo tor oj ▁estas ▁u za taj ▁en ▁for mo ▁de ▁g as o tur b in oj . ▁tio ▁oka zas ▁ekzem ple ▁ĉe ▁re a g av ia d il oj , ▁he li ko p t ▁es ba to , ▁f es to ▁aŭ ▁ri to ▁en ▁nov pa gan ismo ▁kaj ▁vi ĉ o , ▁kiu ▁f es tas ▁la ▁pl en an ▁l un on . ▁ĉar ▁la ▁l un o ▁estas ▁sim bo lo ▁de ▁la ▁di ino ▁kaj ▁la ▁in a ▁p rin ci po , ▁es ba toj ▁estas ▁a ▁la ▁unua ▁a ran ĝ ita ▁k ur kon k ur en co ▁de ▁du ▁mem - en er gi aj ▁k ur ve h ik loj ▁laŭ lon ge ▁de ▁antaŭ fi ks ita ▁v oj o ▁oka zis ▁je ▁la ▁0 : 00 ▁a . m . ▁la ▁00 an ▁de ▁aŭ g us to , ▁0000, ▁inter ▁as h |
| 3000 | ▁kiam ▁be z ona tas ▁tre ▁al taj ▁poten co - pe zo ▁k vo ci en toj , ▁eks plo d mo toroj ▁estas ▁uza taj ▁en ▁formo ▁de ▁g aso tur b inoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁re ag av ia d iloj , ▁he li ko p t ▁es ba to , ▁f esto ▁aŭ ▁ri to ▁en ▁nov pa gan ismo ▁kaj ▁vi ĉo , ▁kiu ▁fes tas ▁la ▁plen an ▁l un on . ▁ĉar ▁la ▁l uno ▁estas ▁simbo lo ▁de ▁la ▁di ino ▁kaj ▁la ▁in a ▁prin ci po , ▁es ba toj ▁estas ▁a ▁la ▁unua ▁aran ĝ ita ▁kur kon kur enco ▁de ▁du ▁mem - en er gi aj ▁kur ve h ik loj ▁laŭ lon ge ▁de ▁antaŭ fi ks ita ▁vojo ▁okazis ▁je ▁la ▁0 : 00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁as h |
| 5000 | ▁kiam ▁be z ona tas ▁tre ▁altaj ▁poten co - pe zo ▁k vo ci entoj , ▁eksplo d mo toroj ▁estas ▁uzataj ▁en ▁formo ▁de ▁g aso tur b inoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁re ag av ia d iloj , ▁he liko p t ▁es ba to , ▁festo ▁aŭ ▁ri to ▁en ▁nov pagan ismo ▁kaj ▁vi ĉo , ▁kiu ▁fes tas ▁la ▁plen an ▁l un on . ▁ĉar ▁la ▁l uno ▁estas ▁simbolo ▁de ▁la ▁di ino ▁kaj ▁la ▁in a ▁princi po , ▁es ba toj ▁estas ▁a ▁la ▁unua ▁aran ĝ ita ▁kur kon kur enco ▁de ▁du ▁mem - en er gi aj ▁kur ve h ik loj ▁laŭlonge ▁de ▁antaŭ fi ks ita ▁vojo ▁okazis ▁je ▁la ▁0: 00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁as h |
| 10000 | ▁kiam ▁be zona tas ▁tre ▁altaj ▁potenco - pe zo ▁k vo ci entoj , ▁eksplo d mo toroj ▁estas ▁uzataj ▁en ▁formo ▁de ▁gaso tur b inoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁re ag avia diloj , ▁he liko pt ▁es bato , ▁festo ▁aŭ ▁ri to ▁en ▁nov pagan ismo ▁kaj ▁vi ĉo , ▁kiu ▁fes tas ▁la ▁plen an ▁lun on . ▁ĉar ▁la ▁luno ▁estas ▁simbolo ▁de ▁la ▁diino ▁kaj ▁la ▁in a ▁principo , ▁es ba toj ▁estas ▁a ▁la ▁unua ▁aran ĝita ▁kur kon kur enco ▁de ▁du ▁mem - en er giaj ▁kur ve h ik loj ▁laŭlonge ▁de ▁antaŭ fi ks ita ▁vojo ▁okazis ▁je ▁la ▁0:00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁as h |
| 25000 | ▁kiam ▁bezona tas ▁tre ▁altaj ▁potenco - pezo ▁kvoci entoj , ▁eksplo d mo toroj ▁estas ▁uzataj ▁en ▁formo ▁de ▁gaso tur b inoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁re ag avia diloj , ▁heliko pt ▁es bato , ▁festo ▁aŭ ▁rito ▁en ▁nov pagan ismo ▁kaj ▁vi ĉo , ▁kiu ▁festas ▁la ▁plenan ▁lun on . ▁ĉar ▁la ▁luno ▁estas ▁simbolo ▁de ▁la ▁diino ▁kaj ▁la ▁ina ▁principo , ▁es ba toj ▁estas ▁a ▁la ▁unua ▁aranĝita ▁kur konkur enco ▁de ▁du ▁mem - ener giaj ▁kur ve hik loj ▁laŭlonge ▁de ▁antaŭ fiks ita ▁vojo ▁okazis ▁je ▁la ▁0:00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁ash |
| 50000 | ▁kiam ▁bezonatas ▁tre ▁altaj ▁potenco - pezo ▁kvoci entoj , ▁eksplod motoroj ▁estas ▁uzataj ▁en ▁formo ▁de ▁gaso tur binoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁re ag aviadiloj , ▁heliko pt ▁es bato , ▁festo ▁aŭ ▁rito ▁en ▁nov pagan ismo ▁kaj ▁vi ĉo , ▁kiu ▁festas ▁la ▁plenan ▁lunon . ▁ĉar ▁la ▁luno ▁estas ▁simbolo ▁de ▁la ▁diino ▁kaj ▁la ▁ina ▁principo , ▁es batoj ▁estas ▁a ▁la ▁unua ▁aranĝita ▁kur konkur enco ▁de ▁du ▁mem - ener giaj ▁kur ve hik loj ▁laŭlonge ▁de ▁antaŭ fiksita ▁vojo ▁okazis ▁je ▁la ▁0:00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁ash |
| 100000 | ▁kiam ▁bezonatas ▁tre ▁altaj ▁potenco - pezo ▁kvoci entoj , ▁eksplod motoroj ▁estas ▁uzataj ▁en ▁formo ▁de ▁gaso turbinoj . ▁tio ▁okazas ▁ekzemple ▁ĉe ▁reag aviadiloj , ▁heliko pt ▁es bato , ▁festo ▁aŭ ▁rito ▁en ▁novpagan ismo ▁kaj ▁vi ĉo , ▁kiu ▁festas ▁la ▁plenan ▁lunon . ▁ĉar ▁la ▁luno ▁estas ▁simbolo ▁de ▁la ▁diino ▁kaj ▁la ▁ina ▁principo , ▁es batoj ▁estas ▁a ▁la ▁unua ▁aranĝita ▁kur konkurenco ▁de ▁du ▁mem - energiaj ▁kur ve hik loj ▁laŭlonge ▁de ▁antaŭfiksita ▁vojo ▁okazis ▁je ▁la ▁0:00 ▁a . m . ▁la ▁00 an ▁de ▁aŭgusto , ▁0000, ▁inter ▁ash |