Limburgan (li) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | liwiki sample |
|---|---|
| original | * claudius ii, 000 - 000 * quintillus, 000 * aurelianus, 000 - 000 * septimius, 000 (allein in dalmatië) * marcus claudius tacitus, 000 - 000 * floria image:pilsensynagogue.jpg|synagoge van plzeň image:templebethel.jpg|de oudste synagoge in florida, art deco franklin delano roosevelt in 0000 franklin delano roosevelt (hyde park, new york, 00 januari 0000 - warm springs, georgia, 00 april 0000) waor de 00e |
| 1000 | ▁* ▁c la ud ius ▁i i , ▁000 ▁- ▁000 ▁* ▁ qu int ill us , ▁000 ▁* ▁a ur el i an us , ▁000 ▁- ▁000 ▁* ▁s ep t im ius , ▁000 ▁( al le in ▁in ▁d al m at ië ) ▁* ▁mar c us ▁c la ud ius ▁t ac it us , ▁000 ▁- ▁000 ▁* ▁f l or ia ▁ im a ge : p il s ens y n ag og u e . jpg | s y n ag o ge ▁van ▁pl ze ň ▁ im a ge : te mp le b et h el . jpg | de ▁o ud ste ▁sy n ag o ge ▁in ▁f l or id a , ▁ar t ▁dec o ▁fran kl in ▁de l an o ▁ro o se vel t ▁in ▁0000 ▁fran kl in ▁de l an o ▁ro o se vel t ▁( h y de ▁par k , ▁ne w ▁ y or k , ▁00 ▁jan u ari ▁0000 ▁- ▁w ar m ▁s pr ings , ▁ge or g ia , ▁00 ▁a pr il ▁0000) ▁waor ▁de ▁00 e |
| 3000 | ▁* ▁cla ud ius ▁ii , ▁000 ▁- ▁000 ▁* ▁qu int ill us , ▁000 ▁* ▁a ur el ian us , ▁000 ▁- ▁000 ▁* ▁sep t im ius , ▁000 ▁( alle in ▁in ▁dal mat ië ) ▁* ▁mar cus ▁cla ud ius ▁t ac it us , ▁000 ▁- ▁000 ▁* ▁fl or ia ▁im age : p il s ens yn ag og ue . jpg | s yn ag oge ▁van ▁pl ze ň ▁im age : te mp le b et hel . jpg | de ▁oud ste ▁sy n ag oge ▁in ▁fl or ida , ▁art ▁dec o ▁fran kl in ▁del an o ▁ro o se vel t ▁in ▁0000 ▁fran kl in ▁del an o ▁ro o se vel t ▁( h y de ▁par k , ▁new ▁y ork , ▁00 ▁januari ▁0000 ▁- ▁war m ▁spr ings , ▁geor g ia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |
| 5000 | ▁* ▁cla ud ius ▁ii , ▁000 ▁- ▁000 ▁* ▁qu int ill us , ▁000 ▁* ▁a ur el ian us , ▁000 ▁- ▁000 ▁* ▁sep t im ius , ▁000 ▁( alle in ▁in ▁dal mat ië ) ▁* ▁mar cus ▁cla ud ius ▁t ac it us , ▁000 ▁- ▁000 ▁* ▁flor ia ▁image : p ils ens yn ag og ue . jpg | s yn ag oge ▁van ▁pl ze ň ▁image : te mp le bet hel . jpg | de ▁oud ste ▁syn ag oge ▁in ▁flor ida , ▁art ▁dec o ▁fran kl in ▁del an o ▁ro o se vel t ▁in ▁0000 ▁fran kl in ▁del an o ▁ro o se vel t ▁( h y de ▁park , ▁new ▁york , ▁00 ▁januari ▁0000 ▁- ▁war m ▁spr ings , ▁georg ia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |
| 10000 | ▁* ▁cla ud ius ▁ii , ▁000 ▁- ▁000 ▁* ▁qu int ill us , ▁000 ▁* ▁a ur el ianus , ▁000 ▁- ▁000 ▁* ▁sep tim ius , ▁000 ▁( alle in ▁in ▁dal mat ië ) ▁* ▁mar cus ▁cla ud ius ▁t ac it us , ▁000 ▁- ▁000 ▁* ▁flor ia ▁image : p ils ens yn ag og ue . jpg | s yn ag oge ▁van ▁pl ze ň ▁image : te mp le bet hel . jpg | de ▁oud ste ▁syn ag oge ▁in ▁flor ida , ▁art ▁dec o ▁fran kl in ▁del ano ▁ro ose velt ▁in ▁0000 ▁fran kl in ▁del ano ▁ro ose velt ▁( hy de ▁park , ▁new ▁york , ▁00 ▁januari ▁0000 ▁- ▁war m ▁spr ings , ▁georg ia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |
| 25000 | ▁* ▁claud ius ▁ii , ▁000 ▁- ▁000 ▁* ▁qu int ill us , ▁000 ▁* ▁aurel ianus , ▁000 ▁- ▁000 ▁* ▁sep tim ius , ▁000 ▁( allein ▁in ▁dal mat ië ) ▁* ▁marcus ▁claud ius ▁tac itus , ▁000 ▁- ▁000 ▁* ▁flor ia ▁image : p ils ens yn agog ue . jpg | syn agoge ▁van ▁pl ze ň ▁image : temp le bet hel . jpg | de ▁oudste ▁syn agoge ▁in ▁florida , ▁art ▁dec o ▁franklin ▁del ano ▁roosevelt ▁in ▁0000 ▁franklin ▁del ano ▁roosevelt ▁( hy de ▁park , ▁new ▁york , ▁00 ▁januari ▁0000 ▁- ▁war m ▁spr ings , ▁georgia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |
| 50000 | ▁* ▁claudius ▁ii , ▁000 ▁- ▁000 ▁* ▁quint illus , ▁000 ▁* ▁aurelianus , ▁000 ▁- ▁000 ▁* ▁septim ius , ▁000 ▁( allein ▁in ▁dal mat ië ) ▁* ▁marcus ▁claudius ▁tacitus , ▁000 ▁- ▁000 ▁* ▁flor ia ▁image : p ils ens yn agog ue . jpg | syn agoge ▁van ▁pl ze ň ▁image : temp le bet hel . jpg | de ▁oudste ▁synagoge ▁in ▁florida , ▁art ▁deco ▁franklin ▁delano ▁roosevelt ▁in ▁0000 ▁franklin ▁delano ▁roosevelt ▁( hy de ▁park , ▁new ▁york , ▁00 ▁januari ▁0000 ▁- ▁war m ▁springs , ▁georgia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |
| 100000 | ▁* ▁claudius ▁ii , ▁000 ▁- ▁000 ▁* ▁quint illus , ▁000 ▁* ▁aurelianus , ▁000 ▁- ▁000 ▁* ▁septimius , ▁000 ▁( allein ▁in ▁dalmatië ) ▁* ▁marcus ▁claudius ▁tacitus , ▁000 ▁- ▁000 ▁* ▁flor ia ▁image : pils ens yn agog ue . jpg | syn agoge ▁van ▁pl ze ň ▁image : temp le bet hel . jpg | de ▁oudste ▁synagoge ▁in ▁florida , ▁art ▁deco ▁franklin ▁delano ▁roosevelt ▁in ▁0000 ▁franklin ▁delano ▁roosevelt ▁( hyde ▁park , ▁new ▁york , ▁00 ▁januari ▁0000 ▁- ▁warm ▁springs , ▁georgia , ▁00 ▁april ▁0000) ▁waor ▁de ▁00 e |