Occitan (post 1500) (oc) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ocwiki sample |
|---|---|
| original | pasmens, l'eveniment decisiu de l'unificacion de l'aràbia saudita se debanèt quand hussein de hedjaz refusèt de participar a una conferéncia reünida p per lei decisions pus importantas coma certanei revisions de la constitucion ò la ratificacion dei tractats internacionaus majors, lo president pòu ta gabon es un estat en desvolopament amb una economia principalament basada sus l'esplecha dei ressorsas naturalas fòrça importanta de son territòri. en |
| 1000 | ▁pasmens , ▁l ' e ven iment ▁dec is iu ▁de ▁l ' un if ica cion ▁de ▁l ' ar à b ia ▁s au d ita ▁se ▁de ban èt ▁qu and ▁h us se in ▁de ▁h ed ja z ▁ref us èt ▁de ▁part ici par ▁a ▁una ▁conf er éncia ▁re ü n ida ▁p ▁per ▁lei ▁dec is ions ▁pus ▁important as ▁coma ▁c ert an ei ▁rev is ions ▁de ▁la ▁cons titu cion ▁ò ▁la ▁r at if ica cion ▁dei ▁tra ct ats ▁inter n acion aus ▁ma j ors , ▁lo ▁pres ident ▁pò u ▁t a ▁g ab on ▁es ▁un ▁est at ▁en ▁des vol op ament ▁amb ▁una ▁e con om ia ▁princi pal ament ▁bas ada ▁sus ▁l ' esp le cha ▁dei ▁res s ors as ▁nat ur alas ▁fòrça ▁important a ▁de ▁son ▁territòri . ▁en |
| 3000 | ▁pasmens , ▁l ' e ven iment ▁dec is iu ▁de ▁l ' un ificacion ▁de ▁l ' ar à b ia ▁s aud ita ▁se ▁deban èt ▁quand ▁h us se in ▁de ▁h ed ja z ▁refus èt ▁de ▁partici par ▁a ▁una ▁conf er éncia ▁re ün ida ▁p ▁per ▁lei ▁dec is ions ▁pus ▁importantas ▁coma ▁certan ei ▁rev is ions ▁de ▁la ▁constitucion ▁ò ▁la ▁rat ificacion ▁dei ▁tract ats ▁internacion aus ▁maj ors , ▁lo ▁president ▁pò u ▁ta ▁g ab on ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁econom ia ▁principal ament ▁bas ada ▁sus ▁l ' esp le cha ▁dei ▁res s ors as ▁natur alas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |
| 5000 | ▁pasmens , ▁l ' e ven iment ▁dec is iu ▁de ▁l ' un ificacion ▁de ▁l ' arà bia ▁s aud ita ▁se ▁debanèt ▁quand ▁h us se in ▁de ▁h ed ja z ▁refus èt ▁de ▁partici par ▁a ▁una ▁confer éncia ▁reün ida ▁p ▁per ▁lei ▁dec isions ▁pus ▁importantas ▁coma ▁certanei ▁rev isions ▁de ▁la ▁constitucion ▁ò ▁la ▁rat ificacion ▁dei ▁tract ats ▁internacion aus ▁maj ors , ▁lo ▁president ▁pòu ▁ta ▁gab on ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁econom ia ▁principalament ▁bas ada ▁sus ▁l ' esp le cha ▁dei ▁ress ors as ▁natur alas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |
| 10000 | ▁pasmens , ▁l ' e veniment ▁decis iu ▁de ▁l ' un ificacion ▁de ▁l ' arà bia ▁s aud ita ▁se ▁debanèt ▁quand ▁h usse in ▁de ▁h ed ja z ▁refusèt ▁de ▁participar ▁a ▁una ▁conferéncia ▁reün ida ▁p ▁per ▁lei ▁decisions ▁pus ▁importantas ▁coma ▁certanei ▁rev isions ▁de ▁la ▁constitucion ▁ò ▁la ▁rat ificacion ▁dei ▁tractats ▁internacion aus ▁maj ors , ▁lo ▁president ▁pòu ▁ta ▁gab on ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁economia ▁principalament ▁basada ▁sus ▁l ' esple cha ▁dei ▁ressorsas ▁naturalas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |
| 25000 | ▁pasmens , ▁l ' eveniment ▁decisiu ▁de ▁l ' unificacion ▁de ▁l ' arà bia ▁saudita ▁se ▁debanèt ▁quand ▁h ussein ▁de ▁h ed ja z ▁refusèt ▁de ▁participar ▁a ▁una ▁conferéncia ▁reün ida ▁p ▁per ▁lei ▁decisions ▁pus ▁importantas ▁coma ▁certanei ▁rev isions ▁de ▁la ▁constitucion ▁ò ▁la ▁ratificacion ▁dei ▁tractats ▁internacion aus ▁majors , ▁lo ▁president ▁pòu ▁ta ▁gabon ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁economia ▁principalament ▁basada ▁sus ▁l ' esplecha ▁dei ▁ressorsas ▁naturalas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |
| 50000 | ▁pasmens , ▁l ' eveniment ▁decisiu ▁de ▁l ' unificacion ▁de ▁l ' aràbia ▁saudita ▁se ▁debanèt ▁quand ▁hussein ▁de ▁hed jaz ▁refusèt ▁de ▁participar ▁a ▁una ▁conferéncia ▁reünida ▁p ▁per ▁lei ▁decisions ▁pus ▁importantas ▁coma ▁certanei ▁rev isions ▁de ▁la ▁constitucion ▁ò ▁la ▁ratificacion ▁dei ▁tractats ▁internacionaus ▁majors , ▁lo ▁president ▁pòu ▁ta ▁gabon ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁economia ▁principalament ▁basada ▁sus ▁l ' esplecha ▁dei ▁ressorsas ▁naturalas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |
| 100000 | ▁pasmens , ▁l ' eveniment ▁decisiu ▁de ▁l ' unificacion ▁de ▁l ' aràbia ▁saudita ▁se ▁debanèt ▁quand ▁hussein ▁de ▁hedjaz ▁refusèt ▁de ▁participar ▁a ▁una ▁conferéncia ▁reünida ▁p ▁per ▁lei ▁decisions ▁pus ▁importantas ▁coma ▁certanei ▁revisions ▁de ▁la ▁constitucion ▁ò ▁la ▁ratificacion ▁dei ▁tractats ▁internacionaus ▁majors , ▁lo ▁president ▁pòu ▁ta ▁gabon ▁es ▁un ▁estat ▁en ▁desvolopament ▁amb ▁una ▁economia ▁principalament ▁basada ▁sus ▁l ' esplecha ▁dei ▁ressorsas ▁naturalas ▁fòrça ▁importanta ▁de ▁son ▁territòri . ▁en |