Quechua (qu) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | quwiki sample |
|---|---|
| original | san isidro distritu; (kastilla simipi: ''distrito de san isidro'') nisqaqa huk distritum lima pruwinsyapi, piruw mama llaqtapi. piruwanu nasyunalista partidu - amirika mamallaqtap pachakutinapaq huñunakuynin (apra) - mamallaqtap ruraynin (ap) - piruwpaq huñu (upp) - piruwpa kum * deux arabesques (0000) * suite bergamasque (0000) ** prélude ** menuet ** clair de lune ** passepied * rêverie (0000) * danse (0000) * ballade (0000 |
| 1000 | ▁san ▁is i d ro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁is i d ro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruw anu ▁n as y una lis ta ▁par ti du ▁- ▁amirika ▁mamallaqta p ▁pacha ku tina paq ▁hu ñ una kuy nin ▁( a p ra ) ▁- ▁mamallaqta p ▁ru ray nin ▁( a p ) ▁- ▁piruw paq ▁hu ñu ▁( u p p ) ▁- ▁piruw pa ▁ku m ▁* ▁de u x ▁a ra b es qu es ▁(0000) ▁* ▁su i te ▁b er ga ma squ e ▁(0000) ▁** ▁p r é lu de ▁** ▁m en u e t ▁** ▁c la i r ▁de ▁l un e ▁** ▁pa s se pi ed ▁* ▁r ê ve ri e ▁(0000) ▁* ▁d an se ▁(0000) ▁* ▁ba lla de ▁(0000 |
| 3000 | ▁san ▁is i dro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁is i dro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruwanu ▁nas y una lista ▁partidu ▁- ▁amirika ▁mamallaqta p ▁pacha ku tina paq ▁hu ñuna kuynin ▁( ap ra ) ▁- ▁mamallaqta p ▁ruray nin ▁( ap ) ▁- ▁piruw paq ▁hu ñu ▁( u p p ) ▁- ▁piruwpa ▁ku m ▁* ▁de u x ▁ara b es qu es ▁(0000) ▁* ▁su i te ▁ber ga ma squ e ▁(0000) ▁** ▁p ré lu de ▁** ▁men ue t ▁** ▁cla ir ▁de ▁l un e ▁** ▁pas se pi ed ▁* ▁r ê ve rie ▁(0000) ▁* ▁d an se ▁(0000) ▁* ▁ba lla de ▁(0000 |
| 5000 | ▁san ▁isi dro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁isi dro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruwanu ▁nas y una lista ▁partidu ▁- ▁amirika ▁mamallaqta p ▁pacha ku tina paq ▁huñuna kuynin ▁( ap ra ) ▁- ▁mamallaqta p ▁ruray nin ▁( ap ) ▁- ▁piruw paq ▁huñu ▁( up p ) ▁- ▁piruwpa ▁ku m ▁* ▁de ux ▁ara bes ques ▁(0000) ▁* ▁su ite ▁ber ga ma squ e ▁(0000) ▁** ▁p ré lu de ▁** ▁men ue t ▁** ▁cla ir ▁de ▁l un e ▁** ▁pas se pi ed ▁* ▁r ê ve rie ▁(0000) ▁* ▁dan se ▁(0000) ▁* ▁ba lla de ▁(0000 |
| 10000 | ▁san ▁isidro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁isidro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruwanu ▁nas yuna lista ▁partidu ▁- ▁amirika ▁mamallaqtap ▁pacha ku tina paq ▁huñuna kuynin ▁( apra ) ▁- ▁mamallaqtap ▁ruray nin ▁( ap ) ▁- ▁piruw paq ▁huñu ▁( up p ) ▁- ▁piruwpa ▁ku m ▁* ▁de ux ▁ara bes ques ▁(0000) ▁* ▁su ite ▁ber ga ma squ e ▁(0000) ▁** ▁pré lu de ▁** ▁men ue t ▁** ▁cla ir ▁de ▁l une ▁** ▁pas se pi ed ▁* ▁r ê ve rie ▁(0000) ▁* ▁dan se ▁(0000) ▁* ▁ba lla de ▁(0000 |
| 25000 | ▁san ▁isidro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁isidro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruwanu ▁nasyunalista ▁partidu ▁- ▁amirika ▁mamallaqtap ▁pacha ku tinapaq ▁huñunakuynin ▁( apra ) ▁- ▁mamallaqtap ▁ruraynin ▁( ap ) ▁- ▁piruwpaq ▁huñu ▁( up p ) ▁- ▁piruwpa ▁ku m ▁* ▁deux ▁ara bes ques ▁(0000) ▁* ▁suite ▁ber ga ma sque ▁(0000) ▁** ▁pré lu de ▁** ▁men ue t ▁** ▁cla ir ▁de ▁l une ▁** ▁pas se pi ed ▁* ▁r ê ve rie ▁(0000) ▁* ▁dan se ▁(0000) ▁* ▁balla de ▁(0000 |
| 50000 | ▁san ▁isidro ▁distritu ; ▁( kastilla ▁simipi : ▁'' distrito ▁de ▁san ▁isidro '') ▁nisqaqa ▁huk ▁distritum ▁lima ▁pruwinsyapi , ▁piruw ▁mama ▁llaqtapi . ▁piruwanu ▁nasyunalista ▁partidu ▁- ▁amirika ▁mamallaqtap ▁pachakutinapaq ▁huñunakuynin ▁( apra ) ▁- ▁mamallaqtap ▁ruraynin ▁( ap ) ▁- ▁piruwpaq ▁huñu ▁( up p ) ▁- ▁piruwpa ▁ku m ▁* ▁deux ▁ara bes ques ▁(0000) ▁* ▁suite ▁ber ga ma sque ▁(0000) ▁** ▁pré lude ▁** ▁men uet ▁** ▁cla ir ▁de ▁l une ▁** ▁pas se pied ▁* ▁rêve rie ▁(0000) ▁* ▁danse ▁(0000) ▁* ▁balla de ▁(0000 |