Cebuano (ceb) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | cebwiki sample |
|---|---|
| original | ang manglieu usa ka komyun sa pransiya. kini may 000 ka molupyo ug nahimutang sa departamento sa puy-de-dôme sa rehiyon sa auvergne-rhône-alpes. ang dallet usa ka komyun sa pransiya. kini may 0,000 ka molupyo ug nahimutang sa departamento sa puy-de-dôme sa rehiyon sa auvergne-rhône-alpes. kategoriya:mga natawo sa wala mailhi nga tuig kategoriya:mga namatay sa wala mailhi nga tuig kategoriya:mga natawo sa wala mailhi nga petsa kategoriya |
| 1000 | ▁ang ▁m ang li e u ▁usa ▁ka ▁komyun ▁sa ▁p ran s iya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁p u y - de - d ô m e ▁sa ▁rehiyon ▁sa ▁a u ver g ne - rh ô ne - al p es . ▁ang ▁d all et ▁usa ▁ka ▁komyun ▁sa ▁p ran s iya . ▁kini ▁may ▁0 ,00 0 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁p u y - de - d ô m e ▁sa ▁rehiyon ▁sa ▁a u ver g ne - rh ô ne - al p es . ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁t u ig ▁kategoriya : mga ▁na ma ta y ▁sa ▁wa la ▁ma il hi ▁nga ▁t u ig ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁p et sa ▁kategoriya |
| 3000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁pu y - de - d ô me ▁sa ▁rehiyon ▁sa ▁au ver gne - rh ône - alp es . ▁ang ▁d all et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0 ,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁pu y - de - d ô me ▁sa ▁rehiyon ▁sa ▁au ver gne - rh ône - alp es . ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁tu ig ▁kategoriya : mga ▁na ma tay ▁sa ▁wa la ▁ma il hi ▁nga ▁tu ig ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁pet sa ▁kategoriya |
| 5000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁pu y - de - d ô me ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁ang ▁d all et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁pu y - de - d ô me ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁tu ig ▁kategoriya : mga ▁na ma tay ▁sa ▁wa la ▁ma il hi ▁nga ▁tu ig ▁kategoriya : mga ▁na ta wo ▁sa ▁wa la ▁ma il hi ▁nga ▁pet sa ▁kategoriya |
| 10000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - d ôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁ang ▁dall et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - d ôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁kategoriya : mga ▁natawo ▁sa ▁wa la ▁ma il hi ▁nga ▁tuig ▁kategoriya : mga ▁nama tay ▁sa ▁wa la ▁ma il hi ▁nga ▁tuig ▁kategoriya : mga ▁natawo ▁sa ▁wa la ▁ma il hi ▁nga ▁pet sa ▁kategoriya |
| 25000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁ang ▁dall et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁namatay ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁pet sa ▁kategoriya |
| 50000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁ang ▁dall et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁namatay ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁petsa ▁kategoriya |
| 100000 | ▁ang ▁mang li eu ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁ang ▁dall et ▁usa ▁ka ▁komyun ▁sa ▁pransiya . ▁kini ▁may ▁0,000 ▁ka ▁molupyo ▁ug ▁nahimutang ▁sa ▁departamento ▁sa ▁puy - de - dôme ▁sa ▁rehiyon ▁sa ▁auvergne - rhône - alpes . ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁namatay ▁sa ▁wala ▁mailhi ▁nga ▁tuig ▁kategoriya : mga ▁natawo ▁sa ▁wala ▁mailhi ▁nga ▁petsa ▁kategoriya |