Asturian (ast) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | astwiki sample |
|---|---|
| original | * 000 -- territorios esternos australianos: antártida, islles christmas, islles cocos y norfolk * 000 -- brunéi * 000 -- nauru * 000 -- papúa nueva gu el territoriu griegu ye principalmente montascosu y conforma xuna península que sobresal del estremu sur de los balcanes y termina na península del pe * 0000 - petronila, reina d'aragón * 0000 - antonio de gaztañeta, marín español. * 0000 - fernando arrabal, escritor español. |
| 1000 | ▁* ▁000 ▁- - ▁ter ri tor ios ▁es ter n os ▁a us tral i anos : ▁an tá r ti da , ▁is l les ▁ch ris t m as , ▁is l les ▁c oc os ▁y ▁nor f ol k ▁* ▁000 ▁- - ▁b r un é i ▁* ▁000 ▁- - ▁na u ru ▁* ▁000 ▁- - ▁pa p ú a ▁nueva ▁gu ▁el ▁ter ri tor iu ▁g ri egu ▁ye ▁princip almente ▁mon ta s cos u ▁y ▁con for ma ▁xun a ▁p en ín su la ▁que ▁so b res al ▁del ▁es tre mu ▁sur ▁de ▁los ▁b al c anes ▁y ▁ter m ina ▁na ▁p en ín su la ▁del ▁pe ▁* ▁0000 ▁- ▁pe tr on i la , ▁re ina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁an ton io ▁de ▁g a z ta ñ eta , ▁mar ín ▁es pañ ol . ▁* ▁0000 ▁- ▁f ern ando ▁ar ra b al , ▁escri tor ▁es pañ ol . |
| 3000 | ▁* ▁000 ▁- - ▁terri tor ios ▁es tern os ▁austral i anos : ▁an tá r tida , ▁islles ▁chris t m as , ▁islles ▁coc os ▁y ▁nor f ol k ▁* ▁000 ▁- - ▁b r un é i ▁* ▁000 ▁- - ▁na u ru ▁* ▁000 ▁- - ▁pa p ú a ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁mon tas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sob res al ▁del ▁estre mu ▁sur ▁de ▁los ▁bal c anes ▁y ▁ter m ina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁pe tron ila , ▁re ina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁anton io ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fern ando ▁ar ra bal , ▁escritor ▁español . |
| 5000 | ▁* ▁000 ▁-- ▁territorios ▁es tern os ▁austral ianos : ▁an tá r tida , ▁islles ▁chris t mas , ▁islles ▁coc os ▁y ▁nor fol k ▁* ▁000 ▁-- ▁br un é i ▁* ▁000 ▁-- ▁na u ru ▁* ▁000 ▁-- ▁pa p ú a ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁mon tas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sob res al ▁del ▁estremu ▁sur ▁de ▁los ▁bal c anes ▁y ▁ter mina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁antonio ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fern ando ▁ar ra bal , ▁escritor ▁español . |
| 10000 | ▁* ▁000 ▁-- ▁territorios ▁es tern os ▁austral ianos : ▁an tár tida , ▁islles ▁christmas , ▁islles ▁coc os ▁y ▁nor fol k ▁* ▁000 ▁-- ▁brun éi ▁* ▁000 ▁-- ▁na uru ▁* ▁000 ▁-- ▁pap úa ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sobres al ▁del ▁estremu ▁sur ▁de ▁los ▁bal canes ▁y ▁termina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fernando ▁ar ra bal , ▁escritor ▁español . |
| 25000 | ▁* ▁000 ▁-- ▁territorios ▁esternos ▁austral ianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁coc os ▁y ▁nor folk ▁* ▁000 ▁-- ▁brun éi ▁* ▁000 ▁-- ▁na uru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascos u ▁y ▁conforma ▁xun a ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñ eta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁ar ra bal , ▁escritor ▁español . |
| 50000 | ▁* ▁000 ▁-- ▁territorios ▁esternos ▁australianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁cocos ▁y ▁norfolk ▁* ▁000 ▁-- ▁brunéi ▁* ▁000 ▁-- ▁nauru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascosu ▁y ▁conforma ▁xuna ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁petron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñeta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁arra bal , ▁escritor ▁español . |
| 100000 | ▁* ▁000 ▁-- ▁territorios ▁esternos ▁australianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁cocos ▁y ▁norfolk ▁* ▁000 ▁-- ▁brunéi ▁* ▁000 ▁-- ▁nauru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu ▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascosu ▁y ▁conforma ▁xuna ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe ▁* ▁0000 ▁- ▁petronila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñeta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁arrabal , ▁escritor ▁español . |