Indonesian (id) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | idwiki sample |
|---|---|
| original | ketika dilahirkan, soekarno diberikan nama kusno oleh orangtuanya. namun karena ia sering sakit maka ketika berumur sebelas tahun namanya diubah menja argentina juga cukup terkenal dengan tarian 'tango'nya, terutamanya di kota-kota seperti buenos aires. tarian ''hot'' ini amat terkenal di seluruh dun * masih banyak lagi pulau di indonesia baik yang sudah diberi nama dan dihuni maupun yang belum diberi nama dan belum dihuni oleh orang indonesia sehi |
| 1000 | ▁ketika ▁di lah ir kan , ▁so ek ar n o ▁di ber ikan ▁nama ▁k us n o ▁oleh ▁orang t u anya . ▁namun ▁karena ▁ia ▁ser ing ▁s ak it ▁mak a ▁ketika ▁ber um ur ▁seb ela s ▁tahun ▁nam anya ▁di ub ah ▁men ja ▁ar g ent ina ▁juga ▁c uk up ▁ter k enal ▁dengan ▁t ari an ▁ ' t ang o ' nya , ▁ter ut am anya ▁di ▁kota - k ota ▁seperti ▁b u en os ▁air es . ▁t ari an ▁'' h ot '' ▁ini ▁am at ▁ter k enal ▁di ▁sel uruh ▁d un ▁* ▁m asih ▁banyak ▁la gi ▁pula u ▁di ▁indonesia ▁ba ik ▁yang ▁s udah ▁di ber i ▁nama ▁dan ▁di h un i ▁ma up un ▁yang ▁b elum ▁di ber i ▁nama ▁dan ▁b elum ▁di h un i ▁oleh ▁orang ▁indonesia ▁se hi |
| 3000 | ▁ketika ▁di lahir kan , ▁so ek ar no ▁diberikan ▁nama ▁k us no ▁oleh ▁orang t uanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁ber um ur ▁seb elas ▁tahun ▁namanya ▁di ubah ▁menja ▁ar g ent ina ▁juga ▁cukup ▁terkenal ▁dengan ▁t arian ▁' t ang o ' nya , ▁ter ut amanya ▁di ▁kota - kota ▁seperti ▁bu en os ▁air es . ▁t arian ▁'' h ot '' ▁ini ▁am at ▁terkenal ▁di ▁seluruh ▁d un ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dih uni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dih uni ▁oleh ▁orang ▁indonesia ▁se hi |
| 5000 | ▁ketika ▁dilahirkan , ▁so ekar no ▁diberikan ▁nama ▁k us no ▁oleh ▁orang t uanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁berumur ▁seb elas ▁tahun ▁namanya ▁diubah ▁menja ▁arg entina ▁juga ▁cukup ▁terkenal ▁dengan ▁t arian ▁' t ang o ' nya , ▁ter ut amanya ▁di ▁kota - kota ▁seperti ▁bu en os ▁air es . ▁t arian ▁'' h ot '' ▁ini ▁am at ▁terkenal ▁di ▁seluruh ▁d un ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dih uni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dih uni ▁oleh ▁orang ▁indonesia ▁se hi |
| 10000 | ▁ketika ▁dilahirkan , ▁soekarno ▁diberikan ▁nama ▁kus no ▁oleh ▁orangt uanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁berumur ▁seb elas ▁tahun ▁namanya ▁diubah ▁menja ▁argentina ▁juga ▁cukup ▁terkenal ▁dengan ▁tarian ▁' t ang o ' nya , ▁ter ut amanya ▁di ▁kota - kota ▁seperti ▁bu en os ▁air es . ▁tarian ▁'' hot '' ▁ini ▁amat ▁terkenal ▁di ▁seluruh ▁dun ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dihuni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dihuni ▁oleh ▁orang ▁indonesia ▁se hi |
| 25000 | ▁ketika ▁dilahirkan , ▁soekarno ▁diberikan ▁nama ▁kus no ▁oleh ▁orangtuanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁berumur ▁sebelas ▁tahun ▁namanya ▁diubah ▁menja ▁argentina ▁juga ▁cukup ▁terkenal ▁dengan ▁tarian ▁' tang o ' nya , ▁ter ut amanya ▁di ▁kota - kota ▁seperti ▁buenos ▁aires . ▁tarian ▁'' hot '' ▁ini ▁amat ▁terkenal ▁di ▁seluruh ▁dun ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dihuni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dihuni ▁oleh ▁orang ▁indonesia ▁se hi |
| 50000 | ▁ketika ▁dilahirkan , ▁soekarno ▁diberikan ▁nama ▁kus no ▁oleh ▁orangtuanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁berumur ▁sebelas ▁tahun ▁namanya ▁diubah ▁menja ▁argentina ▁juga ▁cukup ▁terkenal ▁dengan ▁tarian ▁' tang o ' nya , ▁ter utamanya ▁di ▁kota - kota ▁seperti ▁buenos ▁aires . ▁tarian ▁'' hot '' ▁ini ▁amat ▁terkenal ▁di ▁seluruh ▁dun ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dihuni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dihuni ▁oleh ▁orang ▁indonesia ▁se hi |
| 100000 | ▁ketika ▁dilahirkan , ▁soekarno ▁diberikan ▁nama ▁kusno ▁oleh ▁orangtuanya . ▁namun ▁karena ▁ia ▁sering ▁sakit ▁maka ▁ketika ▁berumur ▁sebelas ▁tahun ▁namanya ▁diubah ▁menja ▁argentina ▁juga ▁cukup ▁terkenal ▁dengan ▁tarian ▁' tango ' nya , ▁terutamanya ▁di ▁kota - kota ▁seperti ▁buenos ▁aires . ▁tarian ▁'' hot '' ▁ini ▁amat ▁terkenal ▁di ▁seluruh ▁dun ▁* ▁masih ▁banyak ▁lagi ▁pulau ▁di ▁indonesia ▁baik ▁yang ▁sudah ▁diberi ▁nama ▁dan ▁dihuni ▁maupun ▁yang ▁belum ▁diberi ▁nama ▁dan ▁belum ▁dihuni ▁oleh ▁orang ▁indonesia ▁se hi |