Finnish (fi) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | fiwiki sample |
|---|---|
| original | arafat jakoi neuvotteluja netanjahun seuraajan ehud barakin kanssa. vasemmistolainen barak myöntyi tarjoamaan palestiinalaisille gazan ja länsirannan ''blue poles: no. 00, 0000'' 0000 000,0 x 000,0 cm emalji- ja alumiinimaali sekä lasi kankaalle national gallery of australia, canberra * ophir * amanda-palkinto * bodilprisen * guldbagge-palkinto * jussi-palkinto * risto jarva -palkinto * matti pellonpää -palkinto |
| 1000 | ▁ar a f at ▁ja koi ▁ne uv ot tel u ja ▁ne tan ja h un ▁seuraa jan ▁e h ud ▁b ar ak in ▁kanssa . ▁v as em mist ola inen ▁b ar ak ▁myö n tyi ▁tar jo am aan ▁pal es tiin alais ille ▁g a z an ▁ja ▁l än si r ann an ▁'' b l ue ▁p ol es : ▁no . ▁00 , ▁0000 '' ▁0000 ▁000 ,0 ▁ x ▁000 ,0 ▁c m ▁ em al j i - ▁ja ▁al um iin im a ali ▁sekä ▁la si ▁k an ka alle ▁na tion al ▁g all er y ▁of ▁a ust r al ia , ▁c an ber ra ▁* ▁op h ir ▁* ▁a man da - pal kin to ▁* ▁b od il p r isen ▁* ▁g ul d b ag ge - pal kin to ▁* ▁j us si - pal kin to ▁* ▁r isto ▁ja r va ▁- pal kin to ▁* ▁mat ti ▁p ell on p ää ▁- pal kin to |
| 3000 | ▁ar a f at ▁ja koi ▁neuv ottel uja ▁ne tan ja hun ▁seuraa jan ▁eh ud ▁bar akin ▁kanssa . ▁vas emmist ola inen ▁bar ak ▁myö n tyi ▁tarjo am aan ▁pal es tiin alais ille ▁ga z an ▁ja ▁länsi r ann an ▁'' b l ue ▁pol es : ▁no . ▁00, ▁0000 '' ▁0000 ▁000 ,0 ▁x ▁000 ,0 ▁cm ▁em al ji - ▁ja ▁al um iin ima ali ▁sekä ▁la si ▁kan ka alle ▁na tional ▁g all er y ▁of ▁austr alia , ▁c an ber ra ▁* ▁op h ir ▁* ▁a man da - palkin to ▁* ▁b od il pr isen ▁* ▁g ul d b ag ge - palkin to ▁* ▁j ussi - palkin to ▁* ▁r isto ▁ja r va ▁- palkin to ▁* ▁mat ti ▁p ell on pää ▁- palkin to |
| 5000 | ▁ar af at ▁ja koi ▁neuv ottel uja ▁ne tan ja hun ▁seuraa jan ▁eh ud ▁bar akin ▁kanssa . ▁vas emmist olainen ▁bar ak ▁myön tyi ▁tarjo amaan ▁pal es tiin alais ille ▁ga z an ▁ja ▁länsi rann an ▁'' bl ue ▁pol es : ▁no . ▁00, ▁0000 '' ▁0000 ▁000 ,0 ▁x ▁000 ,0 ▁cm ▁em al ji - ▁ja ▁al um iin ima ali ▁sekä ▁la si ▁kan ka alle ▁na tional ▁g all er y ▁of ▁austr alia , ▁can ber ra ▁* ▁op h ir ▁* ▁a man da - palkinto ▁* ▁b od il pr isen ▁* ▁g ul d b ag ge - palkinto ▁* ▁j ussi - palkinto ▁* ▁r isto ▁jar va ▁- palkinto ▁* ▁matti ▁p ell on pää ▁- palkinto |
| 10000 | ▁ar af at ▁jakoi ▁neuvottel uja ▁ne tan ja hun ▁seuraa jan ▁eh ud ▁bar akin ▁kanssa . ▁vasemmist olainen ▁bar ak ▁myön tyi ▁tarjo amaan ▁palestiin alais ille ▁ga zan ▁ja ▁länsi rannan ▁'' bl ue ▁pol es : ▁no . ▁00, ▁0000 '' ▁0000 ▁000,0 ▁x ▁000,0 ▁cm ▁em al ji - ▁ja ▁al um iin ima ali ▁sekä ▁lasi ▁kan ka alle ▁national ▁gall er y ▁of ▁austr alia , ▁can ber ra ▁* ▁op hir ▁* ▁a man da - palkinto ▁* ▁b od il pr isen ▁* ▁g uld b ag ge - palkinto ▁* ▁jussi - palkinto ▁* ▁risto ▁jar va ▁- palkinto ▁* ▁matti ▁p ellon pää ▁- palkinto |
| 25000 | ▁ar af at ▁jakoi ▁neuvottel uja ▁ne tan ja hun ▁seuraa jan ▁eh ud ▁bar akin ▁kanssa . ▁vasemmist olainen ▁bar ak ▁myön tyi ▁tarjo amaan ▁palestiin alaisille ▁ga zan ▁ja ▁länsi rannan ▁'' blue ▁pol es : ▁no . ▁00, ▁0000'' ▁0000 ▁000,0 ▁x ▁000,0 ▁cm ▁em al ji - ▁ja ▁alumiin ima ali ▁sekä ▁lasi ▁kanka alle ▁national ▁gall ery ▁of ▁australia , ▁can ber ra ▁* ▁op hir ▁* ▁amanda - palkinto ▁* ▁bod il pr isen ▁* ▁g uld bag ge - palkinto ▁* ▁jussi - palkinto ▁* ▁risto ▁jar va ▁- palkinto ▁* ▁matti ▁p ellon pää ▁- palkinto |
| 50000 | ▁ar af at ▁jakoi ▁neuvotteluja ▁ne tan ja hun ▁seuraajan ▁eh ud ▁bar akin ▁kanssa . ▁vasemmist olainen ▁bar ak ▁myön tyi ▁tarjoamaan ▁palestiin alaisille ▁gazan ▁ja ▁länsi rannan ▁'' blue ▁pol es : ▁no . ▁00, ▁0000'' ▁0000 ▁000,0 ▁x ▁000,0 ▁cm ▁em al ji - ▁ja ▁alumiin ima ali ▁sekä ▁lasi ▁kankaalle ▁national ▁gallery ▁of ▁australia , ▁can ber ra ▁* ▁op hir ▁* ▁amanda - palkinto ▁* ▁bod il pr isen ▁* ▁guld bag ge - palkinto ▁* ▁jussi - palkinto ▁* ▁risto ▁jar va ▁- palkinto ▁* ▁matti ▁pellon pää ▁- palkinto |
| 100000 | ▁arafat ▁jakoi ▁neuvotteluja ▁netanja hun ▁seuraajan ▁eh ud ▁bar akin ▁kanssa . ▁vasemmist olainen ▁bar ak ▁myöntyi ▁tarjoamaan ▁palestiin alaisille ▁gazan ▁ja ▁länsirannan ▁'' blue ▁pol es : ▁no . ▁00, ▁0000'' ▁0000 ▁000,0 ▁x ▁000,0 ▁cm ▁em al ji - ▁ja ▁alumiin ima ali ▁sekä ▁lasi ▁kankaalle ▁national ▁gallery ▁of ▁australia , ▁canber ra ▁* ▁op hir ▁* ▁amanda - palkinto ▁* ▁bod il pr isen ▁* ▁guld bag ge - palkinto ▁* ▁jussi - palkinto ▁* ▁risto ▁jarva ▁- palkinto ▁* ▁matti ▁pellon pää ▁- palkinto |