Maltese (mt) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | mtwiki sample |
|---|---|
| original | il-plejer tas-sena tal-fifa huwa unur tal-futbol li jingħata għal plejer maskili u femminili li hu maħsub li hu l-aqwa plejer fid-dinja, ibbażat skond * is-sit uffiċċjali tal-federazzjoni tal-futbol serba * tim nazzjonal tal-futbol tas-serbja * il-paġna tat-tim nazzjonali tas-serbja fuq uefa.com * l- it-turiżmu mhux ta' min iħallih barra. dan hu kkonċentrat essenzjalment fil-bliet tal-arti, iċ-ċentri tal-għum mal-kosta u fir-reġjuni bl-għoljiet tal |
| 1000 | ▁il - pl ejer ▁tas - sena ▁tal - f if a ▁huwa ▁un ur ▁tal - futbol ▁li ▁jin għa ta ▁għal ▁pl ejer ▁ma s k ili ▁u ▁f emm in ili ▁li ▁hu ▁ma ħ su b ▁li ▁hu ▁l - aq wa ▁pl ejer ▁fid - dinja , ▁i bba ż at ▁sk ond ▁* ▁is - s it ▁u ff iċċ jali ▁tal - f ed era zzjoni ▁tal - futbol ▁ser ba ▁* ▁tim ▁na zzjon al ▁tal - futbol ▁tas - ser b ja ▁* ▁il - pa ġ na ▁tat - tim ▁nazzjonali ▁tas - ser b ja ▁fuq ▁u e fa . c om ▁* ▁l - ▁it - turi ż mu ▁mhux ▁ta ' ▁min ▁i ħal li h ▁barra . ▁dan ▁hu ▁k kon ċ ent rat ▁ ess enz j alment ▁fil - b liet ▁tal - arti , ▁i ċ - ċ ent ri ▁tal - għu m ▁mal - k osta ▁u ▁fir - re ġ j uni ▁bl - għ ol jiet ▁tal |
| 3000 | ▁il - plejer ▁tas - sena ▁tal - fifa ▁huwa ▁un ur ▁tal - futbol ▁li ▁jin għata ▁għal ▁plejer ▁ma sk ili ▁u ▁f emmin ili ▁li ▁hu ▁maħ su b ▁li ▁hu ▁l - aqwa ▁plejer ▁fid - dinja , ▁ibba żat ▁sk ond ▁* ▁is - sit ▁u ff iċċ jali ▁tal - fed erazzjoni ▁tal - futbol ▁ser ba ▁* ▁tim ▁nazzjon al ▁tal - futbol ▁tas - ser bja ▁* ▁il - pa ġ na ▁tat - tim ▁nazzjonali ▁tas - ser bja ▁fuq ▁u efa . com ▁* ▁l - ▁it - turi żmu ▁mhux ▁ta ' ▁min ▁i ħal li h ▁barra . ▁dan ▁hu ▁k kon ċent rat ▁ ess enz jalment ▁fil - b liet ▁tal - arti , ▁iċ - ċent ri ▁tal - għu m ▁mal - k osta ▁u ▁fir - reġ juni ▁bl - għ ol jiet ▁tal |
| 5000 | ▁il - plejer ▁tas - sena ▁tal - fifa ▁huwa ▁un ur ▁tal - futbol ▁li ▁jingħata ▁għal ▁plejer ▁ma sk ili ▁u ▁f emmin ili ▁li ▁hu ▁maħ sub ▁li ▁hu ▁l - aqwa ▁plejer ▁fid - dinja , ▁ibbażat ▁skond ▁* ▁is - sit ▁u ffiċċ jali ▁tal - federazzjoni ▁tal - futbol ▁ser ba ▁* ▁tim ▁nazzjon al ▁tal - futbol ▁tas - serbja ▁* ▁il - pa ġ na ▁tat - tim ▁nazzjonali ▁tas - serbja ▁fuq ▁uefa . com ▁* ▁l - ▁it - turi żmu ▁mhux ▁ta ' ▁min ▁i ħalli h ▁barra . ▁dan ▁hu ▁kkon ċent rat ▁ess enz jalment ▁fil - b liet ▁tal - arti , ▁iċ - ċent ri ▁tal - għu m ▁mal - kosta ▁u ▁fir - reġ juni ▁bl - għ ol jiet ▁tal |
| 10000 | ▁il - plejer ▁tas - sena ▁tal - fifa ▁huwa ▁unur ▁tal - futbol ▁li ▁jingħata ▁għal ▁plejer ▁mask ili ▁u ▁femminili ▁li ▁hu ▁maħsub ▁li ▁hu ▁l - aqwa ▁plejer ▁fid - dinja , ▁ibbażat ▁skond ▁* ▁is - sit ▁uffiċċ jali ▁tal - federazzjoni ▁tal - futbol ▁ser ba ▁* ▁tim ▁nazzjon al ▁tal - futbol ▁tas - serbja ▁* ▁il - paġna ▁tat - tim ▁nazzjonali ▁tas - serbja ▁fuq ▁uefa . com ▁* ▁l - ▁it - turiżmu ▁mhux ▁ta ' ▁min ▁iħalli h ▁barra . ▁dan ▁hu ▁kkon ċent rat ▁ess enz jalment ▁fil - bliet ▁tal - arti , ▁iċ - ċent ri ▁tal - għu m ▁mal - kosta ▁u ▁fir - reġjuni ▁bl - għoljiet ▁tal |
| 25000 | ▁il - plejer ▁tas - sena ▁tal - fifa ▁huwa ▁unur ▁tal - futbol ▁li ▁jingħata ▁għal ▁plejer ▁maskili ▁u ▁femminili ▁li ▁hu ▁maħsub ▁li ▁hu ▁l - aqwa ▁plejer ▁fid - dinja , ▁ibbażat ▁skond ▁* ▁is - sit ▁uffiċċjali ▁tal - federazzjoni ▁tal - futbol ▁serba ▁* ▁tim ▁nazzjon al ▁tal - futbol ▁tas - serbja ▁* ▁il - paġna ▁tat - tim ▁nazzjonali ▁tas - serbja ▁fuq ▁uefa . com ▁* ▁l - ▁it - turiżmu ▁mhux ▁ta ' ▁min ▁iħalli h ▁barra . ▁dan ▁hu ▁kkonċent rat ▁essenzjalment ▁fil - bliet ▁tal - arti , ▁iċ - ċentri ▁tal - għu m ▁mal - kosta ▁u ▁fir - reġjuni ▁bl - għoljiet ▁tal |
| 50000 | ▁il - plejer ▁tas - sena ▁tal - fifa ▁huwa ▁unur ▁tal - futbol ▁li ▁jingħata ▁għal ▁plejer ▁maskili ▁u ▁femminili ▁li ▁hu ▁maħsub ▁li ▁hu ▁l - aqwa ▁plejer ▁fid - dinja , ▁ibbażat ▁skond ▁* ▁is - sit ▁uffiċċjali ▁tal - federazzjoni ▁tal - futbol ▁serba ▁* ▁tim ▁nazzjonal ▁tal - futbol ▁tas - serbja ▁* ▁il - paġna ▁tat - tim ▁nazzjonali ▁tas - serbja ▁fuq ▁uefa . com ▁* ▁l - ▁it - turiżmu ▁mhux ▁ta ' ▁min ▁iħallih ▁barra . ▁dan ▁hu ▁kkonċent rat ▁essenzjalment ▁fil - bliet ▁tal - arti , ▁iċ - ċentri ▁tal - għu m ▁mal - kosta ▁u ▁fir - reġjuni ▁bl - għoljiet ▁tal |