Low German (nds) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ndswiki sample |
|---|---|
| original | * 0000 - n - groot barriere-riff * 0000 - k/n - kakadu-natschonalpark * 0000 - k/n - willandra-seenregion * 0000 - k/n - natschonalparks vun west-tasm dat greeksche schisma weer dat end vun de mier-oder-minder-eenheid vun de kark. dat greeksche schisma weer in't johr 0000. de paapst un de patriarch v in israel hett he an‘ 00. januar 0000 vör de knesset över de hüm todeel wurrn „gnade der späten geburt“, de satz sülvst stamm vun günter gaus. |
| 1000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arr ier e - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - n atschon al p ark ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een re g ion ▁* ▁0000 ▁- ▁k / n ▁- ▁n atschon al p ark s ▁vun ▁we st - t as m ▁dat ▁g ree k sche ▁sch is ma ▁weer ▁dat ▁en d ▁vun ▁de ▁m ier - o der - min der - een h ei d ▁vun ▁de ▁k ark . ▁dat ▁g ree k sche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁pa ap st ▁un ▁de ▁p at ri ar ch ▁v ▁in ▁is ra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁k n ess et ▁över ▁de ▁h üm ▁to de el ▁wurrn ▁„ g na de ▁der ▁sp ä ten ▁ge bur t “ , ▁de ▁s atz ▁sülv st ▁st amm ▁vun ▁g ün ter ▁g a us . |
| 3000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arr iere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - n atschonal p ark ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een reg ion ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal p ark s ▁vun ▁west - t as m ▁dat ▁greek sche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - o der - min der - een hei d ▁vun ▁de ▁kark . ▁dat ▁greek sche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁pat ri arch ▁v ▁in ▁is ra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp ä ten ▁ge bur t “, ▁de ▁s atz ▁sülvst ▁stamm ▁vun ▁gün ter ▁ga us . |
| 5000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonal park ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een reg ion ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal park s ▁vun ▁west - t as m ▁dat ▁greeksche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁pat ri arch ▁v ▁in ▁isra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁ge bur t “, ▁de ▁s atz ▁sülvst ▁stamm ▁vun ▁gün ter ▁ga us . |
| 10000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonal park ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal park s ▁vun ▁west - t as m ▁dat ▁greeksche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patri arch ▁v ▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁gebur t “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁ga us . |
| 25000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalpark s ▁vun ▁west - t as m ▁dat ▁greeksche ▁sch isma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch isma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v ▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁ga us . |
| 50000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁barriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁kak ad u - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalparks ▁vun ▁west - t as m ▁dat ▁greeksche ▁sch isma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch isma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v ▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁knesset ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁gaus . |
| 100000 | ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁barriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁kak adu - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalparks ▁vun ▁west - tas m ▁dat ▁greeksche ▁schisma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁schisma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v ▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁knesset ▁över ▁de ▁hüm ▁todeel ▁wurrn ▁„ gna de ▁der ▁späten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁gaus . |