Low German (nds) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizendswiki sample
original * 0000 - n - groot barriere-riff * 0000 - k/n - kakadu-natschonalpark * 0000 - k/n - willandra-seenregion * 0000 - k/n - natschonalparks vun west-tasm
dat greeksche schisma weer dat end vun de mier-oder-minder-eenheid vun de kark. dat greeksche schisma weer in't johr 0000. de paapst un de patriarch v
in israel hett he an‘ 00. januar 0000 vör de knesset över de hüm todeel wurrn „gnade der späten geburt“, de satz sülvst stamm vun günter gaus.
1000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arr ier e - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - n atschon al p ark ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een re g ion ▁* ▁0000 ▁- ▁k / n ▁- ▁n atschon al p ark s ▁vun ▁we st - t as m
▁dat ▁g ree k sche ▁sch is ma ▁weer ▁dat ▁en d ▁vun ▁de ▁m ier - o der - min der - een h ei d ▁vun ▁de ▁k ark . ▁dat ▁g ree k sche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁pa ap st ▁un ▁de ▁p at ri ar ch ▁v
▁in ▁is ra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁k n ess et ▁över ▁de ▁h üm ▁to de el ▁wurrn ▁„ g na de ▁der ▁sp ä ten ▁ge bur t “ , ▁de ▁s atz ▁sülv st ▁st amm ▁vun ▁g ün ter ▁g a us .
3000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arr iere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - n atschonal p ark ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een reg ion ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal p ark s ▁vun ▁west - t as m
▁dat ▁greek sche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - o der - min der - een hei d ▁vun ▁de ▁kark . ▁dat ▁greek sche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁pat ri arch ▁v
▁in ▁is ra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp ä ten ▁ge bur t “, ▁de ▁s atz ▁sülvst ▁stamm ▁vun ▁gün ter ▁ga us .
5000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonal park ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een reg ion ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal park s ▁vun ▁west - t as m
▁dat ▁greeksche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁pat ri arch ▁v
▁in ▁isra el ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁ge bur t “, ▁de ▁s atz ▁sülvst ▁stamm ▁vun ▁gün ter ▁ga us .
10000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - ri ff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonal park ▁* ▁0000 ▁- ▁k / n ▁- ▁will and ra - s een region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonal park s ▁vun ▁west - t as m
▁dat ▁greeksche ▁sch is ma ▁weer ▁dat ▁end ▁vun ▁de ▁m ier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch is ma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patri arch ▁v
▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁gebur t “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁ga us .
25000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁b arriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁k ak ad u - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalpark s ▁vun ▁west - t as m
▁dat ▁greeksche ▁sch isma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch isma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v
▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁kn ess et ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁ga us .
50000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁barriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁kak ad u - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalparks ▁vun ▁west - t as m
▁dat ▁greeksche ▁sch isma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁sch isma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v
▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁knesset ▁över ▁de ▁hüm ▁to deel ▁wurrn ▁„ g na de ▁der ▁sp äten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁gaus .
100000 ▁* ▁0000 ▁- ▁n ▁- ▁groot ▁barriere - riff ▁* ▁0000 ▁- ▁k / n ▁- ▁kak adu - natschonalpark ▁* ▁0000 ▁- ▁k / n ▁- ▁will andra - seen region ▁* ▁0000 ▁- ▁k / n ▁- ▁natschonalparks ▁vun ▁west - tas m
▁dat ▁greeksche ▁schisma ▁weer ▁dat ▁end ▁vun ▁de ▁mier - oder - min der - een heid ▁vun ▁de ▁kark . ▁dat ▁greeksche ▁schisma ▁weer ▁in ' t ▁johr ▁0000. ▁de ▁paapst ▁un ▁de ▁patriarch ▁v
▁in ▁israel ▁hett ▁he ▁an ‘ ▁00. ▁januar ▁0000 ▁vör ▁de ▁knesset ▁över ▁de ▁hüm ▁todeel ▁wurrn ▁„ gna de ▁der ▁späten ▁geburt “, ▁de ▁satz ▁sülvst ▁stamm ▁vun ▁günter ▁gaus .