Luxembourgish (lb) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | lbwiki sample |
|---|---|
| original | op der ëstlecher säit vu süden no norde gekuckt fanne mer hei de perchesbierg, den hesselsbierg, den hérenterbierg, d'haard, den duelebierg, de kalebi éischt spuren déi an der géigend déifferdeng fonnt goufe weisen drophin, datt schonn an der alsteenzäit mënschen an där géigend gelieft hunn. et goufe en elektrokardiogramm, kuerz ekg (electro, cardio -> häerz), ass en apparat, mat deem een d'häerzaktivitéit a kurven ëmwandele ka fir eng einfach ausw |
| 1000 | ▁op ▁der ▁ ë st lech er ▁s äit ▁vu ▁sü den ▁no ▁n or de ▁ge k u ckt ▁f ann e ▁m er ▁h ei ▁de ▁per ch es b ier g , ▁den ▁h ess el s b ier g , ▁den ▁h ér ent er b ier g , ▁d ' ha ard , ▁den ▁du el eb ier g , ▁de ▁k al eb i ▁éischt ▁sp ur en ▁déi ▁an ▁der ▁géi gen d ▁déi ff er d eng ▁f onnt ▁gouf e ▁we is en ▁d ro ph in , ▁datt ▁sch onn ▁an ▁der ▁al ste enz äit ▁m ën sch en ▁an ▁där ▁géi gen d ▁gel ie ft ▁hunn . ▁et ▁gouf e ▁en ▁ ele kt ro k ard io gr amm , ▁k uerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁a pp ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁k ur v en ▁ëm w and ele ▁ka ▁fir ▁eng ▁e in f ach ▁aus w |
| 3000 | ▁op ▁der ▁ë st lecher ▁säit ▁vu ▁sü den ▁no ▁nor de ▁ge ku ckt ▁f anne ▁mer ▁hei ▁de ▁per ch es bierg , ▁den ▁h ess el sb ierg , ▁den ▁h ér ent er bierg , ▁d ' ha ard , ▁den ▁du el eb ierg , ▁de ▁k al eb i ▁éischt ▁sp uren ▁déi ▁an ▁der ▁géi gend ▁déi ffer d eng ▁fonnt ▁goufe ▁we isen ▁dro ph in , ▁datt ▁schonn ▁an ▁der ▁al ste enz äit ▁mën schen ▁an ▁där ▁géi gend ▁gel ieft ▁hunn . ▁et ▁goufe ▁en ▁ele kt ro k ard io gramm , ▁kuerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁app ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁k ur ven ▁ëm w and ele ▁ka ▁fir ▁eng ▁einfach ▁aus w |
| 5000 | ▁op ▁der ▁ë st lecher ▁säit ▁vu ▁süden ▁no ▁norde ▁ge kuckt ▁f anne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h ess el sb ierg , ▁den ▁h ér ent er bierg , ▁d ' ha ard , ▁den ▁du el eb ierg , ▁de ▁kal eb i ▁éischt ▁sp uren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro ph in , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe ▁en ▁elekt ro k ard io gramm , ▁kuerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁app ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁aus w |
| 10000 | ▁op ▁der ▁ëst lecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁h ér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i ▁éischt ▁sp uren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro phin , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe ▁en ▁elekt ro k ard io gramm , ▁kuerz ▁ek g ▁( ele ct ro , ▁c ard io ▁- > ▁häerz ), ▁ass ▁en ▁app arat , ▁mat ▁deem ▁een ▁d ' h äerz aktiv itéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw |
| 25000 | ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁hér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i ▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro phin , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe ▁en ▁elektro k ard io gramm , ▁kuerz ▁ek g ▁( elect ro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw |
| 50000 | ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁hér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i ▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁drophin , ▁datt ▁schonn ▁an ▁der ▁al steenzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe ▁en ▁elektro kard io gramm , ▁kuerz ▁ek g ▁( elect ro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëmwand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw |
| 100000 | ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁hesselsbierg , ▁den ▁hér enterbierg , ▁d ' haard , ▁den ▁duel ebierg , ▁de ▁kal ebi ▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁drophin , ▁datt ▁schonn ▁an ▁der ▁alsteenzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe ▁en ▁elektro kardio gramm , ▁kuerz ▁ekg ▁( electro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëmwandele ▁ka ▁fir ▁eng ▁einfach ▁ausw |