Dimli (individual language) (diq) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | diqwiki sample |
|---|---|
| original | ;albumi * 0000: ''psy from the psycho world!'' * 0000: ''sa 0/adult only'' * 0000: ''0 psy'' * 0000: ''ssa jib (cheap house)'' * 0000: ''psy five'' * evolusyonê merduman heta 00 milyon serran ra ver şıno u vaciyeno ki merdum prosimiyenan ra ameo. 000 milyon serran ra ver çıçıkinê ke şena tut kena, 0 kategoriye:tewrate kategoriye:qurane kategoriye:ehdo kıhan kategoriye:cıhudiye de peyğamberi kategoriye:xıristiyaniye de peyğamberi kategoriye:islam d |
| 1000 | ▁ ; al b um i ▁* ▁0000: ▁'' p s y ▁f ro m ▁the ▁p s y ch o ▁w or l d ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁on l y '' ▁* ▁0000: ▁'' 0 ▁p s y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( ch e ap ▁ho us e ) '' ▁* ▁0000: ▁'' p s y ▁f i ve '' ▁* ▁e v ol us yon ê ▁merdum an ▁heta ▁00 ▁mil yon ▁ser ran ▁ra ▁ver ▁şın o ▁u ▁vaciyeno ▁ki ▁merdum ▁pro s im iy en an ▁ra ▁am e o . ▁000 ▁mil yon ▁ser ran ▁ra ▁ver ▁ç ı ç ık in ê ▁ke ▁ş ena ▁t ut ▁k ena , ▁0 ▁kategoriye : t ew ra te ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kı han ▁kategoriye : c ı h ud iye ▁de ▁pey ğ am ber i ▁kategoriye : x ır ist iyan iye ▁de ▁pey ğ am ber i ▁kategoriye : is lam ▁d |
| 3000 | ▁; al b umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁ps y ch o ▁wor ld ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁on ly '' ▁* ▁0000: ▁'' 0 ▁ps y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( ch e ap ▁ho use )'' ▁* ▁0000: ▁'' p sy ▁f i ve '' ▁* ▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy en an ▁ra ▁ame o . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çı ç ık inê ▁ke ▁ş ena ▁t ut ▁kena , ▁0 ▁kategoriye : t ew ra te ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cı h ud iye ▁de ▁peyğamber i ▁kategoriye : x ır ist iyan iye ▁de ▁peyğamber i ▁kategoriye : is lam ▁d |
| 5000 | ▁; al b umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁ps y ch o ▁world ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁only '' ▁* ▁0000: ▁'' 0 ▁ps y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁ho use )'' ▁* ▁0000: ▁'' p sy ▁fi ve '' ▁* ▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çı çık inê ▁ke ▁ş ena ▁tut ▁kena , ▁0 ▁kategoriye : t ew rate ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cı h ud iye ▁de ▁peyğamber i ▁kategoriye : x ır ist iyan iye ▁de ▁peyğamber i ▁kategoriye : is lam ▁d |
| 10000 | ▁; alb umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁psy ch o ▁world !'' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁only '' ▁* ▁0000: ▁'' 0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' p sy ▁fi ve '' ▁* ▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0 ▁kategoriye : t ew rate ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cıh ud iye ▁de ▁peyğamberi ▁kategoriye : xır ist iyan iye ▁de ▁peyğamberi ▁kategoriye : islam ▁d |
| 25000 | ▁; alb umi ▁* ▁0000: ▁'' psy ▁from ▁the ▁psych o ▁world !'' ▁* ▁0000: ▁'' sa ▁0/ ad ult ▁only '' ▁* ▁0000: ▁''0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' psy ▁five '' ▁* ▁evolusyonê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0 ▁kategoriye : tewrate ▁kategoriye : qur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cıhud iye ▁de ▁peyğamberi ▁kategoriye : xıristiyaniye ▁de ▁peyğamberi ▁kategoriye : islam ▁d |
| 50000 | ▁; albumi ▁* ▁0000: ▁'' psy ▁from ▁the ▁psycho ▁world !'' ▁* ▁0000: ▁'' sa ▁0/ ad ult ▁only '' ▁* ▁0000: ▁''0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' psy ▁five '' ▁* ▁evolusyonê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁prosim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0 ▁kategoriye : tewrate ▁kategoriye : qurane ▁kategoriye : ehdo ▁kıhan ▁kategoriye : cıhudiye ▁de ▁peyğamberi ▁kategoriye : xıristiyaniye ▁de ▁peyğamberi ▁kategoriye : islam ▁d |