BPEmb: lrc

Northern Luri (lrc) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Northern Luri subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	lrcwiki sample
original	ئی شأر ھا د ھارگە أفتونئشین ڤولات تورکیە و ھا د ھارگە أفتوزأنوٙن آستوٙن موغلە. ئی شأر ھا د لا دأریا مئدیتأرانە و یئ گئل شأر بأل ئوئییە. ئی شأر ھا د بأ ''قوٙزدار نوتئردام'' یا ''نتردام دوپاری'' یئ گئل گأپ مأتألە کئ ڤئنە ڤیکتور ماری ھوگو، نئڤیسیار نوم دیار فأرانسئ یی نیسأنە و ئی کئتۉ د سال خوشئ ڤا دأرأجه یأکئم د دونئسمئنگه پئزئشکی ئصفوهو خئلاص کئرد. ڤئنه دئما د قأڤوٙل بیئ د خئلاص بیئنئ دۉره پئزئشکی ڤئ ڤئلاتئش خورموٙه ڤئرگأشت و دی شأرأم ه
1000	▁ئی ▁شأر ▁ھا ▁د ▁ھار گە ▁أفتونئشین ▁ڤولات ▁تور کی ە ▁و ▁ھا ▁د ▁ھار گە ▁أفت وز أنوٙن ▁آستوٙن ▁مو غ ل ە . ▁ئی ▁شأر ▁ھا ▁د ▁لا ▁دأر یا ▁مئ دی ت أر ان ە ▁و ▁یئ ▁گئل ▁شأر ▁ب أل ▁ئو ئی ی ە . ▁ئی ▁شأر ▁ھا ▁د ▁ب أ ▁'' ق وٙ ز دار ▁ن وت ئرد ام '' ▁یا ▁'' ن ت رد ام ▁دو پ اری '' ▁یئ ▁گئل ▁گأپ ▁م أت أل ە ▁کئ ▁ڤئن ە ▁ڤ ی کت ور ▁م اری ▁ھ و گ و ، ▁نئ ڤی س یار ▁نوم ▁دیار ▁فأر انس ئ ▁یی ▁نیس أن ە ▁و ▁ئی ▁کئ ت ۉ ▁د ▁سال ▁خوش ئ ▁ڤا ▁دأر أ جه ▁یأک ئم ▁د ▁دون ئ سم ئن گه ▁پ ئز ئش کی ▁ئ ص ف وه و ▁خ ئل ا ص ▁کئرد . ▁ڤئن ه ▁دئم ا ▁د ▁ق أڤ وٙ ل ▁بی ئ ▁د ▁خ ئل ا ص ▁بی ئنئ ▁د ۉ ره ▁پ ئز ئش کی ▁ڤئ ▁ڤ ئل ات ئش ▁خ ور م وٙ ه ▁ڤ ئر گ أ شت ▁و ▁دی ▁شأر أم ▁ه
3000	▁ئی ▁شأر ▁ھا ▁د ▁ھارگە ▁أفتونئشین ▁ڤولات ▁تورکیە ▁و ▁ھا ▁د ▁ھارگە ▁أفتوزأنوٙن ▁آستوٙن ▁مو غ لە . ▁ئی ▁شأر ▁ھا ▁د ▁لا ▁دأریا ▁مئ دیت أر انە ▁و ▁یئ ▁گئل ▁شأر ▁بأل ▁ئو ئی ی ە . ▁ئی ▁شأر ▁ھا ▁د ▁بأ ▁'' ق وٙز دار ▁ن وت ئرد ام '' ▁یا ▁'' ن ت رد ام ▁دو پ اری '' ▁یئ ▁گئل ▁گأپ ▁مأتأل ە ▁کئ ▁ڤئنە ▁ڤی کتور ▁م اری ▁ھ و گو ، ▁نئڤیسیار ▁نوم ▁دیار ▁فأرانس ئ ▁یی ▁نیس أنە ▁و ▁ئی ▁کئتۉ ▁د ▁سال ▁خوش ئ ▁ڤا ▁دأر أ جه ▁یأک ئم ▁د ▁دون ئ سم ئن گه ▁پ ئز ئش کی ▁ئ ص ف وه و ▁خ ئلا ص ▁کئرد . ▁ڤئنه ▁دئما ▁د ▁ق أڤ وٙل ▁بی ئ ▁د ▁خ ئلا ص ▁بیئنئ ▁دۉ ره ▁پ ئز ئش کی ▁ڤئ ▁ڤئلات ئش ▁خور موٙ ه ▁ڤ ئر گ أ شت ▁و ▁دی ▁شأر أم ▁ه
5000	▁ئی ▁شأر ▁ھا ▁د ▁ھارگە ▁أفتونئشین ▁ڤولات ▁تورکیە ▁و ▁ھا ▁د ▁ھارگە ▁أفتوزأنوٙن ▁آستوٙن ▁مو غ لە . ▁ئی ▁شأر ▁ھا ▁د ▁لا ▁دأریا ▁مئدیتأرانە ▁و ▁یئ ▁گئل ▁شأر ▁بأل ▁ئو ئیی ە . ▁ئی ▁شأر ▁ھا ▁د ▁بأ ▁'' ق وٙز دار ▁ن وت ئرد ام '' ▁یا ▁'' نت رد ام ▁دو پ اری '' ▁یئ ▁گئل ▁گأپ ▁مأتأل ە ▁کئ ▁ڤئنە ▁ڤی کتور ▁ماری ▁ھ و گو ، ▁نئڤیسیار ▁نوم ▁دیار ▁فأرانسئ ▁یی ▁نیس أنە ▁و ▁ئی ▁کئتۉ ▁د ▁سال ▁خوشئ ▁ڤا ▁دأر أ جه ▁یأک ئم ▁د ▁دونئسم ئن گه ▁پ ئز ئش کی ▁ئ ص ف وه و ▁خئلاص ▁کئرد . ▁ڤئنه ▁دئما ▁د ▁قأڤ وٙل ▁بیئ ▁د ▁خئلاص ▁بیئنئ ▁دۉره ▁پ ئز ئش کی ▁ڤئ ▁ڤئلات ئش ▁خورموٙ ه ▁ڤئر گ أشت ▁و ▁دی ▁شأر أم ▁ه
10000	▁ئی ▁شأر ▁ھا ▁د ▁ھارگە ▁أفتونئشین ▁ڤولات ▁تورکیە ▁و ▁ھا ▁د ▁ھارگە ▁أفتوزأنوٙن ▁آستوٙن ▁موغلە . ▁ئی ▁شأر ▁ھا ▁د ▁لا ▁دأریا ▁مئدیتأرانە ▁و ▁یئ ▁گئل ▁شأر ▁بأل ▁ئو ئیی ە . ▁ئی ▁شأر ▁ھا ▁د ▁بأ ▁'' ق وٙز دار ▁ن وت ئرد ام '' ▁یا ▁'' نت رد ام ▁دو پ اری '' ▁یئ ▁گئل ▁گأپ ▁مأتأل ە ▁کئ ▁ڤئنە ▁ڤی کتور ▁ماری ▁ھ و گو ، ▁نئڤیسیار ▁نوم ▁دیار ▁فأرانسئ ▁یی ▁نیسأنە ▁و ▁ئی ▁کئتۉ ▁د ▁سال ▁خوشئ ▁ڤا ▁دأر أجه ▁یأکئم ▁د ▁دونئسم ئنگه ▁پئزئش کی ▁ئصف وهو ▁خئلاص ▁کئرد . ▁ڤئنه ▁دئما ▁د ▁قأڤوٙل ▁بیئ ▁د ▁خئلاص ▁بیئنئ ▁دۉره ▁پئزئش کی ▁ڤئ ▁ڤئلات ئش ▁خورموٙه ▁ڤئر گ أشت ▁و ▁دی ▁شأر أم ▁ه