Mazanderani (mzn) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizemznwiki sample
original ۱۵۴۱ امنیت شورا متحدِ مللِ سازمان که تاریخ ۲۹ آوریل ۲۰۰۴ تصویب بَیّه، اتا بینالمللی سند درباره غربی صحرای وضعیت خوری هسته. اینتا قطعنومه، نشست ۴٬۹۵۷ام
۱۴۰۵ امنیت شورا متحدِ مللِ سازمان که تاریخ ۱۹ آوریل ۲۰۰۲ تصویب بَیّه، اتا بینالمللی سند درباره خاورمیونه وضعیت ره بررسی هاکردن، از جمله مسئله فلسطین ه
روزهای آخر حیات که هر لحظه به مرگ نزدیک تر می شد؛ در حالی که ترس تمام وجود او را احاطه کرده بود، فرمودند: « حتماً مرا به مشهد ببرید من باید پناهنده به
1000 ▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آ ور یل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁غربی ▁ص ح ر ای ▁وضعیت ▁خ وری ▁هسته . ▁اینتا ▁قطعنومه ، ▁نشست ▁0 ٬ 000 ام
▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آ ور یل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁خا ور می ونه ▁وضعیت ▁ره ▁بررسی ▁هاکردن ، ▁از ▁جم له ▁مس ئ له ▁ف لس ط ین ▁ه
▁روز های ▁آ خر ▁ح ی ات ▁که ▁هر ▁ل ح ظ ه ▁به ▁مر گ ▁ن ز دی ک ▁تر ▁می ▁ش د ؛ ▁در ▁ح الی ▁که ▁تر س ▁تم ام ▁و جود ▁او ▁را ▁ا ح اط ه ▁ک رده ▁ب ود ، ▁فر م ود ند : ▁« ▁ح ت ما ً ▁م را ▁به ▁م شه د ▁ب بری د ▁من ▁ب ای د ▁پ ن اه نده ▁به
3000 ▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁غربی ▁صح رای ▁وضعیت ▁خوری ▁هسته . ▁اینتا ▁قطعنومه ، ▁نشست ▁0 ٬ 000 ام
▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁خاورمیونه ▁وضعیت ▁ره ▁بررسی ▁هاکردن ، ▁از ▁جمله ▁مسئله ▁فلسطین ▁ه
▁روز های ▁آخر ▁حی ات ▁که ▁هر ▁ل ح ظ ه ▁به ▁مر گ ▁نزدیک ▁تر ▁می ▁شد ؛ ▁در ▁ح الی ▁که ▁تر س ▁تم ام ▁وجود ▁او ▁را ▁اح اط ه ▁کرده ▁بود ، ▁فر مود ند : ▁« ▁ح تما ً ▁م را ▁به ▁مشه د ▁ب بری د ▁من ▁ب اید ▁پن اه نده ▁به
5000 ▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁غربی ▁صحرای ▁وضعیت ▁خوری ▁هسته . ▁اینتا ▁قطعنومه ، ▁نشست ▁0 ٬ 000 ام
▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁خاورمیونه ▁وضعیت ▁ره ▁بررسی ▁هاکردن ، ▁از ▁جمله ▁مسئله ▁فلسطین ▁ه
▁روز های ▁آخر ▁حی ات ▁که ▁هر ▁لح ظه ▁به ▁مرگ ▁نزدیک ▁تر ▁می ▁شد ؛ ▁در ▁حالی ▁که ▁ترس ▁تمام ▁وجود ▁او ▁را ▁اح اط ه ▁کرده ▁بود ، ▁فر مود ند : ▁« ▁ح تما ً ▁م را ▁به ▁مشهد ▁ب بری د ▁من ▁ب اید ▁پناه نده ▁به
10000 ▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁غربی ▁صحرای ▁وضعیت ▁خوری ▁هسته . ▁اینتا ▁قطعنومه ، ▁نشست ▁0 ٬ 000 ام
▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁خاورمیونه ▁وضعیت ▁ره ▁بررسی ▁هاکردن ، ▁از ▁جمله ▁مسئله ▁فلسطین ▁ه
▁روز های ▁آخر ▁حیات ▁که ▁هر ▁لحظه ▁به ▁مرگ ▁نزدیک ▁تر ▁می ▁شد ؛ ▁در ▁حالی ▁که ▁ترس ▁تمام ▁وجود ▁او ▁را ▁اح اط ه ▁کرده ▁بود ، ▁فر مود ند : ▁« ▁ح تما ً ▁مرا ▁به ▁مشهد ▁ب بری د ▁من ▁باید ▁پناه نده ▁به
25000 ▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁غربی ▁صحرای ▁وضعیت ▁خوری ▁هسته . ▁اینتا ▁قطعنومه ، ▁نشست ▁0 ٬ 000 ام
▁0000 ▁امنیت ▁شورا ▁متحد ِ ▁ملل ِ ▁سازمان ▁که ▁تاریخ ▁00 ▁آوریل ▁0000 ▁تصویب ▁ب َ ی ّ ه ، ▁اتا ▁بینالمللی ▁سند ▁درباره ▁خاورمیونه ▁وضعیت ▁ره ▁بررسی ▁هاکردن ، ▁از ▁جمله ▁مسئله ▁فلسطین ▁ه
▁روزهای ▁آخر ▁حیات ▁که ▁هر ▁لحظه ▁به ▁مرگ ▁نزدیک ▁تر ▁می ▁شد ؛ ▁در ▁حالی ▁که ▁ترس ▁تمام ▁وجود ▁او ▁را ▁اح اط ه ▁کرده ▁بود ، ▁فرمود ند : ▁« ▁حتما ً ▁مرا ▁به ▁مشهد ▁ب برید ▁من ▁باید ▁پناهنده ▁به