Persian (fa) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizefawiki sample
original آیات یا نشانههای خدا که به باور مسلمانان، به صورت وحی به محمد رسیده و تا هنگام درگذشتش توسط او اعلام میشد، قرآن را تشکیل میدهد و آنان تا به امروز این
صادق بریرانی در سال ۱۹۲۳ م برابر با (۱۳۰۲ خورشیدی) در بندر انزلی زاده شد. در ۱۶ سالگی نقاشی را از درویشی به نام «زرینکلک» آموخت که از شاگردان کمالالمل
آب و هوای کانادا روی هم رفته سرد و در بیشتر جاها قطبی است. البته آب و هوا در بخش جنوب غربی، جایی که شهر ونکوور و جزیره ونکوور از استان بریتیش کلمبیا د
1000 ▁آ ی ات ▁یا ▁نشان ههای ▁خ دا ▁که ▁به ▁با ور ▁مس ل مان ان ، ▁به ▁صورت ▁و حی ▁به ▁محمد ▁ر سی ده ▁و ▁تا ▁ه نگ ام ▁در گذشت ش ▁توسط ▁او ▁اع لام ▁میش د ، ▁قر آ ن ▁را ▁تشک یل ▁میدهد ▁و ▁آن ان ▁تا ▁به ▁ا مر وز ▁این
▁ص اد ق ▁بر یر انی ▁در ▁سال ▁0000 ▁م ▁بر ابر ▁با ▁( 0000 ▁خورشید ی ) ▁در ▁ب ند ر ▁ان ز لی ▁ز اده ▁شد . ▁در ▁00 ▁سال گی ▁نق اش ی ▁را ▁از ▁در وی شی ▁به ▁نام ▁« زر ین ک ل ک » ▁آ مو خت ▁که ▁از ▁ش ا گر دان ▁کم ال ال مل
▁آب ▁و ▁هو ای ▁کان اد ا ▁روی ▁هم ▁ر فته ▁س رد ▁و ▁در ▁بیشتر ▁ج اه ا ▁قط بی ▁است . ▁ال بت ه ▁آب ▁و ▁هو ا ▁در ▁بخش ▁جنو ب ▁غ ربی ، ▁ج ایی ▁که ▁شهر ▁و ن کو ور ▁و ▁جز یره ▁و ن کو ور ▁از ▁استان ▁بریت یش ▁کل م ب یا ▁د
3000 ▁آی ات ▁یا ▁نشان ههای ▁خدا ▁که ▁به ▁با ور ▁مسلمان ان ، ▁به ▁صورت ▁و حی ▁به ▁محمد ▁رسی ده ▁و ▁تا ▁هنگام ▁درگذشت ش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قر آن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امر وز ▁این
▁ص اد ق ▁بر یر انی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁ب ندر ▁ان ز لی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نق اشی ▁را ▁از ▁در وی شی ▁به ▁نام ▁« زر ین کل ک » ▁آ موخت ▁که ▁از ▁شا گردان ▁کم ال المل
▁آب ▁و ▁هو ای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁ج اها ▁قط بی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁ج ایی ▁که ▁شهر ▁و ن کو ور ▁و ▁جزیره ▁و ن کو ور ▁از ▁استان ▁بریت یش ▁کلمب یا ▁د
5000 ▁آی ات ▁یا ▁نشان ههای ▁خدا ▁که ▁به ▁باور ▁مسلمانان ، ▁به ▁صورت ▁و حی ▁به ▁محمد ▁رسیده ▁و ▁تا ▁هنگام ▁درگذشت ش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قرآن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امروز ▁این
▁صادق ▁بر یر انی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁بندر ▁ان ز لی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نقاشی ▁را ▁از ▁در وی شی ▁به ▁نام ▁« زر ین کل ک » ▁آ موخت ▁که ▁از ▁شا گردان ▁کم ال المل
▁آب ▁و ▁هوای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁ج اها ▁قط بی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁جایی ▁که ▁شهر ▁ون کو ور ▁و ▁جزیره ▁ون کو ور ▁از ▁استان ▁بریت یش ▁کلمبیا ▁د
10000 ▁آیات ▁یا ▁نشانههای ▁خدا ▁که ▁به ▁باور ▁مسلمانان ، ▁به ▁صورت ▁و حی ▁به ▁محمد ▁رسیده ▁و ▁تا ▁هنگام ▁درگذشت ش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قرآن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امروز ▁این
▁صادق ▁بر یر انی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁بندر ▁ان زلی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نقاشی ▁را ▁از ▁در وی شی ▁به ▁نام ▁« زر ین کل ک » ▁آموخت ▁که ▁از ▁شاگردان ▁کمال المل
▁آب ▁و ▁هوای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁ج اها ▁قطبی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁جایی ▁که ▁شهر ▁ون کو ور ▁و ▁جزیره ▁ون کو ور ▁از ▁استان ▁بریتیش ▁کلمبیا ▁د
25000 ▁آیات ▁یا ▁نشانههای ▁خدا ▁که ▁به ▁باور ▁مسلمانان ، ▁به ▁صورت ▁وحی ▁به ▁محمد ▁رسیده ▁و ▁تا ▁هنگام ▁درگذشت ش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قرآن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امروز ▁این
▁صادق ▁بر یرانی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁بندر ▁انزلی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نقاشی ▁را ▁از ▁دروی شی ▁به ▁نام ▁« زر ین کل ک » ▁آموخت ▁که ▁از ▁شاگردان ▁کمال المل
▁آب ▁و ▁هوای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁ج اها ▁قطبی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁جایی ▁که ▁شهر ▁ونکوور ▁و ▁جزیره ▁ونکوور ▁از ▁استان ▁بریتیش ▁کلمبیا ▁د
50000 ▁آیات ▁یا ▁نشانههای ▁خدا ▁که ▁به ▁باور ▁مسلمانان ، ▁به ▁صورت ▁وحی ▁به ▁محمد ▁رسیده ▁و ▁تا ▁هنگام ▁درگذشتش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قرآن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امروز ▁این
▁صادق ▁بر یرانی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁بندر ▁انزلی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نقاشی ▁را ▁از ▁درویشی ▁به ▁نام ▁« زر ین کلک » ▁آموخت ▁که ▁از ▁شاگردان ▁کمال المل
▁آب ▁و ▁هوای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁جاها ▁قطبی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁جایی ▁که ▁شهر ▁ونکوور ▁و ▁جزیره ▁ونکوور ▁از ▁استان ▁بریتیش ▁کلمبیا ▁د
100000 ▁آیات ▁یا ▁نشانههای ▁خدا ▁که ▁به ▁باور ▁مسلمانان ، ▁به ▁صورت ▁وحی ▁به ▁محمد ▁رسیده ▁و ▁تا ▁هنگام ▁درگذشتش ▁توسط ▁او ▁اعلام ▁میشد ، ▁قرآن ▁را ▁تشکیل ▁میدهد ▁و ▁آنان ▁تا ▁به ▁امروز ▁این
▁صادق ▁بر یرانی ▁در ▁سال ▁0000 ▁م ▁برابر ▁با ▁(0000 ▁خورشیدی ) ▁در ▁بندر ▁انزلی ▁زاده ▁شد . ▁در ▁00 ▁سالگی ▁نقاشی ▁را ▁از ▁درویشی ▁به ▁نام ▁« زرین کلک » ▁آموخت ▁که ▁از ▁شاگردان ▁کمال المل
▁آب ▁و ▁هوای ▁کانادا ▁روی ▁هم ▁رفته ▁سرد ▁و ▁در ▁بیشتر ▁جاها ▁قطبی ▁است . ▁البته ▁آب ▁و ▁هوا ▁در ▁بخش ▁جنوب ▁غربی ، ▁جایی ▁که ▁شهر ▁ونکوور ▁و ▁جزیره ▁ونکوور ▁از ▁استان ▁بریتیش ▁کلمبیا ▁د