Western Panjabi (pnb) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizepnbwiki sample
original پوئنسٹیا پھلوالے بوٹیاں دی اک ٹولی مالپگیالے دا اک بوٹا اے۔ ایہ میکسیکو دا واسی اے۔ ایہ اپنے لال تے ہری پتیاں توں جانا جاندا اے جیہڑیاں کرسمس تے نکلدی
{| cellpadding="0" cellspacing=0 style="border: 0px solid #cccccc; float: left; clear: right; margin-left: 0em; margin-bottom: 0.0em; background: #fcf
{| border=0 align=right cellpadding=0 cellspacing=0 width=000 style="margin: 0.0em 0 0em 0em; background: #fffff0; border: 0px #00a00b solid; border-c
1000 ▁پ و ئ ن سٹ یا ▁پھ لو ال ے ▁بو ٹ یاں ▁دی ▁اک ▁ٹ ولی ▁م ال پ گ یا لے ▁دا ▁اک ▁بو ٹ ا ▁اے۔ ▁ایہ ▁م یک سی کو ▁دا ▁و ا سی ▁اے۔ ▁ایہ ▁اپنے ▁ل ال ▁تے ▁ہ ری ▁پ ت یاں ▁توں ▁جان ا ▁جاندا ▁اے ▁جیہ ڑ یاں ▁کر سم س ▁تے ▁ن کل دی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁ border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ff ff f 0; ▁ border : ▁0 px ▁# 00 a 00 b ▁solid ; ▁ border - c
3000 ▁پو ئن سٹ یا ▁پھ لو الے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پ گ یا لے ▁دا ▁اک ▁بو ٹا ▁اے۔ ▁ایہ ▁میکسی کو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہ ری ▁پت یاں ▁توں ▁جان ا ▁جاندا ▁اے ▁جیہ ڑیاں ▁کر سم س ▁تے ▁نکل دی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ffff f 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c
5000 ▁پو ئن سٹ یا ▁پھلو الے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یا لے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہ ڑیاں ▁کر سم س ▁تے ▁نکلدی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ffff f 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c
10000 ▁پو ئن سٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کر سم س ▁تے ▁نکلدی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c
25000 ▁پو ئن سٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کرسمس ▁تے ▁نکلدی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c
50000 ▁پوئنسٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگیالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کرسمس ▁تے ▁نکلدی
▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f
▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c