Western Panjabi (pnb) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | pnbwiki sample |
|---|---|
| original | پوئنسٹیا پھلوالے بوٹیاں دی اک ٹولی مالپگیالے دا اک بوٹا اے۔ ایہ میکسیکو دا واسی اے۔ ایہ اپنے لال تے ہری پتیاں توں جانا جاندا اے جیہڑیاں کرسمس تے نکلدی {| cellpadding="0" cellspacing=0 style="border: 0px solid #cccccc; float: left; clear: right; margin-left: 0em; margin-bottom: 0.0em; background: #fcf {| border=0 align=right cellpadding=0 cellspacing=0 width=000 style="margin: 0.0em 0 0em 0em; background: #fffff0; border: 0px #00a00b solid; border-c |
| 1000 | ▁پ و ئ ن سٹ یا ▁پھ لو ال ے ▁بو ٹ یاں ▁دی ▁اک ▁ٹ ولی ▁م ال پ گ یا لے ▁دا ▁اک ▁بو ٹ ا ▁اے۔ ▁ایہ ▁م یک سی کو ▁دا ▁و ا سی ▁اے۔ ▁ایہ ▁اپنے ▁ل ال ▁تے ▁ہ ری ▁پ ت یاں ▁توں ▁جان ا ▁جاندا ▁اے ▁جیہ ڑ یاں ▁کر سم س ▁تے ▁ن کل دی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁ border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ff ff f 0; ▁ border : ▁0 px ▁# 00 a 00 b ▁solid ; ▁ border - c |
| 3000 | ▁پو ئن سٹ یا ▁پھ لو الے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پ گ یا لے ▁دا ▁اک ▁بو ٹا ▁اے۔ ▁ایہ ▁میکسی کو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہ ری ▁پت یاں ▁توں ▁جان ا ▁جاندا ▁اے ▁جیہ ڑیاں ▁کر سم س ▁تے ▁نکل دی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ffff f 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c |
| 5000 | ▁پو ئن سٹ یا ▁پھلو الے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یا لے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہ ڑیاں ▁کر سم س ▁تے ▁نکلدی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁border =0 ▁align = r ight ▁cellpadding =0 ▁cellspacing =0 ▁width = 000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# ffff f 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c |
| 10000 | ▁پو ئن سٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کر سم س ▁تے ▁نکلدی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c |
| 25000 | ▁پو ئن سٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگ یالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کرسمس ▁تے ▁نکلدی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c |
| 50000 | ▁پوئنسٹ یا ▁پھلوالے ▁بوٹیاں ▁دی ▁اک ▁ٹولی ▁مال پگیالے ▁دا ▁اک ▁بوٹا ▁اے۔ ▁ایہ ▁میکسیکو ▁دا ▁واسی ▁اے۔ ▁ایہ ▁اپنے ▁لال ▁تے ▁ہری ▁پتیاں ▁توں ▁جانا ▁جاندا ▁اے ▁جیہڑیاں ▁کرسمس ▁تے ▁نکلدی ▁{| ▁cellpadding ="0" ▁cellspacing =0 ▁style =" border : ▁0 px ▁solid ▁# cccccc ; ▁float : ▁left ; ▁clear : ▁right ; ▁margin - left : ▁0 em ; ▁margin - bottom : ▁0.0 em ; ▁background : ▁# fc f ▁{| ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0.0 em ▁0 ▁0 em ▁0 em ; ▁background : ▁# fffff 0; ▁border : ▁0 px ▁#00 a 00 b ▁solid ; ▁border - c |