Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeurwiki sample
original محمد عادل شاہ کے بیٹے تھے۔ ان کی پرورش خدیجہ سلطان شہر بانو کی نگرانی میں ہوئی جو خود علم و ادب کی پرستار اور شعراءکی قدر دان تھی۔ ملک خوشنود اور رستم
english title: ''the second wife''. about the dowry system in india (serialised in the magazine ''chand'' between november 0000 and november 0000, bef
ویکیپیڈیا سے ملف:old port of montreal (french- vieux-port de montréal).jpg|thumbnail|right|مانٹریال, کیوبیک کی اکثریت فرانسیسی بولتی ہے لیکن انگریزی ب
1000 ▁محمد ▁ع اد ل ▁شاہ ▁کے ▁بی ٹ ے ▁تھے۔ ▁ان ▁کی ▁پر ور ش ▁خ دی جہ ▁سل طان ▁شہر ▁ب ان و ▁کی ▁ن گر انی ▁میں ▁ہوئی ▁جو ▁خ ود ▁علم ▁و ▁اد ب ▁کی ▁پر ست ار ▁اور ▁شع را ء کی ▁ق در ▁د ان ▁تھی۔ ▁ملک ▁خ و شن ود ▁اور ▁ر ست م
▁ en g l is h ▁t it le : ▁'' t he ▁s e c on d ▁w i f e '' . ▁a b o u t ▁the ▁d ow r y ▁s y s t e m ▁in ▁in d ia ▁( s er i al is ed ▁in ▁the ▁m ag a z in e ▁'' c h and '' ▁b et w e en ▁n o v e m b er ▁0000 ▁and ▁n o v e m b er ▁0000 , ▁b e f
▁و یک ی پ ی ڈ یا ▁سے ▁مل ف : ol d ▁p or t ▁of ▁m on t re al ▁( f r en c h - ▁v i e u x - p or t ▁d e ▁m on t r é al ) . jpg | th u m b n a il | r i g h t | م ان ٹر یا ل , ▁کی وب یک ▁کی ▁اک ث ری ت ▁فرانسیسی ▁ب ول تی ▁ہے ▁لیکن ▁انگریزی ▁ب
3000 ▁محمد ▁ع اد ل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پر ور ش ▁خ دی جہ ▁سلطان ▁شہر ▁ب ان و ▁کی ▁نگر انی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پر ست ار ▁اور ▁شعرا ء کی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خو شن ود ▁اور ▁ر ست م
▁en g l ish ▁t it le : ▁'' the ▁s ec on d ▁w if e '' . ▁a b o ut ▁the ▁d ow ry ▁s y st em ▁in ▁ind ia ▁( s er ial is ed ▁in ▁the ▁m ag az ine ▁'' ch and '' ▁b et w e en ▁n ov em ber ▁0000 ▁and ▁n ov em ber ▁0000 , ▁be f
▁و یکی پی ڈیا ▁سے ▁ملف : ol d ▁p ort ▁of ▁m ont re al ▁( f r en ch - ▁v ie u x - p ort ▁de ▁m ont r é al ). jpg | th umb n a il | r ight | مان ٹر یال , ▁کیوب یک ▁کی ▁اک ث ریت ▁فرانسیسی ▁بول تی ▁ہے ▁لیکن ▁انگریزی ▁ب
5000 ▁محمد ▁ع اد ل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پر ور ش ▁خ دی جہ ▁سلطان ▁شہر ▁ب ان و ▁کی ▁نگر انی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پرست ار ▁اور ▁شعراء کی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خو شن ود ▁اور ▁ر ست م
▁en gl ish ▁t it le : ▁'' the ▁s ec ond ▁w if e '' . ▁ab o ut ▁the ▁d ow ry ▁sy st em ▁in ▁india ▁( s er ial is ed ▁in ▁the ▁m ag az ine ▁'' ch and '' ▁b et we en ▁n ov em ber ▁0000 ▁and ▁n ov em ber ▁0000, ▁be f
▁ویکی پیڈیا ▁سے ▁ملف : old ▁p ort ▁of ▁mont re al ▁( f r en ch - ▁v ie u x - port ▁de ▁mont r é al ). jpg | thumb na il | r ight | مان ٹر یال , ▁کیوب یک ▁کی ▁اکثریت ▁فرانسیسی ▁بول تی ▁ہے ▁لیکن ▁انگریزی ▁ب
10000 ▁محمد ▁عادل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پرورش ▁خدی جہ ▁سلطان ▁شہر ▁ب انو ▁کی ▁نگرانی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پرست ار ▁اور ▁شعراء کی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خو شن ود ▁اور ▁ر ست م
▁english ▁t it le : ▁'' the ▁sec ond ▁w ife ''. ▁about ▁the ▁d ow ry ▁system ▁in ▁india ▁( s er ial is ed ▁in ▁the ▁mag az ine ▁'' ch and '' ▁between ▁nov ember ▁0000 ▁and ▁nov ember ▁0000, ▁be f
▁ویکیپیڈیا ▁سے ▁ملف : old ▁port ▁of ▁mont re al ▁( f ren ch - ▁v ie ux - port ▁de ▁mont ré al ). jpg | thumb na il | right | مان ٹر یال , ▁کیوبیک ▁کی ▁اکثریت ▁فرانسیسی ▁بول تی ▁ہے ▁لیکن ▁انگریزی ▁ب
25000 ▁محمد ▁عادل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پرورش ▁خدیجہ ▁سلطان ▁شہر ▁بانو ▁کی ▁نگرانی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پرست ار ▁اور ▁شعراء کی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خوشن ود ▁اور ▁رستم
▁english ▁tit le : ▁'' the ▁second ▁w ife ''. ▁about ▁the ▁dow ry ▁system ▁in ▁india ▁( ser ial ised ▁in ▁the ▁magazine ▁'' ch and '' ▁between ▁nov ember ▁0000 ▁and ▁nov ember ▁0000, ▁be f
▁ویکیپیڈیا ▁سے ▁ملف : old ▁port ▁of ▁mont real ▁( french - ▁v ieux - port ▁de ▁mont ré al ). jpg | thumbnail | right | مان ٹریال , ▁کیوبیک ▁کی ▁اکثریت ▁فرانسیسی ▁بولتی ▁ہے ▁لیکن ▁انگریزی ▁ب
50000 ▁محمد ▁عادل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پرورش ▁خدیجہ ▁سلطان ▁شہر ▁بانو ▁کی ▁نگرانی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پرستار ▁اور ▁شعراء کی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خوشن ود ▁اور ▁رستم
▁english ▁title : ▁'' the ▁second ▁wife ''. ▁about ▁the ▁dow ry ▁system ▁in ▁india ▁( ser ial ised ▁in ▁the ▁magazine ▁'' chand '' ▁between ▁november ▁0000 ▁and ▁november ▁0000, ▁be f
▁ویکیپیڈیا ▁سے ▁ملف : old ▁port ▁of ▁mont real ▁( french - ▁v ieux - port ▁de ▁mont ré al ). jpg | thumbnail | right | مان ٹریال , ▁کیوبیک ▁کی ▁اکثریت ▁فرانسیسی ▁بولتی ▁ہے ▁لیکن ▁انگریزی ▁ب
100000 ▁محمد ▁عادل ▁شاہ ▁کے ▁بیٹے ▁تھے۔ ▁ان ▁کی ▁پرورش ▁خدیجہ ▁سلطان ▁شہر ▁بانو ▁کی ▁نگرانی ▁میں ▁ہوئی ▁جو ▁خود ▁علم ▁و ▁ادب ▁کی ▁پرستار ▁اور ▁شعراءکی ▁قدر ▁دان ▁تھی۔ ▁ملک ▁خوشن ود ▁اور ▁رستم
▁english ▁title : ▁'' the ▁second ▁wife ''. ▁about ▁the ▁dow ry ▁system ▁in ▁india ▁( ser ial ised ▁in ▁the ▁magazine ▁'' chand '' ▁between ▁november ▁0000 ▁and ▁november ▁0000, ▁be f
▁ویکیپیڈیا ▁سے ▁ملف : old ▁port ▁of ▁montreal ▁( french - ▁v ieux - port ▁de ▁mont ré al ). jpg | thumbnail | right | مان ٹریال , ▁کیوبیک ▁کی ▁اکثریت ▁فرانسیسی ▁بولتی ▁ہے ▁لیکن ▁انگریزی ▁ب