South Azerbaijani (azb) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | azbwiki sample |
|---|---|
| original | دور. ولکان یئرین داخیلینده باش وئرن ژئولوژی دییشیک لیک نتیجه سینده ماگمانین خاریج ائدیلمسی ایله مشایعت اولونور. تاریخی آذربایجان اراضیسی اسكندر حاكمیتیندن بو گونه كیمی مشخص بیر چرچیوه ده و معیّن بیر جغرافیادا و چوخ دگیشمهدن قورونوب ساخلانیلمیشدیر . اسلام حاكمیتی معاويه يزیدی ولی عهد تعیین ائتمک مقصدی ایله ایرهلی سۆردويو سیاستی داوام ائتدیرهرک مدینه شهرینین جاماعتیندان، خصوصا ده، باشدا حسین اوْلماقلا شهرین آدلی |
| 1000 | ▁دور . ▁و ل ک ان ▁یئر ین ▁داخ یل ینده ▁باش ▁وئر ن ▁ژ ئ ولوژی ▁دی ی شی ک ▁ لیک ▁ن تی جه ▁س ینده ▁م ا گ م انین ▁خ اری ج ▁ائد یلم سی ▁ایله ▁م ش ای عت ▁اولون ور . ▁تاریخ ی ▁آذربایجان ▁ا را ضی سی ▁اس ك ند ر ▁حا ك می ت یندن ▁بو ▁گون ه ▁ك یمی ▁م ش خ ص ▁بیر ▁چ ر چی وه ▁ده ▁و ▁مع ی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁د گی ش مه دن ▁قور ون وب ▁سا خلان یلمیشدیر ▁. ▁اس لام ▁حا ك می تی ▁مع او ي ه ▁ي زی دی ▁و لی ▁ع ه د ▁ت عی ین ▁ائت مک ▁مق ص دی ▁ایله ▁ایر ه لی ▁س ۆ ر دو ي و ▁سی اس تی ▁دا و ام ▁ائت دیر هر ک ▁م د ینه ▁شهر ینین ▁ج ام ا عت یندان ، ▁خ صو ص ا ▁ده ، ▁باش دا ▁حس ین ▁او ْ لم اق لا ▁شهرین ▁آد لی |
| 3000 | ▁دور . ▁و ل کان ▁یئر ین ▁داخیل ینده ▁باش ▁وئرن ▁ژ ئ ولوژی ▁دی ی شیک ▁ لیک ▁نتیجه ▁سینده ▁ما گ م انین ▁خاری ج ▁ائد یلم سی ▁ایله ▁مش ای عت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضی سی ▁اس ك ندر ▁حا ك میت یندن ▁بو ▁گون ه ▁ك یمی ▁مش خ ص ▁بیر ▁چ ر چی وه ▁ده ▁و ▁مع ی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁د گی ش مه دن ▁قور ون وب ▁سا خلان یلمیشدیر ▁. ▁اس لام ▁حا ك می تی ▁مع او يه ▁ي زی دی ▁و لی ▁ع ه د ▁تعیین ▁ائتمک ▁مقص دی ▁ایله ▁ایر ه لی ▁س ۆر دو ي و ▁سی اس تی ▁داوام ▁ائتدیر هرک ▁مد ینه ▁شهرینین ▁ج اما عت یندان ، ▁خصوص ا ▁ده ، ▁باش دا ▁حسین ▁او ْ لم اق لا ▁شهرین ▁آدلی |
| 5000 | ▁دور . ▁و ل کان ▁یئرین ▁داخیل ینده ▁باش ▁وئرن ▁ژ ئ ولوژی ▁دییشیک ▁لیک ▁نتیجه ▁سینده ▁ما گ مانین ▁خاریج ▁ائدیلم سی ▁ایله ▁مش ای عت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضی سی ▁اس ك ندر ▁حا ك میت یندن ▁بو ▁گون ه ▁ك یمی ▁مش خ ص ▁بیر ▁چر چی وه ▁ده ▁و ▁مع ی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁د گی ش مه دن ▁قور ون وب ▁ساخلان یلمیشدیر ▁. ▁اسلام ▁حا ك می تی ▁مع او يه ▁ي زی دی ▁ولی ▁ع ه د ▁تعیین ▁ائتمک ▁مقص دی ▁ایله ▁ایره لی ▁سۆر دو يو ▁سی اس تی ▁داوام ▁ائتدیر هرک ▁مدینه ▁شهرینین ▁ج اما عت یندان ، ▁خصوص ا ▁ده ، ▁باشدا ▁حسین ▁او ْ لماق لا ▁شهرین ▁آدلی |
| 10000 | ▁دور . ▁ول کان ▁یئرین ▁داخیلینده ▁باش ▁وئرن ▁ژ ئولوژی ▁دییشیک ▁لیک ▁نتیجه ▁سینده ▁ما گ مانین ▁خاریج ▁ائدیلم سی ▁ایله ▁مش ای عت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضیسی ▁اس ك ندر ▁حا ك میت یندن ▁بو ▁گونه ▁ك یمی ▁مش خص ▁بیر ▁چرچی وه ▁ده ▁و ▁مع ی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁د گی شمه دن ▁قورون وب ▁ساخلان یلمیشدیر ▁. ▁اسلام ▁حا ك می تی ▁مع او يه ▁ي زی دی ▁ولی ▁عهد ▁تعیین ▁ائتمک ▁مقصدی ▁ایله ▁ایرهلی ▁سۆر دو يو ▁سیاستی ▁داوام ▁ائتدیر هرک ▁مدینه ▁شهرینین ▁جاما عت یندان ، ▁خصوص ا ▁ده ، ▁باشدا ▁حسین ▁او ْ لماقلا ▁شهرین ▁آدلی |
| 25000 | ▁دور . ▁ول کان ▁یئرین ▁داخیلینده ▁باش ▁وئرن ▁ژئولوژی ▁دییشیک ▁لیک ▁نتیجه ▁سینده ▁ماگ مانین ▁خاریج ▁ائدیلم سی ▁ایله ▁مش ایعت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضیسی ▁اس ك ندر ▁حاك میت یندن ▁بو ▁گونه ▁كیمی ▁مش خص ▁بیر ▁چرچیوه ▁ده ▁و ▁معی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁دگی شمه دن ▁قورونوب ▁ساخلان یلمیشدیر ▁. ▁اسلام ▁حاك می تی ▁معاويه ▁ي زی دی ▁ولی ▁عهد ▁تعیین ▁ائتمک ▁مقصدی ▁ایله ▁ایرهلی ▁سۆر دو يو ▁سیاستی ▁داوام ▁ائتدیر هرک ▁مدینه ▁شهرینین ▁جاماعت یندان ، ▁خصوصا ▁ده ، ▁باشدا ▁حسین ▁او ْ لماقلا ▁شهرین ▁آدلی |
| 50000 | ▁دور . ▁ولکان ▁یئرین ▁داخیلینده ▁باش ▁وئرن ▁ژئولوژی ▁دییشیک ▁لیک ▁نتیجه ▁سینده ▁ماگ مانین ▁خاریج ▁ائدیلمسی ▁ایله ▁مشایعت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضیسی ▁اسكندر ▁حاك میت یندن ▁بو ▁گونه ▁كیمی ▁مشخص ▁بیر ▁چرچیوه ▁ده ▁و ▁معی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁دگی شمه دن ▁قورونوب ▁ساخلان یلمیشدیر ▁. ▁اسلام ▁حاك میتی ▁معاويه ▁ي زیدی ▁ولی ▁عهد ▁تعیین ▁ائتمک ▁مقصدی ▁ایله ▁ایرهلی ▁سۆردو يو ▁سیاستی ▁داوام ▁ائتدیرهرک ▁مدینه ▁شهرینین ▁جاماعت یندان ، ▁خصوصا ▁ده ، ▁باشدا ▁حسین ▁او ْ لماقلا ▁شهرین ▁آدلی |
| 100000 | ▁دور . ▁ولکان ▁یئرین ▁داخیلینده ▁باش ▁وئرن ▁ژئولوژی ▁دییشیک ▁لیک ▁نتیجه ▁سینده ▁ماگمانین ▁خاریج ▁ائدیلمسی ▁ایله ▁مشایعت ▁اولونور . ▁تاریخی ▁آذربایجان ▁اراضیسی ▁اسكندر ▁حاكمیت یندن ▁بو ▁گونه ▁كیمی ▁مشخص ▁بیر ▁چرچیوه ▁ده ▁و ▁معی ّ ن ▁بیر ▁جغرافیا دا ▁و ▁چوخ ▁دگیشمه دن ▁قورونوب ▁ساخلانیلمیشدیر ▁. ▁اسلام ▁حاك میتی ▁معاويه ▁ي زیدی ▁ولی ▁عهد ▁تعیین ▁ائتمک ▁مقصدی ▁ایله ▁ایرهلی ▁سۆردويو ▁سیاستی ▁داوام ▁ائتدیرهرک ▁مدینه ▁شهرینین ▁جاماعت یندان ، ▁خصوصا ▁ده ، ▁باشدا ▁حسین ▁او ْ لماقلا ▁شهرین ▁آدلی |