Burmese (my) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | mywiki sample |
|---|---|
| original | ထိုသို့ဇင်းမယ်ကို အလုံးစုံအောင်နိုင်ပြီးလျှင် မိုးဝန်း၊ ကိုင်းမား၊ လသာ၊ စန္ဒား တို့မှာ တရုတ်စော်ဘွားများလည်း အင်းဝသို့ ကိုယ်တိုင်သော်လည်းကောင်း၊ ညီတော အသောကမင်းကြီးနောက်မင်း (၆) ဆက်မြောက်၌ သုင်္ဂပုရှာမိတြအမည်ရှိ ဗြဟ္မဏစစ်သူကြီးသည် ဘုရင်ကို လုပ်ကြံကာ ထီးနန်းရယူပြီး သုင်္ဂမင်းဆက်ကို တည်ထောင်ခဲ့သည်။ မော မြတ်စွာဘုရားရှင်သည် ကထိန်ခင်းရာတွင် နှစ်ထပ်သင်္ကန်းကြီး၊ အပေါ်ရုံ ဧကသီ၊ ခါးဝတ်သင်းပိုင်ဟူသော သုံးထည်သော သင်္ကန်းတို့တွင် တစ်ထည်တည်းသော သင်္ကန်းဖြင့်သာ |
| 1000 | ▁ထို သို့ ဇ င်း မ ယ် ကို ▁အ လုံး စုံ အောင် နိုင် ပြီး လျှင် ▁မ ိုး ဝ န်း ၊ ▁ကို င်း မ ား ၊ ▁လ သာ ၊ ▁စ န္ဒ ား ▁တို့ မှာ ▁တ ရုတ် စ ော် ဘ ွား များ လည်း ▁အ င်း ဝ သို့ ▁ကိုယ် တိုင် သော်လည်း ကောင်း ၊ ▁ ညီ တ ော ▁အ သော က မင်း ကြီး နောက် မင်း ▁( 0 ) ▁ဆက် မြောက် ၌ ▁သ ု င်္ဂ ပ ု ရှ ာ မိ တ ြ အ မည် ရှိ ▁ဗ ြ ဟ ္ မ ဏ စစ် သူ ကြီး သည် ▁ဘ ု ရင် ကို ▁လုပ် ကြ ံ ကာ ▁ထ ီး န န်း ရ ယူ ပြီး ▁သ ု င်္ဂ မင်း ဆက် ကို ▁တည် ထောင် ခဲ့သည်။ ▁မ ော ▁မြ တ် စွာ ဘုရား ရှင် သည် ▁က ထ ိန် ခ င်း ရာတွင် ▁နှစ် ထ ပ် သ င်္ က န်း ကြီး ၊ ▁အ ပေါ် ရုံ ▁ဧ က သီ ၊ ▁ခ ါး ဝ တ် သ င်း ပိုင် ဟူ သော ▁သုံး ထ ည် သော ▁သ င်္ က န်း တို့ တွင် ▁တစ် ထ ည် တည်း သော ▁သ င်္ က န်း ဖြင့် သာ |
| 3000 | ▁ထိုသို့ ဇင်း မယ် ကို ▁အ လုံး စုံ အောင် နိုင် ပြီးလျှင် ▁မိုး ဝန်း ၊ ▁ကို င်း မား ၊ ▁လ သာ ၊ ▁စ န္ဒ ား ▁တို့ မှာ ▁တရုတ် စ ော်ဘွား များလည်း ▁အင်းဝ သို့ ▁ကိုယ်တိုင် သော်လည်း ကောင်း၊ ▁ညီ တော ▁အ သော က မင်းကြီး နောက် မင်း ▁( 0 ) ▁ဆက် မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တ ြ အမည် ရှိ ▁ဗြ ဟ ္ မဏ စစ် သူ ကြီးသည် ▁ဘုရင် ကို ▁လုပ် ကြံ ကာ ▁ထီး နန်း ရ ယူ ပြီး ▁သု င်္ဂ မင်း ဆက် ကို ▁တည်ထောင် ခဲ့သည်။ ▁မ ော ▁မြတ်စွာဘုရား ရှင် သည် ▁က ထ ိန် ခင်း ရာတွင် ▁နှစ် ထပ် သင်္ က န်း ကြီး ၊ ▁အ ပေါ် ရုံ ▁ဧ က သီ ၊ ▁ခ ါး ဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ က န်း တို့တွင် ▁တစ် ထည် တည်း သော ▁သင်္ က န်း ဖြင့် သာ |
| 5000 | ▁ထိုသို့ ဇင်း မယ် ကို ▁အ လုံး စုံ အောင် နိုင် ပြီးလျှင် ▁မိုး ဝန်း ၊ ▁ကို င်း မား ၊ ▁လ သာ ၊ ▁စ န္ဒ ား ▁တို့ မှာ ▁တရုတ် စော်ဘွား များလည်း ▁အင်းဝ သို့ ▁ကိုယ်တိုင် သော်လည်း ကောင်း၊ ▁ညီ တော ▁အ သော က မင်းကြီး နောက် မင်း ▁( 0 ) ▁ဆက် မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တြ အမည် ရှိ ▁ဗြ ဟ္ မဏ စစ် သူ ကြီးသည် ▁ဘုရင် ကို ▁လုပ် ကြံ ကာ ▁ထီး နန်း ရ ယူ ပြီး ▁သု င်္ဂ မင်းဆက် ကို ▁တည်ထောင် ခဲ့သည်။ ▁မ ော ▁မြတ်စွာဘုရား ရှင် သည် ▁က ထ ိန် ခင်း ရာတွင် ▁နှစ် ထပ် သင်္ ကန်း ကြီး၊ ▁အပေါ် ရုံ ▁ဧက သီ ၊ ▁ခါး ဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ ကန်း တို့တွင် ▁တစ် ထည် တည်းသော ▁သင်္ ကန်း ဖြင့် သာ |
| 10000 | ▁ထိုသို့ ဇင်း မယ် ကို ▁အလုံး စုံ အောင် နိုင် ပြီးလျှင် ▁မိုး ဝန်း ၊ ▁ကိုင်း မား ၊ ▁လ သာ၊ ▁စန္ဒ ား ▁တို့မှာ ▁တရုတ် စော်ဘွား များလည်း ▁အင်းဝ သို့ ▁ကိုယ်တိုင် သော်လည်းကောင်း၊ ▁ညီ တော ▁အ သောက မင်းကြီး နောက် မင်း ▁(0 ) ▁ဆက် မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တြ အမည် ရှိ ▁ဗြဟ္ မဏ စစ် သူ ကြီးသည် ▁ဘုရင် ကို ▁လုပ်ကြံ ကာ ▁ထီးနန်း ရယူ ပြီး ▁သု င်္ဂ မင်းဆက် ကို ▁တည်ထောင်ခဲ့သည်။ ▁မော ▁မြတ်စွာဘုရား ရှင် သည် ▁က ထိန် ခင်း ရာတွင် ▁နှစ် ထပ် သင်္ ကန်း ကြီး၊ ▁အပေါ် ရုံ ▁ဧက သီ ၊ ▁ခါး ဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ကန်း တို့တွင် ▁တစ် ထည် တည်းသော ▁သင်္ကန်း ဖြင့်သာ |
| 25000 | ▁ထိုသို့ ဇင်း မယ် ကို ▁အလုံးစုံ အောင် နိုင် ပြီးလျှင် ▁မိုး ဝန်း ၊ ▁ကိုင်း မား ၊ ▁လ သာ၊ ▁စန္ဒ ား ▁တို့မှာ ▁တရုတ် စော်ဘွား များလည်း ▁အင်းဝသို့ ▁ကိုယ်တိုင် သော်လည်းကောင်း၊ ▁ညီ တော ▁အသောက မင်းကြီး နောက် မင်း ▁(0) ▁ဆက်မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တြ အမည်ရှိ ▁ဗြဟ္ မဏ စစ် သူ ကြီးသည် ▁ဘုရင် ကို ▁လုပ်ကြံ ကာ ▁ထီးနန်း ရယူ ပြီး ▁သု င်္ဂ မင်းဆက်ကို ▁တည်ထောင်ခဲ့သည်။ ▁မော ▁မြတ်စွာဘုရား ရှင်သည် ▁ကထိန် ခင်း ရာတွင် ▁နှစ်ထပ် သင်္ကန်း ကြီး၊ ▁အပေါ် ရုံ ▁ဧက သီ ၊ ▁ခါး ဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ကန်း တို့တွင် ▁တစ် ထည် တည်းသော ▁သင်္ကန်း ဖြင့်သာ |
| 50000 | ▁ထိုသို့ ဇင်းမယ် ကို ▁အလုံးစုံ အောင်နိုင် ပြီးလျှင် ▁မိုး ဝန်း၊ ▁ကိုင်း မား ၊ ▁လ သာ၊ ▁စန္ဒ ား ▁တို့မှာ ▁တရုတ် စော်ဘွား များလည်း ▁အင်းဝသို့ ▁ကိုယ်တိုင် သော်လည်းကောင်း၊ ▁ညီ တော ▁အသောက မင်းကြီး နောက် မင်း ▁(0) ▁ဆက်မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တြ အမည်ရှိ ▁ဗြဟ္မဏ စစ် သူ ကြီးသည် ▁ဘုရင်ကို ▁လုပ်ကြံ ကာ ▁ထီးနန်း ရယူပြီး ▁သု င်္ဂ မင်းဆက်ကို ▁တည်ထောင်ခဲ့သည်။ ▁မော ▁မြတ်စွာဘုရား ရှင်သည် ▁ကထိန်ခင်း ရာတွင် ▁နှစ်ထပ် သင်္ကန်း ကြီး၊ ▁အပေါ် ရုံ ▁ဧက သီ၊ ▁ခါး ဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ကန်း တို့တွင် ▁တစ် ထည် တည်းသော ▁သင်္ကန်း ဖြင့်သာ |
| 100000 | ▁ထိုသို့ ဇင်းမယ် ကို ▁အလုံးစုံ အောင်နိုင် ပြီးလျှင် ▁မိုး ဝန်း၊ ▁ကိုင်း မား၊ ▁လ သာ၊ ▁စန္ဒ ား ▁တို့မှာ ▁တရုတ် စော်ဘွား များလည်း ▁အင်းဝသို့ ▁ကိုယ်တိုင် သော်လည်းကောင်း၊ ▁ညီ တော ▁အသောကမင်းကြီး နောက် မင်း ▁(0) ▁ဆက်မြောက် ၌ ▁သု င်္ဂ ပု ရှာ မိ တြ အမည်ရှိ ▁ဗြဟ္မဏ စစ်သူ ကြီးသည် ▁ဘုရင်ကို ▁လုပ်ကြံ ကာ ▁ထီးနန်း ရယူပြီး ▁သု င်္ဂ မင်းဆက်ကို ▁တည်ထောင်ခဲ့သည်။ ▁မော ▁မြတ်စွာဘုရား ရှင်သည် ▁ကထိန်ခင်း ရာတွင် ▁နှစ်ထပ် သင်္ကန်း ကြီး၊ ▁အပေါ်ရုံ ▁ဧက သီ၊ ▁ခါးဝတ် သင်း ပိုင် ဟူသော ▁သုံး ထည် သော ▁သင်္ကန်း တို့တွင် ▁တစ် ထည် တည်းသော ▁သင်္ကန်း ဖြင့်သာ |