Bengali (bn) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | bnwiki sample |
|---|---|
| original | জারি গান বাংলাদেশের এক প্রকারের ঐতিহ্যবাহী সঙ্গীতরীতি। ফার্সি জারি শব্দের অর্থ শোক। মুহাররম মাসে কারবালার বিয়োগান্তক কাহিনীর স্মরণে মূলত এই গানের উদ্ বিষয়শ্রেণী:১৮৫৪-এ জন্ম বিষয়শ্রেণী:১৯২২-এ মৃত্যু বিষয়শ্রেণী:কবি বিষয়শ্রেণী:বাঙালি কণ্ঠশিল্পী বিষয়শ্রেণী:বাঙালি গীতিকার বিষয়শ্রেণী:বাঙালি সুরকার ব জাপানের পুনঃখোদিত মানচিত্র তোকুগাওয়া ইয়েয়াসু হিদেয়োশির পুত্রের অন্তর্বর্তীকালীন রাজশক্তি হিসেবে দেশ শাসন করেন। তিনি তাঁর পদ ব্যবহার করে রাজনৈতিক ও |
| 1000 | ▁জ ার ি ▁গ ান ▁বাংলাদেশের ▁এক ▁প্র কার ের ▁ঐ তিহ ্য বাহ ী ▁সঙ্গ ীত র ী তি । ▁ফ ার ্স ি ▁জ ার ি ▁শ ব ্ দের ▁অর্থ ▁শ োক । ▁মু হার র ম ▁ম াস ে ▁কার ব াল ার ▁বি য় োগ ান্ত ক ▁ক াহ িন ীর ▁স ্ম রণ ে ▁মূল ত ▁এই ▁গ ানের ▁উদ্ ▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত ্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বা ঙ ালি ▁ক ণ ্ ঠ শ িল্প ী ▁বিষয়শ্রেণী : বা ঙ ালি ▁গ ীত িকার ▁বিষয়শ্রেণী : বা ঙ ালি ▁স ুর কার ▁ব ▁জ াপ ানের ▁প ুন ঃ খ ো দ িত ▁মান চ িত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ ি দ ে য় ো শ ির ▁প ু ত্র ের ▁অন্ত র্ব র্ত ী কাল ীন ▁রাজ শ ক্ত ি ▁হিসেবে ▁দেশ ▁শ াস ন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজ ন ৈ তিক ▁ও |
| 3000 | ▁জ ারি ▁গান ▁বাংলাদেশের ▁এক ▁প্র কার ের ▁ঐতিহ্য বাহ ী ▁সঙ্গীত রী তি । ▁ফ ার্স ি ▁জ ারি ▁শব ্দের ▁অর্থ ▁শ োক । ▁মু হার র ম ▁মাসে ▁কার ব াল ার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্ম রণ ে ▁মূলত ▁এই ▁গ ানের ▁উদ্ ▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বা ঙালি ▁কণ ্ ঠ শিল্পী ▁বিষয়শ্রেণী : বা ঙালি ▁গ ীত িকার ▁বিষয়শ্রেণী : বা ঙালি ▁সুর কার ▁ব ▁জাপ ানের ▁পুন ঃ খ োদ িত ▁মান চিত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ িদ ে য় ো শ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শ ক্ত ি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |
| 5000 | ▁জ ারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকার ের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফ ার্স ি ▁জ ারি ▁শব্দের ▁অর্থ ▁শ োক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্ম রণ ে ▁মূলত ▁এই ▁গানের ▁উদ্ ▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠ শিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীত িকার ▁বিষয়শ্রেণী : বাঙালি ▁সুর কার ▁ব ▁জাপানের ▁পুন ঃ খ োদ িত ▁মান চিত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ িদ েয় োশ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শ ক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |
| 10000 | ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শ োক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্মরণ ে ▁মূলত ▁এই ▁গানের ▁উদ্ ▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব ▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁ত োক ুগ া ওয়া ▁ইয়ে য় াস ু ▁হ িদ েয় োশ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |
| 25000 | ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বিয়োগ ান্ত ক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্ ▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব ▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁ত োক ুগ াওয়া ▁ইয়ে য়াস ু ▁হ িদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |
| 50000 | ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রীতি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মু হার রম ▁মাসে ▁কার বালার ▁বিয়োগ ান্তক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্ ▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব ▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁তোক ুগাওয়া ▁ইয়ে য়াস ু ▁হিদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |
| 100000 | ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রীতি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মুহার রম ▁মাসে ▁কারবালার ▁বিয়োগান্তক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্ ▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব ▁জাপানের ▁পুনঃ খোদিত ▁মানচিত্র ▁তোকুগাওয়া ▁ইয়ে য়াস ু ▁হিদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও |