Bishnupriya (bpy) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | bpywiki sample |
|---|---|
| original | ভারতর ২০০১ মারির মানুলেহা (লোক গননা) অনুসারে ভিমতাল শহরহানর জনসংখ্যা ইলাতাই ৫৮৭৫ গ। অতার মা মুনি ৫৪%, বারো জেলা/বেয়াপা বারো জেলার মা হারহান ৭২%। আস্তা ভারতর সাক্ষরতার হারহান ৫৯.৫%, অহানাত্ত দেব প্রয়াগ এহানর সাক্ষরতার হারহান ভারতর ২০০১ মারির মানুলেহা (লোক গননা) অনুসারে তালজা শহরহানর জনসংখ্যা ইলাতাই ২৬,১৮৭ গ। অতার মা মুনি ৫১%, বারো জেলা/বেয়াপা |
| 1000 | ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ভ িম ত াল ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁0000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা ▁বারো ▁জেলার ▁মা ▁হারহান ▁00 %। ▁আস্তা ▁ভারতর ▁সাক্ষরতার ▁হারহান ▁00 . 0 %, ▁অহানাত্ত ▁দে ব ▁প্র য়া গ ▁এহানর ▁সাক্ষরতার ▁হারহান ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ত াল জা ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁00 , 000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা |
| 3000 | ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ভ িম ত াল ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁0000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা ▁বারো ▁জেলার ▁মা ▁হারহান ▁00 %। ▁আস্তা ▁ভারতর ▁সাক্ষরতার ▁হারহান ▁00 .0 %, ▁অহানাত্ত ▁দেব ▁প্র য়া গ ▁এহানর ▁সাক্ষরতার ▁হারহান ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁তাল জা ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁00, 000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা |
| 5000 | ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ভ িম ত াল ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁0000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা ▁বারো ▁জেলার ▁মা ▁হারহান ▁00 %। ▁আস্তা ▁ভারতর ▁সাক্ষরতার ▁হারহান ▁00 .0 %, ▁অহানাত্ত ▁দেব ▁প্র য়া গ ▁এহানর ▁সাক্ষরতার ▁হারহান ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁তাল জা ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁00, 000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা |
| 10000 | ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ভ িম তাল ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁0000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা ▁বারো ▁জেলার ▁মা ▁হারহান ▁00 %। ▁আস্তা ▁ভারতর ▁সাক্ষরতার ▁হারহান ▁00 .0 %, ▁অহানাত্ত ▁দেব ▁প্রয়া গ ▁এহানর ▁সাক্ষরতার ▁হারহান ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁তাল জা ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁00,000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা |
| 25000 | ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁ভিম তাল ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁0000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা ▁বারো ▁জেলার ▁মা ▁হারহান ▁00 %। ▁আস্তা ▁ভারতর ▁সাক্ষরতার ▁হারহান ▁00.0 %, ▁অহানাত্ত ▁দেব ▁প্রয়াগ ▁এহানর ▁সাক্ষরতার ▁হারহান ▁ভারতর ▁0000 ▁মারির ▁মানুলেহা ▁( লোক ▁গননা ) ▁অনুসারে ▁তাল জা ▁শহরহানর ▁জনসংখ্যা ▁ইলাতাই ▁00,000 ▁গ । ▁অতার ▁মা ▁মুনি ▁00 %, ▁বারো ▁জেলা / বেয়াপা |