Newari (new) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | newwiki sample |
|---|---|
| original | थ्व खँग्वयागु छ्येलेज्या संस्कृतय् व संस्कृत नाप स्वापू दुगु व संस्कृत नं बुया वगु भाषे जुगु खने दु। थ्व खँग्वयागु छ्येलेज्या दक्ले न्ह्य संस्कृतय् जुगु ख। लिपा थ्व खँग्वयागु तत्सम खँग्वया रुपे यक्व भासे, यक्व कथलं छ्येलेज्या जुल। दर्मातोलोजिस्तं थगु दायाग्नोसिस मेमेगु चिकित्सकतेसं थें हे हिस्त्री, जांच व इन्भेस्तिगेसनया पद्धतिं याइ। |
| 1000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁द र् मा त ो ल ो ज िस्त ं ▁थ गु ▁द ा या ग ् न ो स िस ▁म े म े गु ▁चिक ित ् स क तेसं ▁थ ें ▁हे ▁ह िस्त ्र ी , ▁ज ां च ▁व ▁इन् भ े स ्त ि ग े स नया ▁प द्ध ति ं ▁या इ । |
| 3000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁द र्मा तो लो ज िस्त ं ▁थ गु ▁द ाया ग् नो सिस ▁मेमेगु ▁चिकित् स क तेसं ▁थें ▁हे ▁ह िस्त ्री , ▁ज ां च ▁व ▁इन् भे स्त ि ग े स नया ▁प द्ध तिं ▁याइ । |
| 5000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁द र्मा तो लो जिस्त ं ▁थगु ▁द ाया ग् नो सिस ▁मेमेगु ▁चिकित्स क तेसं ▁थें ▁हे ▁ह िस्त ्री , ▁ज ां च ▁व ▁इन् भे स्त ि गे स नया ▁पद्ध तिं ▁याइ । |
| 10000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁दर्मा तो लो जिस्त ं ▁थगु ▁द ाया ग्नोसिस ▁मेमेगु ▁चिकित्सक तेसं ▁थें ▁हे ▁ह िस्त ्री , ▁जां च ▁व ▁इन् भे स्ति गे स नया ▁पद्ध तिं ▁याइ । |
| 25000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁दर्मातोलोजिस्त ं ▁थगु ▁दाया ग्नोसिस ▁मेमेगु ▁चिकित्सक तेसं ▁थें ▁हे ▁हिस्त ्री , ▁जां च ▁व ▁इन्भे स्ति गे सनया ▁पद्धतिं ▁याइ । |
| 50000 | ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁संस्कृतय् ▁व ▁संस्कृत ▁नाप ▁स्वापू ▁दुगु ▁व ▁संस्कृत ▁नं ▁बुया ▁वगु ▁भाषे ▁जुगु ▁खने ▁दु । ▁थ्व ▁खँग्वयागु ▁छ्येलेज्या ▁दक्ले ▁न्ह्य ▁संस्कृतय् ▁जुगु ▁ख । ▁लिपा ▁थ्व ▁खँग्वयागु ▁तत्सम ▁खँग्वया ▁रुपे ▁यक्व ▁भासे , ▁यक्व ▁कथलं ▁छ्येलेज्या ▁जुल । ▁दर्मातोलोजिस्तं ▁थगु ▁दायाग्नोसिस ▁मेमेगु ▁चिकित्सक तेसं ▁थें ▁हे ▁हिस्त्री , ▁जांच ▁व ▁इन्भे स्ति गे सनया ▁पद्धतिं ▁याइ । |