Dotyali (dty) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix

View Dotyali subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizedtywiki sample
original राँची भारत को एक प्रमुख शहर हो र यो झारखण्ड प्रदेशको राजधानी हो। पहिले जब यो बिहार राज्यको हिस्सा थियो तब गर्मिमा आफ्नो अपेक्षाकत ठण्डा मौसमका कारण प्
चिसापानी तराइको भूभाग भया पनि बैशाख देखि भदौ सम्म मात्र केही गर्मी महसुस हुन्छ। अरु वर्ष भरि नै हावा चलि रहने भयाकाले रे कर्णाली नदीको किनारा भयाका का
– गणतन्त्र फिजी a संयुक्त राष्ट्र सदस्य a छैन फिजीले एउटा स्वायत्त क्षेत्र रोटुमामा आफ्नो अधिकार जमाएको छ ।
1000 ▁रा ँच ी ▁भारत ▁को ▁एक ▁प्रमुख ▁शहर ▁हो ▁र ▁यो ▁झ ार ख ण्ड ▁प्रदेश को ▁राजधानी ▁हो । ▁पहि ले ▁ज ब ▁यो ▁बि हार ▁राज्य को ▁हि स् सा ▁थियो ▁त ब ▁गर् मि मा ▁आफ्नो ▁अ प े क्ष ा क त ▁ठ ण् डा ▁म ौ स म का ▁कारण ▁प ्
▁चि सा प ानी ▁त राइ को ▁भू भाग ▁भया ▁पनि ▁बै शा ख ▁देखि ▁भ द ौ ▁सम्म ▁मा त्र ▁के ही ▁गर् मी ▁मह सु स ▁हुन्छ । ▁अ रु ▁वर्ष ▁भ रि ▁नै ▁हा वा ▁च लि ▁रह ने ▁भया का ले ▁रे ▁क र्ण ाली ▁नदी को ▁क िन ारा ▁भया का ▁का
▁– ▁गण तन्त्र ▁फ ि जी ▁a ▁संयुक्त ▁राष्ट्र ▁सदस्य ▁a ▁छ ैन ▁फ ि जी ले ▁एउटा ▁स्व ा य त्त ▁क्षेत्र ▁रो ट ु मा मा ▁आफ्नो ▁अध िकार ▁ज मा एको ▁छ ▁।
3000 ▁रा ँची ▁भारत ▁को ▁एक ▁प्रमुख ▁शहर ▁हो ▁र ▁यो ▁झ ार खण्ड ▁प्रदेश को ▁राजधानी ▁हो । ▁पहिले ▁जब ▁यो ▁बिहार ▁राज्यको ▁हिस्सा ▁थियो ▁त ब ▁गर् मि मा ▁आफ्नो ▁अप े क्षा क त ▁ठ ण्डा ▁मौ सम का ▁कारण ▁प ्
▁चि सा पानी ▁त राइ को ▁भू भाग ▁भया ▁पनि ▁बै शाख ▁देखि ▁भ द ौ ▁सम्म ▁मात्र ▁केही ▁गर् मी ▁मह सु स ▁हुन्छ । ▁अरु ▁वर्ष ▁भ रि ▁नै ▁हावा ▁च लि ▁रह ने ▁भयाका ले ▁रे ▁कर्णाली ▁नदीको ▁किन ारा ▁भयाका ▁का
▁– ▁गणतन्त्र ▁फि जी ▁a ▁संयुक्त ▁राष्ट्र ▁सदस्य ▁a ▁छैन ▁फि जी ले ▁एउटा ▁स्वा य त्त ▁क्षेत्र ▁रो टु मा मा ▁आफ्नो ▁अधिकार ▁ज मा एको ▁छ ▁।
5000 ▁राँची ▁भारत ▁को ▁एक ▁प्रमुख ▁शहर ▁हो ▁र ▁यो ▁झार खण्ड ▁प्रदेशको ▁राजधानी ▁हो । ▁पहिले ▁जब ▁यो ▁बिहार ▁राज्यको ▁हिस्सा ▁थियो ▁तब ▁गर् मि मा ▁आफ्नो ▁अप े क्षा क त ▁ठ ण्डा ▁मौसम का ▁कारण ▁प ्
▁चिसापानी ▁त राइ को ▁भूभाग ▁भया ▁पनि ▁बैशाख ▁देखि ▁भ दौ ▁सम्म ▁मात्र ▁केही ▁गर्मी ▁मह सु स ▁हुन्छ । ▁अरु ▁वर्ष ▁भ रि ▁नै ▁हावा ▁चलि ▁रह ने ▁भयाकाले ▁रे ▁कर्णाली ▁नदीको ▁किनारा ▁भयाका ▁का
▁– ▁गणतन्त्र ▁फि जी ▁a ▁संयुक्त ▁राष्ट्र ▁सदस्य ▁a ▁छैन ▁फि जी ले ▁एउटा ▁स्वायत्त ▁क्षेत्र ▁रो टु मा मा ▁आफ्नो ▁अधिकार ▁जमा एको ▁छ ▁।
10000 ▁राँची ▁भारत ▁को ▁एक ▁प्रमुख ▁शहर ▁हो ▁र ▁यो ▁झारखण्ड ▁प्रदेशको ▁राजधानी ▁हो । ▁पहिले ▁जब ▁यो ▁बिहार ▁राज्यको ▁हिस्सा ▁थियो ▁तब ▁गर् मि मा ▁आफ्नो ▁अपेक्षा क त ▁ठ ण्डा ▁मौसम का ▁कारण ▁प ्
▁चिसापानी ▁तराइ को ▁भूभाग ▁भया ▁पनि ▁बैशाख ▁देखि ▁भदौ ▁सम्म ▁मात्र ▁केही ▁गर्मी ▁महसुस ▁हुन्छ । ▁अरु ▁वर्ष ▁भरि ▁नै ▁हावा ▁चलि ▁रहने ▁भयाकाले ▁रे ▁कर्णाली ▁नदीको ▁किनारा ▁भयाका ▁का
▁– ▁गणतन्त्र ▁फि जी ▁a ▁संयुक्त ▁राष्ट्र ▁सदस्य ▁a ▁छैन ▁फि जीले ▁एउटा ▁स्वायत्त ▁क्षेत्र ▁रो टु मा मा ▁आफ्नो ▁अधिकार ▁जमा एको ▁छ ▁।