Tibetan (bo) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | bowiki sample |
|---|---|
| original | འདི་ལ་འཇམས་དབྱང་བཞད་པ་དཀོན་མཆོག་འཇིག་མེད་དབང་པོའི《གསུང་རབ་རྣམས་ནས་བཤད་པའི་གྲངས་འདྲེན་དགའ་ཞིག་བཀོད་པ》ལས། ༡.ཀུན་དུ་མཐིལ། ༢.རྣམ་པར་མཐིལ། ༣.མཐིལ་བཟང། ༤.རོ འབྲིང་ཟངས་ལི་རག་སོགས་དང་། ཐ་མ་ཤིང་རྡོ་སོགས་ལས་གྲུབ་པ། དབྱིབས་སྒོར་མོ། ཁ་དོག་མ་ངེས། ཆེ་ཆུང་གི་ཚད་ཆེ་བ་ལ་ཚད་མེད། ཆུང་མཐའ་ཕོར་པ་ལས་མ་ཆུང་བ་གལ་ཆེ། བང་རིམ་ ལུང་དེ་དག་གིས་གང་དུ་ཉམས་སུ་བླང་བའི་གནས། ཇི་ལྟར་ཉམས་སུ་ལེན་པའི་ཚུལ། ཉམས་སུ་བླངས་པ་ལ་བརྟེན་ནས་སློང་དང་ཆོད་ཚད་འབྱུང་ཚུལ་བཅས་པ་རིམ་པ་བཞིན་བསྟན་པའི་ཕྱིར་རོ |
| 3000 | ▁འདི་ ལ་ འཇ མས་ དབྱ ང་ བཞ ད་ པ་ དཀ ོན་ མཆོག་ འཇིག་ མེད་ དབང་ པོ འ ི 《 གསུང་ རབ་ རྣམས་ ནས་ བཤད་ པའི་ གྲངས་ འདྲེན་ དགའ་ ཞིག་བ ཀོད་ པ 》 ལས། ▁0. ཀུན་ དུ་ མཐ ི ལ། ▁0. རྣམ་པར་ མཐ ི ལ། ▁0. མཐ ིལ་བ ཟ ང། ▁0. ར ོ ▁ འབྲིང་ ཟ ངས་ ལི་ རག་ སོགས་ དང་། ▁ཐ ་མ་ ཤིང་ རྡོ་ སོགས་ ལས་ གྲུབ་ པ། ▁དབྱ ིབས་ སྒ ོར་ མོ། ▁ཁ་ དོག་ མ་ ང ེས། ▁ ཆེ་ ཆུང་ གི་ ཚད་ ཆེ་བ་ ལ་ ཚད་ མེད། ▁ ཆུང་ མཐའ་ ཕ ོར་ པ་ལས་ མ་ ཆུང་ བ་ གལ་ ཆེ། ▁བ ང་ རིམ་ ▁ལ ུང་ དེ་དག་ གིས་ གང་ དུ་ ཉམས་ སུ་བ ླ ང་ བའི་ གན ས། ▁ ཇི་ལྟར་ ཉམས་ སུ་ ལེན་ པའི་ ཚ ུལ། ▁ ཉམས་ སུ་བ ླ ངས་ པ་ ལ་བརྟེན་ནས་ སློང་ དང་ ཆ ོད་ ཚད་ འབྱུང་ ཚུལ་བ ཅས་ པ་ རིམ་ པ་བ ཞིན་ བསྟན་ པའི་ ཕྱིར་ ར ོ |
| 5000 | ▁འདི་ལ་ འཇ མས་ དབྱང་ བཞ ད་ པ་ དཀོན་མཆོག་ འཇིག་ མེད་ དབང་ པོ འི 《 གསུང་རབ་ རྣམས་ ནས་བཤད་ པའི་ གྲངས་ འདྲེན་ དགའ་ ཞིག་བ ཀོད་ པ 》 ལས། ▁0. ཀུན་ དུ་ མཐ ི ལ། ▁0. རྣམ་པར་ མཐ ི ལ། ▁0. མཐ ིལ་བ ཟ ང། ▁0. ར ོ ▁ འབྲིང་ ཟངས་ ལི་ རག་ སོགས་ དང་། ▁ཐ ་མ་ ཤིང་ རྡོ་ སོགས་ ལས་ གྲུབ་ པ། ▁དབྱ ིབས་ སྒོར་ མོ། ▁ཁ་ དོག་ མ་ ང ེས། ▁ ཆེ་ཆུང་ གི་ ཚད་ ཆེ་བ་ ལ་ ཚད་ མེད། ▁ཆུང་ མཐའ་ ཕ ོར་ པ་ལས་ མ་ ཆུང་ བ་ གལ་ ཆེ། ▁བ ང་ རིམ་ ▁ལུང་ དེ་དག་ གིས་ གང་དུ་ ཉམས་ སུ་བ ླ ང་ བའི་ གནས། ▁ ཇི་ལྟར་ ཉམས་ སུ་ ལེན་ པའི་ ཚུལ། ▁ཉམས་ སུ་བ ླངས་ པ་ ལ་བརྟེན་ནས་ སློང་ དང་ ཆོད་ ཚད་ འབྱུང་ ཚུལ་བ ཅས་ པ་ རིམ་ པ་བཞིན་ བསྟན་པའི་ ཕྱིར་ ར ོ |
| 10000 | ▁འདི་ལ་ འཇ མས་ དབྱང་ བཞད་ པ་ དཀོན་མཆོག་ འཇིག་ མེད་ དབང་ པོ འི 《 གསུང་རབ་ རྣམས་ ནས་བཤད་ པའི་ གྲངས་ འདྲེན་ དགའ་ ཞིག་བ ཀོད་ པ 》 ལས། ▁0. ཀུན་ དུ་ མཐ ིལ། ▁0. རྣམ་པར་ མཐ ིལ། ▁0. མཐ ིལ་བ ཟ ང། ▁0. ར ོ ▁ འབྲིང་ ཟངས་ ལི་ རག་ སོགས་དང་། ▁ཐ ་མ་ ཤིང་ རྡོ་ སོགས་ལས་ གྲུབ་པ། ▁དབྱ ིབས་ སྒོར་ མོ། ▁ཁ་དོག་ མ་ ངེས། ▁ ཆེ་ཆུང་ གི་ ཚད་ ཆེ་བ་ ལ་ ཚད་ མེད། ▁ཆུང་ མཐའ་ ཕོར་ པ་ལས་ མ་ ཆུང་བ་ གལ་ ཆེ། ▁བང་ རིམ་ ▁ལུང་ དེ་དག་གིས་ གང་དུ་ ཉམས་སུ་བ ླ ང་བའི་ གནས། ▁ཇི་ལྟར་ ཉམས་སུ་ ལེན་པའི་ ཚུལ། ▁ཉམས་ སུ་བ ླངས་ པ་ ལ་བརྟེན་ནས་ སློང་ དང་ ཆོད་ ཚད་ འབྱུང་ ཚུལ་བ ཅས་ པ་ རིམ་ པ་བཞིན་ བསྟན་པའི་ ཕྱིར་ ར ོ |
| 25000 | ▁འདི་ལ་ འཇ མས་ དབྱང་ བཞད་པ་ དཀོན་མཆོག་ འཇིག་ མེད་ དབང་ པོ འི 《 གསུང་རབ་ རྣམས་ ནས་བཤད་པའི་ གྲངས་འདྲེན་ དགའ་ ཞིག་བ ཀོད་ པ 》 ལས། ▁0. ཀུན་ དུ་ མཐ ིལ། ▁0. རྣམ་པར་ མཐ ིལ། ▁0. མཐ ིལ་བ ཟ ང། ▁0. རོ ▁འབྲིང་ ཟངས་ ལི་ རག་ སོགས་དང་། ▁ཐ་མ་ ཤིང་ རྡོ་ སོགས་ལས་ གྲུབ་པ། ▁དབྱིབས་ སྒོར་ མོ། ▁ཁ་དོག་ མ་ ངེས། ▁ ཆེ་ཆུང་ གི་ཚད་ ཆེ་བ་ ལ་ ཚད་ མེད། ▁ཆུང་ མཐའ་ ཕོར་ པ་ལས་ མ་ ཆུང་བ་ གལ་ཆེ། ▁བང་ རིམ་ ▁ལུང་ དེ་དག་གིས་ གང་དུ་ ཉམས་སུ་བ ླ ང་བའི་ གནས། ▁ཇི་ལྟར་ ཉམས་སུ་ ལེན་པའི་ ཚུལ། ▁ཉམས་ སུ་བ ླངས་ པ་ལ་བརྟེན་ནས་ སློང་ དང་ ཆོད་ ཚད་ འབྱུང་ ཚུལ་བཅས་ པ་ རིམ་པ་བཞིན་ བསྟན་པའི་ ཕྱིར་ རོ |
| 50000 | ▁འདི་ལ་ འཇམས་ དབྱང་ བཞད་པ་ དཀོན་མཆོག་ འཇིག་མེད་ དབང་ པོའི 《 གསུང་རབ་ རྣམས་ ནས་བཤད་པའི་ གྲངས་འདྲེན་ དགའ་ ཞིག་བཀོད་ པ 》 ལས། ▁0. ཀུན་དུ་ མཐིལ། ▁0. རྣམ་པར་ མཐིལ། ▁0. མཐིལ་བ ཟ ང། ▁0. རོ ▁འབྲིང་ ཟངས་ ལི་ རག་ སོགས་དང་། ▁ཐ་མ་ ཤིང་ རྡོ་ སོགས་ལས་ གྲུབ་པ། ▁དབྱིབས་ སྒོར་ མོ། ▁ཁ་དོག་ མ་ངེས། ▁ཆེ་ཆུང་ གི་ཚད་ ཆེ་བ་ལ་ ཚད་མེད། ▁ཆུང་ མཐའ་ ཕོར་ པ་ལས་ མ་ ཆུང་བ་ གལ་ཆེ། ▁བང་ རིམ་ ▁ལུང་ དེ་དག་གིས་ གང་དུ་ ཉམས་སུ་བ ླ ང་བའི་ གནས། ▁ཇི་ལྟར་ ཉམས་སུ་ལེན་པའི་ ཚུལ། ▁ཉམས་ སུ་བ ླངས་ པ་ལ་བརྟེན་ནས་ སློང་ དང་ ཆོད་ ཚད་ འབྱུང་ ཚུལ་བཅས་ པ་ རིམ་པ་བཞིན་ བསྟན་པའི་ ཕྱིར་ རོ |
| 100000 | ▁འདི་ལ་ འཇམས་ དབྱང་ བཞད་པ་ དཀོན་མཆོག་ འཇིག་མེད་ དབང་ པོའི 《 གསུང་རབ་རྣམས་ ནས་བཤད་པའི་ གྲངས་འདྲེན་ དགའ་ ཞིག་བཀོད་ པ 》 ལས། ▁0. ཀུན་དུ་ མཐིལ། ▁0. རྣམ་པར་ མཐིལ། ▁0. མཐིལ་བ ཟང། ▁0. རོ ▁འབྲིང་ ཟངས་ ལི་ རག་ སོགས་དང་། ▁ཐ་མ་ ཤིང་ རྡོ་ སོགས་ལས་ གྲུབ་པ། ▁དབྱིབས་ སྒོར་ མོ། ▁ཁ་དོག་ མ་ངེས། ▁ཆེ་ཆུང་ གི་ཚད་ ཆེ་བ་ལ་ ཚད་མེད། ▁ཆུང་ མཐའ་ ཕོར་ པ་ལས་མ་ ཆུང་བ་ གལ་ཆེ། ▁བང་རིམ་ ▁ལུང་ དེ་དག་གིས་ གང་དུ་ ཉམས་སུ་བླ ང་བའི་ གནས། ▁ཇི་ལྟར་ ཉམས་སུ་ལེན་པའི་ ཚུལ། ▁ཉམས་ སུ་བ ླངས་ པ་ལ་བརྟེན་ནས་ སློང་ དང་ ཆོད་ ཚད་ འབྱུང་ ཚུལ་བཅས་ པ་ རིམ་པ་བཞིན་ བསྟན་པའི་ ཕྱིར་ རོ |