Bashkir (ba) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | bawiki sample |
|---|---|
| original | граф шереметевтың крепосной крәҫтиәне ғаиләһендә тыуа. атаһының бәләкәй генә мамыҡ фабрикаһы була һәм ул сауҙа менән шөғөлләнә. филипп бала саҡтан ата 0000 йылда компанияны ''s.pearson and son'' һатып ала һәм ''allied english potteries group'' компанияһы өлөшө була. * образование башкирской советской социалистической республики. сборник документов и материалов. уфа, 0000. * кульшарипов м. м. з. валидов и образован |
| 1000 | ▁г раф ▁ш ер ем е те в тың ▁кр еп ос н ой ▁кр ә ҫ ти ән е ▁ ға илә һендә ▁тыу а . ▁ата һының ▁бәләкәй ▁г енә ▁ма м ыҡ ▁ф а бр ика һы ▁була ▁һәм ▁ул ▁са у ҙа ▁менән ▁ш ө ғ ө л ләнә . ▁ф ил и п п ▁б ала ▁с аҡ тан ▁ата ▁0000 ▁йылда ▁ком п ан ия ны ▁'' s . p e ar s on ▁ an d ▁s on '' ▁һ ат ып ▁ала ▁һәм ▁'' al l i e d ▁ en g l i s h ▁ p o t t er i e s ▁ g r o u p '' ▁ком п ан ияһы ▁өлөшө ▁була . ▁* ▁об ра з ов ан ие ▁башк ир ск ой ▁совет ск ой ▁со ци ал ист ич е ск ой ▁республ ик и . ▁с б ор ник ▁д ок ум ент ов ▁и ▁мат ер и ал ов . ▁уфа , ▁0000. ▁* ▁к уль ш ар и п ов ▁м . ▁м . ▁з . ▁в ал ид ов ▁и ▁об ра з ов ан |
| 3000 | ▁г раф ▁ш ер ем е те в тың ▁кр еп ос ной ▁кр әҫти ән е ▁ғаилә һендә ▁тыу а . ▁ата һының ▁бәләкәй ▁генә ▁ма м ыҡ ▁фа бр икаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөл ләнә . ▁ф или пп ▁бала ▁саҡ тан ▁ата ▁0000 ▁йылда ▁компания ны ▁'' s . p e ar s on ▁and ▁s on '' ▁һат ып ▁ала ▁һәм ▁'' al l i ed ▁ en g l is h ▁p ot t er i es ▁g ro u p '' ▁комп ан ияһы ▁өлөшө ▁була . ▁* ▁об раз ов ан ие ▁башкирск ой ▁совет ской ▁соци ал ист иче ской ▁республики . ▁с бор ник ▁док умент ов ▁и ▁матери ал ов . ▁уфа , ▁0000. ▁* ▁к уль ш ари п ов ▁м . ▁м . ▁з . ▁вал ид ов ▁и ▁об раз ов ан |
| 5000 | ▁граф ▁ш ер ем ете в тың ▁кр еп ос ной ▁крәҫти әне ▁ғаиләһендә ▁тыуа . ▁ата һының ▁бәләкәй ▁генә ▁ма мыҡ ▁фа бр икаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөлләнә . ▁фили пп ▁бала ▁саҡ тан ▁ата ▁0000 ▁йылда ▁компания ны ▁'' s . p e ar s on ▁and ▁s on '' ▁һатып ▁ала ▁һәм ▁'' al l i ed ▁ en g l is h ▁p ot ter i es ▁g ro u p '' ▁компан ияһы ▁өлөшө ▁була . ▁* ▁образ ов ание ▁башкирской ▁совет ской ▁соци ал ист иче ской ▁республики . ▁с бор ник ▁документ ов ▁и ▁материал ов . ▁уфа , ▁0000. ▁* ▁к уль ш ари пов ▁м . ▁м . ▁з . ▁вал ид ов ▁и ▁образ ов ан |
| 10000 | ▁граф ▁ш ер ем ете в тың ▁креп ос ной ▁крәҫти әне ▁ғаиләһендә ▁тыуа . ▁атаһының ▁бәләкәй ▁генә ▁ма мыҡ ▁фабрикаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөлләнә . ▁филипп ▁бала ▁саҡ тан ▁ата ▁0000 ▁йылда ▁компания ны ▁'' s . pe ars on ▁and ▁s on '' ▁һатып ▁ала ▁һәм ▁'' all i ed ▁en g l ish ▁p ot ter ies ▁g ro up '' ▁компанияһы ▁өлөшө ▁була . ▁* ▁образ ование ▁башкирской ▁советской ▁соци алист ической ▁республики . ▁сборник ▁документ ов ▁и ▁материал ов . ▁уфа , ▁0000. ▁* ▁к уль ш арипов ▁м . ▁м . ▁з . ▁вал ид ов ▁и ▁образ ован |
| 25000 | ▁граф ▁шер ем ете в тың ▁креп ос ной ▁крәҫти әне ▁ғаиләһендә ▁тыуа . ▁атаһының ▁бәләкәй ▁генә ▁мамыҡ ▁фабрикаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөлләнә . ▁филипп ▁бала ▁саҡтан ▁ата ▁0000 ▁йылда ▁компания ны ▁'' s . pe ars on ▁and ▁son '' ▁һатып ▁ала ▁һәм ▁'' all i ed ▁en gl ish ▁p ot ter ies ▁group '' ▁компанияһы ▁өлөшө ▁була . ▁* ▁образ ование ▁башкирской ▁советской ▁социалист ической ▁республики . ▁сборник ▁документ ов ▁и ▁материалов . ▁уфа , ▁0000. ▁* ▁куль ш арипов ▁м . ▁м . ▁з . ▁вал идов ▁и ▁образ ован |
| 50000 | ▁граф ▁шерем ете в тың ▁креп ос ной ▁крәҫтиәне ▁ғаиләһендә ▁тыуа . ▁атаһының ▁бәләкәй ▁генә ▁мамыҡ ▁фабрикаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөлләнә . ▁филипп ▁бала ▁саҡтан ▁ата ▁0000 ▁йылда ▁компанияны ▁'' s . pe ars on ▁and ▁son '' ▁һатып ▁ала ▁һәм ▁'' all ied ▁en glish ▁pot ter ies ▁group '' ▁компанияһы ▁өлөшө ▁була . ▁* ▁образование ▁башкирской ▁советской ▁социалист ической ▁республики . ▁сборник ▁документов ▁и ▁материалов . ▁уфа , ▁0000. ▁* ▁кульшарипов ▁м . ▁м . ▁з . ▁вал идов ▁и ▁образ ован |
| 100000 | ▁граф ▁шереметев тың ▁крепос ной ▁крәҫтиәне ▁ғаиләһендә ▁тыуа . ▁атаһының ▁бәләкәй ▁генә ▁мамыҡ ▁фабрикаһы ▁була ▁һәм ▁ул ▁сауҙа ▁менән ▁шөғөлләнә . ▁филипп ▁бала ▁саҡтан ▁ата ▁0000 ▁йылда ▁компанияны ▁'' s . pe ars on ▁and ▁son '' ▁һатып ▁ала ▁һәм ▁'' all ied ▁english ▁potter ies ▁group '' ▁компанияһы ▁өлөшө ▁була . ▁* ▁образование ▁башкирской ▁советской ▁социалист ической ▁республики . ▁сборник ▁документов ▁и ▁материалов . ▁уфа , ▁0000. ▁* ▁кульшарипов ▁м . ▁м . ▁з . ▁валидов ▁и ▁образ ован |