Mongolian (mn) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | mnwiki sample |
|---|---|
| original | шавьж нь (шавьжний анги) транхейн сувгийн тусламжтайгаар амьсгалдаг,гурван хос хөлтэй үет хөлтний хүрээний хамгийн том анги бөгөөд сая гаруй зүйл амьт улсын гарьд ш.жаргалсайхан, улсын заан маамын намбар, улсын заан "хулгар" хэмээх вандангийн дэндэв, улсын заан ах дүү насангийн вандан, батбаяр, аймги эмэгтэй дасгалжуулагч д.баасансүрэн *тамирчид: *дашсамбуугийн алтансувд *дэмбэрэлсамбуугийн анар *галбадрахын билгүүн *даваажавын мөнхзаяа *ухнаагийн |
| 1000 | ▁ш ав ь ж ▁нь ▁( ш ав ь ж ний ▁анг и ) ▁т ран х ей н ▁су в гийн ▁тус л амж тай гаар ▁ам ь сгал даг , г ур ван ▁хо с ▁х өл тэй ▁үе т ▁х өлт ний ▁хүр ээ ний ▁хамгийн ▁том ▁анг и ▁бөгөөд ▁сая ▁гар уй ▁зүй л ▁ам ьт ▁улсын ▁гар ьд ▁ш . ж ар гал с ай хан , ▁улсын ▁з аан ▁м аа м ын ▁нам бар , ▁улсын ▁з аан ▁" х ул г ар " ▁хэм ээх ▁в анд ан гийн ▁д энд эв , ▁улсын ▁з аан ▁ах ▁д үү ▁н асан гийн ▁в анд ан , ▁бат б ая р , ▁айм г и ▁эм эг тэй ▁д ас гал ж уул агч ▁д . б аа сан с үр эн ▁* т ам ир чид : ▁* д аш с ам б уу гийн ▁ алтан с ув д ▁* д эм бэр эл с ам б уу гийн ▁ан ар ▁* гал б ад р ах ын ▁бил г үүн ▁* д ав аа ж ав ын ▁мөн х з ая а ▁* у х на аг ийн |
| 3000 | ▁шав ьж ▁нь ▁( ш ав ьж ний ▁анг и ) ▁т ран х ейн ▁сув гийн ▁тусламж тайгаар ▁амь сгал даг , г ур ван ▁хос ▁хөл тэй ▁үе т ▁х өлт ний ▁хүр ээний ▁хамгийн ▁том ▁анг и ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гар ьд ▁ш . ж аргал с ай хан , ▁улсын ▁заан ▁м аа мын ▁нам бар , ▁улсын ▁заан ▁" х ул гар " ▁хэмээх ▁в анд ангийн ▁д энд эв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁в анд ан , ▁бат бая р , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . б аасан сүрэн ▁* т ам ир чид : ▁* д аш с амб уу гийн ▁алтан с ув д ▁* д эм бэр эл с амб уу гийн ▁ан ар ▁* гал б адр ах ын ▁бил г үүн ▁* д ав ааж ав ын ▁мөнх з ая а ▁* ух на агийн |
| 5000 | ▁шав ьж ▁нь ▁( ш ав ьж ний ▁анги ) ▁тран х ейн ▁сув гийн ▁тусламжтайгаар ▁амьсгал даг , гур ван ▁хос ▁хөл тэй ▁үе т ▁х өлт ний ▁хүр ээний ▁хамгийн ▁том ▁анги ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гар ьд ▁ш . жаргал сай хан , ▁улсын ▁заан ▁м аа мын ▁нам бар , ▁улсын ▁заан ▁" х ул гар " ▁хэмээх ▁в анд ангийн ▁д энд эв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁в анд ан , ▁бат баяр , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . б аасан сүрэн ▁* т ам ир чид : ▁* д аш с амб уу гийн ▁алтан с ув д ▁* д эм бэр эл с амб уу гийн ▁ан ар ▁* гал б адр ахын ▁бил г үүн ▁* д ав ааж авын ▁мөнх з ая а ▁* ух на агийн |
| 10000 | ▁шавьж ▁нь ▁( ш ав ьж ний ▁анги ) ▁тран х ейн ▁сув гийн ▁тусламжтайгаар ▁амьсгал даг , гур ван ▁хос ▁хөл тэй ▁үе т ▁х өлт ний ▁хүрээний ▁хамгийн ▁том ▁анги ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гар ьд ▁ш . жаргал сайхан , ▁улсын ▁заан ▁м аа мын ▁нам бар , ▁улсын ▁заан ▁" хул гар " ▁хэмээх ▁ванд ангийн ▁д энд эв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁ванд ан , ▁бат баяр , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . б аасан сүрэн ▁* там ир чид : ▁* даш с амб уугийн ▁алтан с ув д ▁* д эм бэр эл с амб уугийн ▁ан ар ▁* гал б адр ахын ▁бил г үүн ▁* дав ааж авын ▁мөнх з ая а ▁* ух на агийн |
| 25000 | ▁шавьж ▁нь ▁( ш ав ьж ний ▁анги ) ▁тран х ейн ▁сувгийн ▁тусламжтайгаар ▁амьсгал даг , гурван ▁хос ▁хөлтэй ▁үет ▁хөлт ний ▁хүрээний ▁хамгийн ▁том ▁анги ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гарьд ▁ш . жаргал сайхан , ▁улсын ▁заан ▁маа мын ▁нам бар , ▁улсын ▁заан ▁" хул гар " ▁хэмээх ▁ванд ангийн ▁дэнд эв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁ванд ан , ▁бат баяр , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . баасан сүрэн ▁* там ир чид : ▁* даш самб уугийн ▁алтан сув д ▁* дэмбэрэл самб уугийн ▁ан ар ▁* гал бадр ахын ▁бил гүүн ▁* дав ааж авын ▁мөнх заяа ▁* ух на агийн |
| 50000 | ▁шавьж ▁нь ▁( шав ьж ний ▁анги ) ▁тран х ейн ▁сувгийн ▁тусламжтайгаар ▁амьсгал даг , гурван ▁хос ▁хөлтэй ▁үет ▁хөлт ний ▁хүрээний ▁хамгийн ▁том ▁анги ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гарьд ▁ш . жаргалсайхан , ▁улсын ▁заан ▁маа мын ▁нам бар , ▁улсын ▁заан ▁" хул гар " ▁хэмээх ▁ванд ангийн ▁дэнд эв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁вандан , ▁батбаяр , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . баасан сүрэн ▁* тамир чид : ▁* даш самбуугийн ▁алтан сувд ▁* дэмбэрэл самбуугийн ▁ан ар ▁* гал бадрахын ▁бил гүүн ▁* дав аажавын ▁мөнх заяа ▁* ух наагийн |
| 100000 | ▁шавьж ▁нь ▁( шав ьж ний ▁анги ) ▁тран хейн ▁сувгийн ▁тусламжтайгаар ▁амьсгалдаг , гурван ▁хос ▁хөлтэй ▁үет ▁хөлтний ▁хүрээний ▁хамгийн ▁том ▁анги ▁бөгөөд ▁сая ▁гаруй ▁зүйл ▁амьт ▁улсын ▁гарьд ▁ш . жаргалсайхан , ▁улсын ▁заан ▁маамын ▁нам бар , ▁улсын ▁заан ▁" хул гар " ▁хэмээх ▁ванд ангийн ▁дэндэв , ▁улсын ▁заан ▁ах ▁дүү ▁насан гийн ▁вандан , ▁батбаяр , ▁айм ги ▁эмэгтэй ▁дасгалжуулагч ▁д . баасан сүрэн ▁* тамир чид : ▁* даш самбуугийн ▁алтан сувд ▁* дэмбэрэл самбуугийн ▁анар ▁* гал бадрахын ▁билгүүн ▁* дав аажавын ▁мөнхзаяа ▁* ух наагийн |