Chechen (ce) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | cewiki sample |
|---|---|
| original | крупнейшими источниками данных о внегалактических объектах являются отдельные наблюдения конкретных объектов, обзоры типа sdss, apm, 0df, а также комп звезда типа t тельца с околозвёздным диском звёзды типа t тельца (t tauri, t tauri stars, tts) — класс переменных звёзд, названный по имени своего про марлен берлинера школе оьхура 0000 шо кхаччалц. тӏом а, инфляци а, эпидеми а бахьнехь нах хала бохкух бара. цундела нанас шен йоӏ ӏалашъеш иза веймаре |
| 1000 | ▁к ру п ней ш и ми ▁и сто ч ни ка ми ▁д ан ных ▁о ▁в н ег а ла к ти чески х ▁об ъ ект ах ▁явля ются ▁от де ль ные ▁на б лю д ения ▁кон к ре т ных ▁об ъ ект ов , ▁об з ор ы ▁т и па ▁s d s s , ▁ a p m , ▁0 d f , ▁а ▁также ▁ко мп ▁з ве з да ▁т и па ▁ t ▁т ель ца ▁с ▁ок ол оз в ё зд ным ▁ди ск ом ▁з в ё зд ы ▁т и па ▁ t ▁т ель ца ▁( t ▁ t a ur i , ▁ t ▁ t a ur i ▁st ar s , ▁ t t s ) ▁— ▁к ла сс ▁пер е мен ных ▁з в ё зд , ▁на з ван ный ▁по ▁име ни ▁сво его ▁про ▁мар лен ▁б ер лин ера ▁ш ко ле ▁о ь ху ра ▁0000 ▁шо ▁кхаччалц . ▁тӏ ом ▁а , ▁ин ф ля ци ▁а , ▁э п и де ми ▁а ▁бахьнехь ▁нах ▁ха ла ▁бо х ку х ▁бара . ▁цундела ▁н ана с ▁шен ▁йо ӏ ▁ӏа лаш ъ еш ▁иза ▁в ей м аре |
| 3000 | ▁круп нейш ими ▁источ ника ми ▁дан ных ▁о ▁в н ег ала кти ческих ▁объект ах ▁являются ▁отдель ные ▁наблюд ения ▁кон к рет ных ▁объект ов , ▁об з ор ы ▁ти па ▁s d s s , ▁a p m , ▁0 d f , ▁а ▁также ▁комп ▁зве з да ▁ти па ▁t ▁т ель ца ▁с ▁ок ол оз вёзд ным ▁ди ском ▁звёзд ы ▁ти па ▁t ▁т ель ца ▁( t ▁t a ur i , ▁t ▁t a ur i ▁st ar s , ▁t t s ) ▁— ▁класс ▁пере мен ных ▁звёзд , ▁назван ный ▁по ▁име ни ▁сво его ▁про ▁мар лен ▁бер лин ера ▁шко ле ▁о ь ху ра ▁0000 ▁шо ▁кхаччалц . ▁тӏ ом ▁а , ▁ин ф ля ци ▁а , ▁э пи де ми ▁а ▁бахьнехь ▁нах ▁ха ла ▁бо х ку х ▁бара . ▁цундела ▁н ана с ▁шен ▁йо ӏ ▁ӏа лаш ъ еш ▁иза ▁в ей м аре |
| 5000 | ▁круп нейш ими ▁источ никами ▁дан ных ▁о ▁в нег ала кти ческих ▁объект ах ▁являются ▁отдель ные ▁наблюдения ▁кон к рет ных ▁объектов , ▁об з оры ▁типа ▁s d s s , ▁a p m , ▁0 d f , ▁а ▁также ▁комп ▁зве з да ▁типа ▁t ▁т ель ца ▁с ▁ок ол оз вёзд ным ▁ди ском ▁звёзд ы ▁типа ▁t ▁т ель ца ▁( t ▁t a ur i , ▁t ▁t a ur i ▁st ar s , ▁t t s ) ▁— ▁класс ▁пере мен ных ▁звёзд , ▁назван ный ▁по ▁имени ▁своего ▁про ▁мар лен ▁бер лин ера ▁шко ле ▁оь ху ра ▁0000 ▁шо ▁кхаччалц . ▁тӏом ▁а , ▁инф ля ци ▁а , ▁э пи де ми ▁а ▁бахьнехь ▁нах ▁ха ла ▁бо х ку х ▁бара . ▁цундела ▁нана с ▁шен ▁йо ӏ ▁ӏалаш ъ еш ▁иза ▁в ей м аре |
| 10000 | ▁крупнейш ими ▁источ никами ▁данных ▁о ▁в нег ала кти ческих ▁объект ах ▁являются ▁отдельные ▁наблюдения ▁конкрет ных ▁объектов , ▁об з оры ▁типа ▁s d s s , ▁a p m , ▁0 d f , ▁а ▁также ▁комп ▁звезда ▁типа ▁t ▁т ель ца ▁с ▁ок ол оз вёзд ным ▁ди ском ▁звёзды ▁типа ▁t ▁т ель ца ▁( t ▁t a ur i , ▁t ▁t a ur i ▁st ar s , ▁t ts ) ▁— ▁класс ▁перемен ных ▁звёзд , ▁назван ный ▁по ▁имени ▁своего ▁про ▁мар лен ▁берлин ера ▁школе ▁оь ху ра ▁0000 ▁шо ▁кхаччалц . ▁тӏом ▁а , ▁инф ля ци ▁а , ▁эпи де ми ▁а ▁бахьнехь ▁нах ▁хала ▁бо х ку х ▁бара . ▁цундела ▁нана с ▁шен ▁йоӏ ▁ӏалаш ъ еш ▁иза ▁в ей м аре |
| 25000 | ▁крупнейш ими ▁источ никами ▁данных ▁о ▁в нег ала кти ческих ▁объект ах ▁являются ▁отдельные ▁наблюдения ▁конкретных ▁объектов , ▁об з оры ▁типа ▁s d ss , ▁ap m , ▁0 d f , ▁а ▁также ▁комп ▁звезда ▁типа ▁t ▁тель ца ▁с ▁окол оз вёзд ным ▁ди ском ▁звёзды ▁типа ▁t ▁тель ца ▁( t ▁t a uri , ▁t ▁t a uri ▁star s , ▁t ts ) ▁— ▁класс ▁перемен ных ▁звёзд , ▁назван ный ▁по ▁имени ▁своего ▁про ▁марлен ▁берлин ера ▁школе ▁оь хура ▁0000 ▁шо ▁кхаччалц . ▁тӏом ▁а , ▁инф ля ци ▁а , ▁эпи деми ▁а ▁бахьнехь ▁нах ▁хала ▁бох ку х ▁бара . ▁цундела ▁нанас ▁шен ▁йоӏ ▁ӏалаш ъеш ▁иза ▁вей м аре |
| 50000 | ▁крупнейшими ▁источниками ▁данных ▁о ▁в нег алакти ческих ▁объект ах ▁являются ▁отдельные ▁наблюдения ▁конкретных ▁объектов , ▁обз оры ▁типа ▁s d ss , ▁ap m , ▁0 df , ▁а ▁также ▁комп ▁звезда ▁типа ▁t ▁тельца ▁с ▁окол оз вёзд ным ▁диском ▁звёзды ▁типа ▁t ▁тельца ▁( t ▁ta uri , ▁t ▁ta uri ▁star s , ▁t ts ) ▁— ▁класс ▁перемен ных ▁звёзд , ▁названный ▁по ▁имени ▁своего ▁про ▁марлен ▁берлин ера ▁школе ▁оьхура ▁0000 ▁шо ▁кхаччалц . ▁тӏом ▁а , ▁инфля ци ▁а , ▁эпи деми ▁а ▁бахьнехь ▁нах ▁хала ▁бох кух ▁бара . ▁цундела ▁нанас ▁шен ▁йоӏ ▁ӏалаш ъеш ▁иза ▁вей маре |
| 100000 | ▁крупнейшими ▁источниками ▁данных ▁о ▁внегалакти ческих ▁объектах ▁являются ▁отдельные ▁наблюдения ▁конкретных ▁объектов , ▁обзоры ▁типа ▁sdss , ▁apm , ▁0 df , ▁а ▁также ▁комп ▁звезда ▁типа ▁t ▁тельца ▁с ▁околозвёзд ным ▁диском ▁звёзды ▁типа ▁t ▁тельца ▁( t ▁tauri , ▁t ▁tauri ▁stars , ▁t ts ) ▁— ▁класс ▁переменных ▁звёзд , ▁названный ▁по ▁имени ▁своего ▁про ▁марлен ▁берлинера ▁школе ▁оьхура ▁0000 ▁шо ▁кхаччалц . ▁тӏом ▁а , ▁инфляци ▁а , ▁эпидеми ▁а ▁бахьнехь ▁нах ▁хала ▁бох кух ▁бара . ▁цундела ▁нанас ▁шен ▁йоӏ ▁ӏалаш ъеш ▁иза ▁веймаре |