BPEmb: krc

Karachay-Balkar (krc) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
25000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Karachay-Balkar subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	krcwiki sample
original	0000 джылгъа азатлыкъны африкада бютеу британ колония алгъанды, джангыз къыбыла родезия колониялай къалады. британ империяны кетиую акъ колонистлеге у 00-чи августда германияны басымы быллай билдириу бергенди: «…орта кюн 00 сагъат тёгерегинде гляйницдеги радоистанцияны мекямын полякла кючлегендиле». кърал политика бла эмда закон бла къралда эки «официал» норвег тил шекел балды — ''букмол'' (, ''китаб сёз'') эм ''нюношк'' (, ''джангы норвег тил'').
1000	▁0000 ▁джыл гъа ▁аз ат лыкъ ны ▁аф р ика да ▁бютеу ▁британ ▁кол ония ▁ал гъанды , ▁джангы з ▁къыбыла ▁ро де з ия ▁кол ония лай ▁къа лады . ▁британ ▁импер ияны ▁ке т иу ю ▁акъ ▁кол он ист леге ▁у ▁00- чи ▁ав г уст да ▁герман ияны ▁ба сы м ы ▁б ыл лай ▁б ил дир иу ▁бер генди : ▁« . . . ор та ▁кюн ▁00 ▁са гъат ▁тё гер ег инде ▁г л я й ни ц де ги ▁ра д о ист ан цияны ▁м ек ям ын ▁пол я к ла ▁кюч ле гендиле » . ▁кърал ▁политика ▁бла ▁эмда ▁закон ▁бла ▁кърал да ▁эки ▁« о фициал » ▁н орв ег ▁тил ▁ш ек ел ▁б ал ды ▁— ▁'' б у к м ол '' ▁( , ▁'' к ит аб ▁сёз '') ▁эм ▁'' н юн ош к '' ▁( , ▁'' дж ан гы ▁н орв ег ▁тил '' ).
3000	▁0000 ▁джылгъа ▁азат лыкъны ▁афр икада ▁бютеу ▁британ ▁колония ▁алгъанды , ▁джангыз ▁къыбыла ▁ро де зия ▁колония лай ▁къалады . ▁британ ▁империяны ▁кет иу ю ▁акъ ▁колон ист леге ▁у ▁00- чи ▁август да ▁германияны ▁басым ы ▁быллай ▁билдир иу ▁бергенди : ▁« .. . орта ▁кюн ▁00 ▁сагъат ▁тёгерег инде ▁г ля й ни ц деги ▁ра д о истан цияны ▁мекям ын ▁поляк ла ▁кючле гендиле ». ▁кърал ▁политика ▁бла ▁эмда ▁закон ▁бла ▁къралда ▁эки ▁« о фициал » ▁норвег ▁тил ▁шек ел ▁бал ды ▁— ▁'' бу к мол '' ▁(, ▁'' к ит аб ▁сёз '') ▁эм ▁'' н юн ош к '' ▁(, ▁'' джангы ▁норвег ▁тил '' ).
5000	▁0000 ▁джылгъа ▁азат лыкъны ▁африкада ▁бютеу ▁британ ▁колония ▁алгъанды , ▁джангыз ▁къыбыла ▁ро де зия ▁колония лай ▁къалады . ▁британ ▁империяны ▁кет иую ▁акъ ▁колон ист леге ▁у ▁00- чи ▁августда ▁германияны ▁басым ы ▁быллай ▁билдир иу ▁бергенди : ▁« ... орта ▁кюн ▁00 ▁сагъат ▁тёгерегинде ▁г ля й ни ц деги ▁ра до истан цияны ▁мекям ын ▁поляк ла ▁кючле гендиле ». ▁кърал ▁политика ▁бла ▁эмда ▁закон ▁бла ▁къралда ▁эки ▁« о фициал » ▁норвег ▁тил ▁шек ел ▁бал ды ▁— ▁'' бу к мол '' ▁(, ▁'' к ит аб ▁сёз '') ▁эм ▁'' н юн ош к '' ▁(, ▁'' джангы ▁норвег ▁тил '').
10000	▁0000 ▁джылгъа ▁азатлыкъны ▁африкада ▁бютеу ▁британ ▁колония ▁алгъанды , ▁джангыз ▁къыбыла ▁роде зия ▁колония лай ▁къалады . ▁британ ▁империяны ▁кет иую ▁акъ ▁колон ист леге ▁у ▁00- чи ▁августда ▁германияны ▁басымы ▁быллай ▁билдириу ▁бергенди : ▁« ... орта ▁кюн ▁00 ▁сагъат ▁тёгерегинде ▁г ля й ниц деги ▁ра до истан цияны ▁мекям ын ▁поляк ла ▁кючле гендиле ». ▁кърал ▁политика ▁бла ▁эмда ▁закон ▁бла ▁къралда ▁эки ▁« официал » ▁норвег ▁тил ▁шекел ▁бал ды ▁— ▁'' бу кмол '' ▁(, ▁'' кит аб ▁сёз '') ▁эм ▁'' н юнош к '' ▁(, ▁'' джангы ▁норвег ▁тил '').
25000	▁0000 ▁джылгъа ▁азатлыкъны ▁африкада ▁бютеу ▁британ ▁колония ▁алгъанды , ▁джангыз ▁къыбыла ▁родезия ▁колония лай ▁къалады . ▁британ ▁империяны ▁кетиую ▁акъ ▁колон истлеге ▁у ▁00- чи ▁августда ▁германияны ▁басымы ▁быллай ▁билдириу ▁бергенди : ▁«... орта ▁кюн ▁00 ▁сагъат ▁тёгерегинде ▁гляй ниц деги ▁ра до истан цияны ▁мекямын ▁полякла ▁кючлегендиле ». ▁кърал ▁политика ▁бла ▁эмда ▁закон ▁бла ▁къралда ▁эки ▁« официал » ▁норвег ▁тил ▁шекел ▁бал ды ▁— ▁'' букмол '' ▁(, ▁'' китаб ▁сёз '') ▁эм ▁'' н юношк '' ▁(, ▁'' джангы ▁норвег ▁тил '').