BPEmb: kbd

Kabardian (kbd) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Kabardian subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	kbdwiki sample
original	къатехъукӏащ ипщэ, ишъхъэрэ америкэм зэпэщхьэхуэу щыпсэу лӏэужьыгъуэ къуэдзитӏым. еуропэм япэ дыдэу япэрей унэ гуэгушхэр къыщашар 0000-0000-рэ гъэхэра тринидадрэ тобагорэ''(тринидадрэ тобагорэ республикэ)'' 00px default тринидадрэ тобагорэ я нып desc none тхыцӏэр гъуабжэ-пшэхъуафэщ, кусэ фӏыцӏэ куэд хэсу, пщэ щӏыбыр щхъуафэщ, ныбэ щӏагъыр гъуабжэ-гъуэжьыфэщ, бгъэмрэ джабэхэмрэ кусэ фӏыцӏэхэр хэлъу.
1000	▁къ ат е хъу кӏ ащ ▁ипщэ , ▁ишъхъэрэ ▁америкэм ▁зэп эщ хь эх уэ у ▁щыпс эу ▁лӏэужьыгъуэ ▁къуэд з итӏ ым . ▁еуропэм ▁яп э ▁дыд эу ▁япэрей ▁ун э ▁г уэ гу ш хэр ▁къыщ аш ар ▁0000 -0000 - рэ ▁гъ эхэр а ▁т ри н ид ад рэ ▁т о б аг о рэ '' ( т ри н ид ад рэ ▁т о б аг о рэ ▁республикэ ) '' ▁00 p x ▁d e f a ul t ▁т ри н ид ад рэ ▁т о б аг о рэ ▁я ▁н ып ▁d es c ▁n on e ▁тхыцӏэр ▁гъуабж э - п ш эхъ уа ф эщ , ▁кусэ ▁фӏыцӏэ ▁куэд ▁х эс у , ▁пщ э ▁щӏы б ыр ▁щ хъуа ф эщ , ▁ныбэ ▁щӏагъыр ▁гъуабж э - гъуэ жь ыфэщ , ▁бгъ эмрэ ▁дж аб эхэмрэ ▁кусэ ▁фӏы цӏ эхэр ▁хэлъ у .
3000	▁къат е хъу кӏ ащ ▁ипщэ , ▁ишъхъэрэ ▁америкэм ▁зэп эщ хь эх уэу ▁щыпсэу ▁лӏэужьыгъуэ ▁къуэдз итӏым . ▁еуропэм ▁япэ ▁дыдэу ▁япэрей ▁унэ ▁гуэ гуш хэр ▁къыщ аш ар ▁0000-0000 - рэ ▁гъ эхэр а ▁три н ид ад рэ ▁т об аг орэ '' ( т ри н ид ад рэ ▁т об аг орэ ▁республикэ )'' ▁00 px ▁de f a ul t ▁три н ид ад рэ ▁т об аг орэ ▁я ▁нып ▁d es c ▁n on e ▁тхыцӏэр ▁гъуабжэ - пш эхъ уа фэщ , ▁кусэ ▁фӏыцӏэ ▁куэд ▁хэсу , ▁пщэ ▁щӏыб ыр ▁щ хъуафэщ , ▁ныбэ ▁щӏагъыр ▁гъуабжэ - гъуэжьыфэщ , ▁бгъ эмрэ ▁джаб эхэмрэ ▁кусэ ▁фӏыцӏэхэр ▁хэлъу .
5000	▁къат е хъу кӏ ащ ▁ипщэ , ▁ишъхъэрэ ▁америкэм ▁зэпэщ хьэх уэу ▁щыпсэу ▁лӏэужьыгъуэ ▁къуэдз итӏым . ▁еуропэм ▁япэ ▁дыдэу ▁япэрей ▁унэ ▁гуэгуш хэр ▁къыщ аш ар ▁0000-0000 - рэ ▁гъ эхэр а ▁три н ид ад рэ ▁т об аг орэ '' ( три н ид ад рэ ▁т об аг орэ ▁республикэ )'' ▁00 px ▁de f a ul t ▁три н ид ад рэ ▁т об аг орэ ▁я ▁нып ▁d esc ▁n on e ▁тхыцӏэр ▁гъуабжэ - пш эхъуа фэщ , ▁кусэ ▁фӏыцӏэ ▁куэд ▁хэсу , ▁пщэ ▁щӏыбыр ▁щхъуафэщ , ▁ныбэ ▁щӏагъыр ▁гъуабжэ - гъуэжьыфэщ , ▁бгъ эмрэ ▁джаб эхэмрэ ▁кусэ ▁фӏыцӏэхэр ▁хэлъу .
10000	▁къате хъу кӏащ ▁ипщэ , ▁ишъхъэрэ ▁америкэм ▁зэпэщ хьэх уэу ▁щыпсэу ▁лӏэужьыгъуэ ▁къуэдз итӏым . ▁еуропэм ▁япэ ▁дыдэу ▁япэрей ▁унэ ▁гуэгуш хэр ▁къыщ аш ар ▁0000-0000 - рэ ▁гъ эхэра ▁три н ид ад рэ ▁т об аг орэ '' ( три н ид ад рэ ▁т об аг орэ ▁республикэ )'' ▁00 px ▁de fa ult ▁три н ид ад рэ ▁т об аг орэ ▁я ▁нып ▁d esc ▁n one ▁тхыцӏэр ▁гъуабжэ - пш эхъуа фэщ , ▁кусэ ▁фӏыцӏэ ▁куэд ▁хэсу , ▁пщэ ▁щӏыбыр ▁щхъуафэщ , ▁ныбэ ▁щӏагъыр ▁гъуабжэ - гъуэжьыфэщ , ▁бгъэмрэ ▁джабэхэмрэ ▁кусэ ▁фӏыцӏэхэр ▁хэлъу .