BPEmb: ks

Kashmiri (ks) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Kashmiri subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	kswiki sample
original	the secret life of unicode "a peek at unicode's soft underbelly" describes problems requiring resolution. includes links to unicode resources. * tim b ۲.۳ لَچھ ذَنہِ چھہٕ۔ ضِلَس چھہ زٕ بَڈھۍ کالچ(ترالہٕ تہٕ پُلوٲمِس منٛز) تہٕ اَکھ یونیورسٹی (اسلامِک یونیورسٹی اونتۍپورہٕ)۔ دۄدٕ چہِ کثیر پیداوار مۄکھہٕ file:tso kiagar lake ladakh.jpg\| file:kashmir top.jpg\| file:india north.jpg\| file:nageen_lake.jpg\| file:zanskar rafting (babasteve).jpg\| file:gulmarg.
1000	▁the ▁s ec re t ▁li f e ▁of ▁unicode ▁" a ▁p e e k ▁a t ▁unicode ' s ▁s oft ▁u nd er b ell y " ▁de s c ri b es ▁pro b le m s ▁re q u ir ing ▁re s ol ut ion . ▁in c l u de s ▁l in k s ▁to ▁unicode ▁re s our c es . ▁* ▁t im ▁b ▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈ ھ ۍ ▁کال چ ( ت ر ال ہ ٕ ▁تہ ٕ ▁پ ُ لو ٲ م ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁ی ونی ور س ٹی ▁( اس لام ِ ک ▁ی ونی ور س ٹی ▁ا ون ت ۍ پ ور ہ ٕ ) ۔ ▁د ۄد ٕ ▁چ ہ ِ ▁ک ث یر ▁پ ی د او ار ▁م ۄ کھ ہ ٕ ▁file : t s o ▁k ia g ar ▁l ak e ▁l ad ak h . jpg \| ▁file : k a sh m ir ▁t op . jpg \| ▁file : in d ia ▁n or th . jpg \| ▁file : n a g e en _ l ak e . jpg \| ▁file : z an s k ar ▁ ra ft ing ▁( b ab a st e v e ). jpg \| ▁file : g u l m ar g .
3000	▁the ▁s ec re t ▁li fe ▁of ▁unicode ▁" a ▁p e e k ▁at ▁unicode ' s ▁soft ▁u nd er b ell y " ▁de s crib es ▁pro ble ms ▁re quir ing ▁res olut ion . ▁in cl u des ▁link s ▁to ▁unicode ▁resources . ▁* ▁tim ▁b ▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈ ھ ۍ ▁کالچ ( تر ال ہ ٕ ▁تہ ٕ ▁پ ُ لو ٲ م ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁یونیورسٹی ▁( اس لام ِ ک ▁یونیورسٹی ▁اون تۍ پورہ ٕ ) ۔ ▁دۄد ٕ ▁چہ ِ ▁کث یر ▁پ ید اوار ▁مۄ کھہ ٕ ▁file : t s o ▁k ia gar ▁l ake ▁l ad ak h . jpg \| ▁file : kashmir ▁top . jpg \| ▁file : india ▁n or th . jpg \| ▁file : na ge en _ lake . jpg \| ▁file : z an sk ar ▁ra ft ing ▁( b ab a st eve ). jpg \| ▁file : gul marg .
5000	▁the ▁s ecret ▁life ▁of ▁unicode ▁" a ▁peek ▁at ▁unicode ' s ▁soft ▁u nderb elly " ▁de scrib es ▁pro blems ▁re quir ing ▁res olut ion . ▁in cludes ▁links ▁to ▁unicode ▁resources . ▁* ▁tim ▁b ▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈھۍ ▁کالچ ( ترالہ ٕ ▁تہ ٕ ▁پ ُ لوٲم ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁یونیورسٹی ▁( اسلام ِ ک ▁یونیورسٹی ▁اون تۍپورہ ٕ ) ۔ ▁دۄد ٕ ▁چہ ِ ▁کثیر ▁پید اوار ▁مۄ کھہ ٕ ▁file : tso ▁k iagar ▁lake ▁lad akh . jpg \| ▁file : kashmir ▁top . jpg \| ▁file : india ▁north . jpg \| ▁file : nageen _ lake . jpg \| ▁file : z an sk ar ▁ra fting ▁( baba steve ). jpg \| ▁file : gul marg .