Kashmiri (ks) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizekswiki sample
original the secret life of unicode "a peek at unicode's soft underbelly" describes problems requiring resolution. includes links to unicode resources. * tim b
۲.۳ لَچھ ذَنہِ چھہٕ۔ ضِلَس چھہ زٕ بَڈھۍ کالچ(ترالہٕ تہٕ پُلوٲمِس منٛز) تہٕ اَکھ یونیورسٹی (اسلامِک یونیورسٹی اونتۍپورہٕ)۔ دۄدٕ چہِ کثیر پیداوار مۄکھہٕ
file:tso kiagar lake ladakh.jpg| file:kashmir top.jpg| file:india north.jpg| file:nageen_lake.jpg| file:zanskar rafting (babasteve).jpg| file:gulmarg.
1000 ▁the ▁s ec re t ▁li f e ▁of ▁unicode ▁" a ▁p e e k ▁a t ▁unicode ' s ▁s oft ▁u nd er b ell y " ▁de s c ri b es ▁pro b le m s ▁re q u ir ing ▁re s ol ut ion . ▁in c l u de s ▁l in k s ▁to ▁unicode ▁re s our c es . ▁* ▁t im ▁b
▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈ ھ ۍ ▁کال چ ( ت ر ال ہ ٕ ▁تہ ٕ ▁پ ُ لو ٲ م ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁ی ونی ور س ٹی ▁( اس لام ِ ک ▁ی ونی ور س ٹی ▁ا ون ت ۍ پ ور ہ ٕ ) ۔ ▁د ۄد ٕ ▁چ ہ ِ ▁ک ث یر ▁پ ی د او ار ▁م ۄ کھ ہ ٕ
▁file : t s o ▁k ia g ar ▁l ak e ▁l ad ak h . jpg | ▁file : k a sh m ir ▁t op . jpg | ▁file : in d ia ▁n or th . jpg | ▁file : n a g e en _ l ak e . jpg | ▁file : z an s k ar ▁ ra ft ing ▁( b ab a st e v e ). jpg | ▁file : g u l m ar g .
3000 ▁the ▁s ec re t ▁li fe ▁of ▁unicode ▁" a ▁p e e k ▁at ▁unicode ' s ▁soft ▁u nd er b ell y " ▁de s crib es ▁pro ble ms ▁re quir ing ▁res olut ion . ▁in cl u des ▁link s ▁to ▁unicode ▁resources . ▁* ▁tim ▁b
▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈ ھ ۍ ▁کالچ ( تر ال ہ ٕ ▁تہ ٕ ▁پ ُ لو ٲ م ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁یونیورسٹی ▁( اس لام ِ ک ▁یونیورسٹی ▁اون تۍ پورہ ٕ ) ۔ ▁دۄد ٕ ▁چہ ِ ▁کث یر ▁پ ید اوار ▁مۄ کھہ ٕ
▁file : t s o ▁k ia gar ▁l ake ▁l ad ak h . jpg | ▁file : kashmir ▁top . jpg | ▁file : india ▁n or th . jpg | ▁file : na ge en _ lake . jpg | ▁file : z an sk ar ▁ra ft ing ▁( b ab a st eve ). jpg | ▁file : gul marg .
5000 ▁the ▁s ecret ▁life ▁of ▁unicode ▁" a ▁peek ▁at ▁unicode ' s ▁soft ▁u nderb elly " ▁de scrib es ▁pro blems ▁re quir ing ▁res olut ion . ▁in cludes ▁links ▁to ▁unicode ▁resources . ▁* ▁tim ▁b
▁0.0 ▁ل َ چھ ▁ذ َ نہ ِ ▁چھہ ٕ ۔ ▁ض ِ ل َ س ▁چھہ ▁ز ٕ ▁ب َ ڈھۍ ▁کالچ ( ترالہ ٕ ▁تہ ٕ ▁پ ُ لوٲم ِ س ▁منٛز ) ▁تہ ٕ ▁ا َ کھ ▁یونیورسٹی ▁( اسلام ِ ک ▁یونیورسٹی ▁اون تۍپورہ ٕ ) ۔ ▁دۄد ٕ ▁چہ ِ ▁کثیر ▁پید اوار ▁مۄ کھہ ٕ
▁file : tso ▁k iagar ▁lake ▁lad akh . jpg | ▁file : kashmir ▁top . jpg | ▁file : india ▁north . jpg | ▁file : nageen _ lake . jpg | ▁file : z an sk ar ▁ra fting ▁( baba steve ). jpg | ▁file : gul marg .