Dhivehi (dv) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | dvwiki sample |
|---|---|
| original | there was a brand new new radiant in 0000. a good coach ,great and strong defence line .an enthusiastic and a hard working squad. skilled defenders,th ވޮށިމަސް މިޔަރުގެ ބުރަކަށިމަތީގެ ކުލައަކީ ނޫއަޅި ކުލައެވެ. ބަނޑުދަށް ފަރާތުގެ ކުލައަކީ ހުދުކުލައެވެ. ވޮށިމަސް މިޔަރުގެ އަނގަ ބޮޑުވެފައި ވަރަށް ވަރުގަދ ކަލާފާނުގެ ރަސްކަމުގައި މާލެދިޔަ ފަރަންސޭސީ ޕިރާޑް ކަލާފާނާއި ބެހޭގޮތުން ލިޔެފައިވަނީ މުޅިން އެހެން ވާހަކަތަކެވެ. ޕިރާޑްގެ ނަޒަރުގައި ކަލާފާނު އަކީ އަ |
| 1000 | ▁th er e ▁w as ▁a ▁b r an d ▁n e w ▁n e w ▁ r a d i an t ▁in ▁0000 . ▁a ▁ g o o d ▁c o a c h ▁ , g re at ▁and ▁s t r on g ▁d e f en c e ▁l in e ▁ . an ▁ ent h us i as t ic ▁and ▁a ▁h ar d ▁w or k ing ▁s q u a d . ▁s k i ll ed ▁d e f en d er s , t h ▁ވ ޮށ ިމ ަސް ▁މިޔ ަރުގެ ▁ބުރ ަކ ަށ ިމ ަތ ީގެ ▁ކުލ ައަކީ ▁ނ ޫ އ ަޅ ި ▁ކުލ ައެވެ . ▁ބަނޑ ުދ ަށް ▁ފަރާތ ުގެ ▁ކުލ ައަކީ ▁ހ ުދ ުކ ުލ ައެވެ . ▁ވ ޮށ ިމ ަސް ▁މިޔ ަރުގެ ▁އަނ ގ ަ ▁ބޮޑ ުވެ ފައި ▁ވަރަށް ▁ވ ަރު ގ ަދ ▁ކ ަލ ާފ ާނުގެ ▁ރަސް ކަމުގައި ▁މާލ ެދ ިޔ ަ ▁ފަރ ަން ސ ޭ ސީ ▁ޕ ިރ ާ ޑް ▁ކ ަލ ާފ ާނ ާއި ▁ބ ެހ ޭ ގޮތުން ▁ލިޔ ެ ފައިވަނީ ▁މ ުޅ ިން ▁އެހެން ▁ވާހަކ ަތ ަކ ެވެ . ▁ޕ ިރ ާ ޑް ގެ ▁ނ ަޒ ަރު ގައި ▁ކ ަލ ާފ ާނު ▁އަކީ ▁އ ަ |
| 3000 | ▁th er e ▁w as ▁a ▁b r and ▁ne w ▁ne w ▁r ad ian t ▁in ▁0000 . ▁a ▁g o od ▁c o a ch ▁ , g re at ▁and ▁st r ong ▁de f en ce ▁l in e ▁ . an ▁ ent h us i as t ic ▁and ▁a ▁h ar d ▁wor k ing ▁s qu ad . ▁s k ill ed ▁de f en d ers , th ▁ވ ޮށ ިމ ަސް ▁މިޔަރުގެ ▁ބުރަކަށ ިމ ަތީގެ ▁ކުލައަކީ ▁ނޫ އ ަޅި ▁ކުލައެވެ . ▁ބަނޑުދަށް ▁ފަރާތ ުގެ ▁ކުލައަކީ ▁ހުދުކ ުލ ައެވެ . ▁ވ ޮށ ިމ ަސް ▁މިޔަރުގެ ▁އަނގ ަ ▁ބޮޑ ުވެފައި ▁ވަރަށް ▁ވަރު ގ ަދ ▁ކަލ ާފ ާނުގެ ▁ރަސް ކަމުގައި ▁މާލ ެދ ިޔަ ▁ފަރަންސ ޭ ސީ ▁ޕ ިރ ާ ޑް ▁ކަލ ާފ ާނާއި ▁ބެހޭ ގޮތުން ▁ލިޔ ެ ފައިވަނީ ▁މުޅ ިން ▁އެހެން ▁ވާހަކ ަތަކ ެވެ . ▁ޕ ިރ ާ ޑް ގެ ▁ނ ަޒ ަރު ގައި ▁ކަލ ާފ ާނު ▁އަކީ ▁އަ |
| 5000 | ▁th ere ▁was ▁a ▁b r and ▁new ▁new ▁r ad ian t ▁in ▁0000. ▁a ▁go od ▁c o ach ▁ , g re at ▁and ▁st r ong ▁de f ence ▁l ine ▁. an ▁ ent h us i as t ic ▁and ▁a ▁h ard ▁wor k ing ▁s qu ad . ▁s k ill ed ▁de f end ers , th ▁ވ ޮށ ިމަސް ▁މިޔަރުގެ ▁ބުރަކަށ ިމ ަތީގެ ▁ކުލައަކީ ▁ނޫ އ ަޅި ▁ކުލައެވެ . ▁ބަނޑުދަށް ▁ފަރާތުގެ ▁ކުލައަކީ ▁ހުދުކ ުލ ައެވެ . ▁ވ ޮށ ިމަސް ▁މިޔަރުގެ ▁އަނގަ ▁ބޮޑ ުވެފައި ▁ވަރަށް ▁ވަރު ގ ަދ ▁ކަލ ާފ ާނުގެ ▁ރަސްކަމުގައި ▁މާލ ެދ ިޔަ ▁ފަރަންސ ޭ ސީ ▁ޕ ިރާ ޑް ▁ކަލ ާފ ާނާއި ▁ބެހޭގޮތުން ▁ލިޔ ެފައިވަނީ ▁މުޅިން ▁އެހެން ▁ވާހަކ ަތަކ ެވެ . ▁ޕ ިރާ ޑް ގެ ▁ނަޒ ަރުގައި ▁ކަލ ާފާނު ▁އަކީ ▁އަ |
| 10000 | ▁there ▁was ▁a ▁b r and ▁new ▁new ▁r ad ian t ▁in ▁0000. ▁a ▁go od ▁co ach ▁ , g reat ▁and ▁st r ong ▁de f ence ▁l ine ▁. an ▁ ent h us i ast ic ▁and ▁a ▁h ard ▁wor king ▁s qu ad . ▁s k ill ed ▁de f end ers , th ▁ވޮށ ިމަސް ▁މިޔަރުގެ ▁ބުރަކަށިމަތީގެ ▁ކުލައަކީ ▁ނޫ އ ަޅި ▁ކުލައެވެ . ▁ބަނޑުދަށް ▁ފަރާތުގެ ▁ކުލައަކީ ▁ހުދުކުލ ައެވެ . ▁ވޮށ ިމަސް ▁މިޔަރުގެ ▁އަނގަ ▁ބޮޑ ުވެފައި ▁ވަރަށް ▁ވަރުގަދ ▁ކަލ ާފ ާނުގެ ▁ރަސްކަމުގައި ▁މާލ ެދ ިޔަ ▁ފަރަންސ ޭ ސީ ▁ޕ ިރާ ޑް ▁ކަލ ާފ ާނާއި ▁ބެހޭގޮތުން ▁ލިޔ ެފައިވަނީ ▁މުޅިން ▁އެހެން ▁ވާހަކ ަތަކ ެވެ . ▁ޕ ިރާ ޑް ގެ ▁ނަޒ ަރުގައި ▁ކަލާފާނު ▁އަކީ ▁އަ |
| 25000 | ▁there ▁was ▁a ▁br and ▁new ▁new ▁rad iant ▁in ▁0000. ▁a ▁go od ▁co ach ▁, g reat ▁and ▁strong ▁def ence ▁l ine ▁. an ▁ent h us i ast ic ▁and ▁a ▁hard ▁working ▁s qu ad . ▁sk ill ed ▁def end ers , th ▁ވޮށިމަސް ▁މިޔަރުގެ ▁ބުރަކަށިމަތީގެ ▁ކުލައަކީ ▁ނޫ އަޅި ▁ކުލައެވެ . ▁ބަނޑުދަށް ▁ފަރާތުގެ ▁ކުލައަކީ ▁ހުދުކުލައެވެ . ▁ވޮށިމަސް ▁މިޔަރުގެ ▁އަނގަ ▁ބޮޑުވެފައި ▁ވަރަށް ▁ވަރުގަދ ▁ކަލާފާނުގެ ▁ރަސްކަމުގައި ▁މާލ ެދ ިޔަ ▁ފަރަންސ ޭސީ ▁ޕިރާޑް ▁ކަލ ާފ ާނާއި ▁ބެހޭގޮތުން ▁ލިޔެފައިވަނީ ▁މުޅިން ▁އެހެން ▁ވާހަކ ަތަކެވެ . ▁ޕިރާ ޑްގެ ▁ނަޒަރުގައި ▁ކަލާފާނު ▁އަކީ ▁އަ |