Northern Sami (se) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | sewiki sample |
|---|---|
| original | vuollečeardá ''equisetum'' * ''equisetum arvense'' * ''equisetum bogotense'' * ''equisetum diffusum'' * ''equisetum fluviatile'' * ''equisetum palustr sámiid giellalágas lea meroštallon oalle dárkilit, maidda eiseválddiide dat guoská (0 §). dat vuoigadahttá buot suomas hállojuvvon sámegielaid; davvis csfa funkšuvnnat leat máŋgaláganat. csf váiduda nordademiid oaivái ja suodjala vuoigŋašiid traumaid vuostá. dat čoaskkuda vuoigŋašiid ja maiddái fievr |
| 1000 | ▁vuo lle č ear d á ▁'' e q u is et um '' ▁* ▁'' e q u is et um ▁ar v en se '' ▁* ▁'' e q u is et um ▁b og ot en se '' ▁* ▁'' e q u is et um ▁di f f us um '' ▁* ▁'' e q u is et um ▁f l uv i at il e '' ▁* ▁'' e q u is et um ▁p al ust r ▁sám iid ▁giella lá gas ▁lea ▁m er oš ta ll on ▁oa lle ▁dár k il it , ▁maid da ▁e is evál dd iide ▁dat ▁guo sk á ▁( 0 ▁ § ). ▁dat ▁vuo i ga da htt á ▁buot ▁suo mas ▁h áll ojuvvon ▁sámegiela id ; ▁davv is ▁c s fa ▁f un k š uv nn at ▁leat ▁máŋ g al ág an at . ▁c s f ▁v áid u da ▁nor da d em iid ▁oaiv ái ▁ja ▁suo d ja la ▁vuo ig ŋ aš iid ▁t ra u ma id ▁vuo st á . ▁dat ▁č o as kku da ▁vuo ig ŋ aš iid ▁ja ▁maiddái ▁f ie v r |
| 3000 | ▁vuolle č ear dá ▁'' e qu iset um '' ▁* ▁'' e qu iset um ▁ar ven se '' ▁* ▁'' e qu iset um ▁b og ot en se '' ▁* ▁'' e qu iset um ▁di ff us um '' ▁* ▁'' e qu iset um ▁f l uv i at ile '' ▁* ▁'' e qu iset um ▁pal ust r ▁sámiid ▁giella lá gas ▁lea ▁mer ošta ll on ▁oa lle ▁dár kil it , ▁maid da ▁e isevál dd iide ▁dat ▁guoská ▁(0 ▁ § ). ▁dat ▁vuoi ga da httá ▁buot ▁suomas ▁háll ojuvvon ▁sámegiela id ; ▁davv is ▁c s fa ▁f un kš uvnn at ▁leat ▁máŋ g alág an at . ▁c s f ▁v áid uda ▁nor da dem iid ▁oaiv ái ▁ja ▁suo d jala ▁vuo ig ŋ aš iid ▁tra uma id ▁vuostá . ▁dat ▁čo as kku da ▁vuo ig ŋ aš iid ▁ja ▁maiddái ▁f iev r |
| 5000 | ▁vuolle čear dá ▁'' equiset um '' ▁* ▁'' equiset um ▁ar ven se '' ▁* ▁'' equiset um ▁b og ot en se '' ▁* ▁'' equiset um ▁di ff us um '' ▁* ▁'' equiset um ▁fl uv i at ile '' ▁* ▁'' equiset um ▁pal ust r ▁sámiid ▁giella lá gas ▁lea ▁merošta ll on ▁oalle ▁dár kil it , ▁maidda ▁eiseváldd iide ▁dat ▁guoská ▁(0 ▁ § ). ▁dat ▁vuoi gada httá ▁buot ▁suomas ▁háll ojuvvon ▁sámegiela id ; ▁davv is ▁c s fa ▁f un kš uvnnat ▁leat ▁máŋ g alág an at . ▁c s f ▁v áid uda ▁nor da dem iid ▁oaiv ái ▁ja ▁suo d jala ▁vuo igŋ aš iid ▁tra uma id ▁vuostá . ▁dat ▁čo as kku da ▁vuo igŋ aš iid ▁ja ▁maiddái ▁f iev r |
| 10000 | ▁vuolle čear dá ▁'' equisetum '' ▁* ▁'' equisetum ▁ar ven se '' ▁* ▁'' equisetum ▁bog ot en se '' ▁* ▁'' equisetum ▁di ff us um '' ▁* ▁'' equisetum ▁fl uv i at ile '' ▁* ▁'' equisetum ▁pal ust r ▁sámiid ▁giella lá gas ▁lea ▁merošta llon ▁oalle ▁dárkilit , ▁maidda ▁eiseváldd iide ▁dat ▁guoská ▁(0 ▁ § ). ▁dat ▁vuoi gada httá ▁buot ▁suomas ▁háll ojuvvon ▁sámegielaid ; ▁davvis ▁c s fa ▁fun kš uvnnat ▁leat ▁máŋ g alágan at . ▁c sf ▁váid uda ▁nor da demiid ▁oaiv ái ▁ja ▁suo d jala ▁vuoigŋaš iid ▁tra uma id ▁vuostá . ▁dat ▁čo as kku da ▁vuoigŋaš iid ▁ja ▁maiddái ▁f iev r |