Saterfriesisch (stq) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | stqwiki sample |
|---|---|
| original | * orphismus. lyrisk abstrakte komposition fon bloot kontrastierjene faawen. robert delaunay - sonia delaunay - frantisek kupka - francis picabia * 0000 express yourself * 0000 cherish * 0000 dear jessie * 0000 oh father * 0000 keep it together * 0000 vogue * 0000 hanky panky * 0000 justify my l in do 0000er jiere wude ju palts frantsöösk besät on 0000 keem ju offiziell tou frankriek. do frantsoosen bemäärkeden bolde dän wäid fon dät glaan- on |
| 1000 | ▁* ▁or ph is mus . ▁l y r isk ▁a b st ra kte ▁kom p os it ion ▁fon ▁bloot ▁kon t ra st ier jen e ▁faa wen . ▁r o ber t ▁d el a un ay ▁- ▁s on ia ▁d el a un ay ▁- ▁fran t is e k ▁k up ka ▁- ▁fran c is ▁p ic ab ia ▁* ▁0000 ▁e x p re ss ▁y ou r sel f ▁* ▁0000 ▁ch er is h ▁* ▁0000 ▁de ar ▁j es s ie ▁* ▁0000 ▁o h ▁f at h er ▁* ▁0000 ▁ kee p ▁it ▁t o ge th er ▁* ▁0000 ▁v og u e ▁* ▁0000 ▁h an k y ▁p an k y ▁* ▁0000 ▁ju st if y ▁m y ▁l ▁in ▁do ▁0000 er ▁jiere ▁wu de ▁ju ▁p al ts ▁frantsöö sk ▁bes ät ▁ on ▁0000 ▁ ke em ▁ju ▁of f iz iel l ▁tou ▁frank riek . ▁do ▁frants oo sen ▁be m äärke den ▁b ol de ▁dän ▁wäi d ▁fon ▁dät ▁g la an - ▁ on |
| 3000 | ▁* ▁or ph ismus . ▁l yr isk ▁ab stra kte ▁komp os ition ▁fon ▁bloot ▁kon tra st ierjen e ▁faawen . ▁r ober t ▁del a un ay ▁- ▁son ia ▁del a un ay ▁- ▁fran t ise k ▁k up ka ▁- ▁fran c is ▁p ic ab ia ▁* ▁0000 ▁ex p ress ▁y our sel f ▁* ▁0000 ▁ch er is h ▁* ▁0000 ▁de ar ▁j ess ie ▁* ▁0000 ▁o h ▁f ath er ▁* ▁0000 ▁ kee p ▁it ▁to ge ther ▁* ▁0000 ▁v og ue ▁* ▁0000 ▁han k y ▁pan k y ▁* ▁0000 ▁ju st if y ▁my ▁l ▁in ▁do ▁0000 er ▁jiere ▁wude ▁ju ▁pal ts ▁frantsöösk ▁bes ät ▁on ▁0000 ▁keem ▁ju ▁offiz iel l ▁tou ▁frankriek . ▁do ▁frants oo sen ▁be m äärke den ▁bolde ▁dän ▁wäid ▁fon ▁dät ▁g la an - ▁on |
| 5000 | ▁* ▁or ph ismus . ▁l yr isk ▁abstra kte ▁komp os ition ▁fon ▁bloot ▁kon tra st ierjen e ▁faawen . ▁robert ▁del a un ay ▁- ▁son ia ▁del a un ay ▁- ▁fran t ise k ▁k up ka ▁- ▁francis ▁p ic ab ia ▁* ▁0000 ▁ex press ▁y our sel f ▁* ▁0000 ▁ch er ish ▁* ▁0000 ▁de ar ▁j ess ie ▁* ▁0000 ▁oh ▁f ath er ▁* ▁0000 ▁ kee p ▁it ▁to ge ther ▁* ▁0000 ▁v og ue ▁* ▁0000 ▁han k y ▁pan k y ▁* ▁0000 ▁ju st if y ▁my ▁l ▁in ▁do ▁0000 er ▁jiere ▁wude ▁ju ▁pal ts ▁frantsöösk ▁besät ▁on ▁0000 ▁keem ▁ju ▁offiz iel l ▁tou ▁frankriek . ▁do ▁frantsoosen ▁be m äärke den ▁bolde ▁dän ▁wäid ▁fon ▁dät ▁gla an - ▁on |
| 10000 | ▁* ▁or ph ismus . ▁l yr isk ▁abstrakte ▁komp osition ▁fon ▁bloot ▁kontra st ierjen e ▁faawen . ▁robert ▁del a un ay ▁- ▁son ia ▁del a un ay ▁- ▁fran t ise k ▁k up ka ▁- ▁francis ▁pic ab ia ▁* ▁0000 ▁ex press ▁y our sel f ▁* ▁0000 ▁ch er ish ▁* ▁0000 ▁de ar ▁j ess ie ▁* ▁0000 ▁oh ▁f ather ▁* ▁0000 ▁kee p ▁it ▁to ge ther ▁* ▁0000 ▁v og ue ▁* ▁0000 ▁han k y ▁pan k y ▁* ▁0000 ▁just if y ▁my ▁l ▁in ▁do ▁0000 er ▁jiere ▁wude ▁ju ▁palts ▁frantsöösk ▁besät ▁on ▁0000 ▁keem ▁ju ▁offiziell ▁tou ▁frankriek . ▁do ▁frantsoosen ▁bem äärke den ▁bolde ▁dän ▁wäid ▁fon ▁dät ▁glaan - ▁on |
| 25000 | ▁* ▁or ph ismus . ▁lyr isk ▁abstrakte ▁komposition ▁fon ▁bloot ▁kontrastierjene ▁faawen . ▁robert ▁delaunay ▁- ▁son ia ▁delaunay ▁- ▁fran t isek ▁kup ka ▁- ▁francis ▁pic ab ia ▁* ▁0000 ▁express ▁your self ▁* ▁0000 ▁ch er ish ▁* ▁0000 ▁de ar ▁j ess ie ▁* ▁0000 ▁oh ▁f ather ▁* ▁0000 ▁kee p ▁it ▁to ge ther ▁* ▁0000 ▁vog ue ▁* ▁0000 ▁han ky ▁pan ky ▁* ▁0000 ▁justify ▁my ▁l ▁in ▁do ▁0000 er ▁jiere ▁wude ▁ju ▁palts ▁frantsöösk ▁besät ▁on ▁0000 ▁keem ▁ju ▁offiziell ▁tou ▁frankriek . ▁do ▁frantsoosen ▁bem äärke den ▁bolde ▁dän ▁wäid ▁fon ▁dät ▁glaan - ▁on |