Gagauz (gag) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | gagwiki sample |
|---|---|
| original | girmiş içeri. girdiynän içeri, tutmuşlar onu, baalamışlar ellerni aardına. çıkarmış biri buçaanı kesmää. o da demiş: “çıkarın beni dışarı da var bir-i * roman katolit: % 00.0 * ateist: % 00.0 * islam: % 0.0 * ortodoks: % 0.0 * protestan: % 0.0 * çıfıt: % 0.0 * başka dinner: % 0.0 kız oturayor sobaya, ayı da därmiş kıza: “hadi, başla çanı çekmää”. sıçan başlayor kaçmaa, kualayor, kualayor bir türlü tutamayor. ayı da yorulmuş da |
| 1000 | ▁gir miş ▁iç eri . ▁gir di y n än ▁iç eri , ▁t ut muş lar ▁onu , ▁ba al am ış lar ▁el ler ni ▁a ard ına . ▁çık ar mış ▁bir i ▁bu ça anı ▁k es mää . ▁o ▁da ▁demiş : ▁“ ç ık ar ın ▁ben i ▁d ış arı ▁da ▁var ▁bir - i ▁* ▁rom an ▁kat ol it : ▁% ▁00 .0 ▁* ▁at e ist : ▁% ▁00 .0 ▁* ▁is lam : ▁% ▁0.0 ▁* ▁or t od ok s : ▁% ▁0.0 ▁* ▁pro t es tan : ▁% ▁0.0 ▁* ▁ç ı f ı t : ▁% ▁0.0 ▁* ▁başka ▁d in ner : ▁% ▁0.0 ▁kız ▁o tur ayor ▁s ob aya , ▁ay ı ▁da ▁d är miş ▁kız a : ▁“ ha di , ▁baş la ▁ç anı ▁çek mää ”. ▁s ı ç an ▁baş l ayor ▁ka ç maa , ▁k u al ayor , ▁k u al ayor ▁bir ▁t ür lü ▁t ut am ayor . ▁ay ı ▁da ▁y or ul muş ▁da |
| 3000 | ▁gir miş ▁iç eri . ▁girdi ynän ▁iç eri , ▁tut muşlar ▁onu , ▁ba al amış lar ▁el ler ni ▁a ard ına . ▁çıkar mış ▁biri ▁bu ça anı ▁kes mää . ▁o ▁da ▁demiş : ▁“ çık ar ın ▁beni ▁dış arı ▁da ▁var ▁bir - i ▁* ▁roman ▁kat ol it : ▁% ▁00.0 ▁* ▁at e ist : ▁% ▁00.0 ▁* ▁islam : ▁% ▁0.0 ▁* ▁ort od oks : ▁% ▁0.0 ▁* ▁protestan : ▁% ▁0.0 ▁* ▁çı f ıt : ▁% ▁0.0 ▁* ▁başka ▁dinner : ▁% ▁0.0 ▁kız ▁otur ayor ▁s ob aya , ▁ay ı ▁da ▁d ärmiş ▁kız a : ▁“ ha di , ▁baş la ▁ç anı ▁çek mää ”. ▁sı ç an ▁baş l ayor ▁kaç maa , ▁ku al ayor , ▁ku al ayor ▁bir ▁türlü ▁tut am ayor . ▁ay ı ▁da ▁y or ul muş ▁da |
| 5000 | ▁gir miş ▁içeri . ▁girdi ynän ▁içeri , ▁tut muşlar ▁onu , ▁baal amış lar ▁el ler ni ▁a ard ına . ▁çıkar mış ▁biri ▁bu ça anı ▁kes mää . ▁o ▁da ▁demiş : ▁“ çık arın ▁beni ▁dışarı ▁da ▁var ▁bir - i ▁* ▁roman ▁katol it : ▁% ▁00.0 ▁* ▁at e ist : ▁% ▁00.0 ▁* ▁islam : ▁% ▁0.0 ▁* ▁ortodoks : ▁% ▁0.0 ▁* ▁protestan : ▁% ▁0.0 ▁* ▁çıfıt : ▁% ▁0.0 ▁* ▁başka ▁dinner : ▁% ▁0.0 ▁kız ▁otur ayor ▁s ob aya , ▁ayı ▁da ▁d ärmiş ▁kıza : ▁“ ha di , ▁başla ▁ç anı ▁çek mää ”. ▁sı çan ▁baş l ayor ▁kaç maa , ▁ku al ayor , ▁ku al ayor ▁bir ▁türlü ▁tut am ayor . ▁ayı ▁da ▁yor ulmuş ▁da |
| 10000 | ▁girmiş ▁içeri . ▁girdi ynän ▁içeri , ▁tut muşlar ▁onu , ▁baal amışlar ▁el lerni ▁aardına . ▁çıkar mış ▁biri ▁bu ça anı ▁kesmää . ▁o ▁da ▁demiş : ▁“ çık arın ▁beni ▁dışarı ▁da ▁var ▁bir - i ▁* ▁roman ▁katolit : ▁% ▁00.0 ▁* ▁at e ist : ▁% ▁00.0 ▁* ▁islam : ▁% ▁0.0 ▁* ▁ortodoks : ▁% ▁0.0 ▁* ▁protestan : ▁% ▁0.0 ▁* ▁çıfıt : ▁% ▁0.0 ▁* ▁başka ▁dinner : ▁% ▁0.0 ▁kız ▁otur ayor ▁sob aya , ▁ayı ▁da ▁därmiş ▁kıza : ▁“ hadi , ▁başla ▁ç anı ▁çek mää ”. ▁sı çan ▁baş layor ▁kaçmaa , ▁ku al ayor , ▁ku al ayor ▁bir ▁türlü ▁tut am ayor . ▁ayı ▁da ▁yor ulmuş ▁da |