Neapolitan (nap) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | napwiki sample |
|---|---|
| original | categoria:giugrafia categoria:comune d%00%00a pruvincia 'e chiete categoria:cumune 'e ll'abruzzo categoria:comune 'e l'italia category:giugrafia categoria:comune d''a pruvincia 'e imperia categoria:comune d''a reggione liùria categoria:comune 'e l'italia *louis le brocquy, (0000 - ) *ann brockman *antoni brodowski *isaak izrailevič brodskij, (0000 o 0000-0000 *melchior broederlam, (notizie dal 0000 al |
| 1000 | ▁categoria : giugrafia ▁categoria : comune ▁d %00%00 a ▁pruvincia ▁' e ▁chie te ▁categoria : cumune ▁' e ▁ll ' abruzzo ▁categoria : comune ▁' e ▁l ' italia ▁category : giugrafia ▁categoria : comune ▁d '' a ▁pruvincia ▁' e ▁i mp er ia ▁categoria : comune ▁d '' a ▁reggione ▁li ù ria ▁categoria : comune ▁' e ▁l ' italia ▁* lo u is ▁le ▁b ro c qu y , ▁(0000 ▁- ▁ ) ▁* ann ▁b ro ck ma n ▁* an to ni ▁b ro do w sk i ▁* isa a k ▁i z ra i le vi č ▁b ro d sk i j , ▁(0000 ▁o ▁0000 -0000 ▁* me l chi or ▁b ro e d er la m , ▁( no ti zie ▁da l ▁0000 ▁al |
| 3000 | ▁categoria : giugrafia ▁categoria : comune ▁d %00%00 a ▁pruvincia ▁' e ▁chiete ▁categoria : cumune ▁' e ▁ll ' abruzzo ▁categoria : comune ▁' e ▁l ' italia ▁category : giugrafia ▁categoria : comune ▁d '' a ▁pruvincia ▁' e ▁imperia ▁categoria : comune ▁d '' a ▁reggione ▁liùria ▁categoria : comune ▁' e ▁l ' italia ▁* lo u is ▁le ▁bro c qu y , ▁(0000 ▁- ▁) ▁* ann ▁bro ck man ▁* an to ni ▁bro do wski ▁* isa a k ▁i z ra i le vi č ▁bro d ski j , ▁(0000 ▁o ▁0000-0000 ▁* me l chi or ▁bro e der la m , ▁( no ti zie ▁dal ▁0000 ▁al |
| 5000 | ▁categoria : giugrafia ▁categoria : comune ▁d %00%00 a ▁pruvincia ▁' e ▁chiete ▁categoria : cumune ▁' e ▁ll ' abruzzo ▁categoria : comune ▁' e ▁l ' italia ▁category : giugrafia ▁categoria : comune ▁d '' a ▁pruvincia ▁' e ▁imperia ▁categoria : comune ▁d '' a ▁reggione ▁liùria ▁categoria : comune ▁' e ▁l ' italia ▁* lo uis ▁le ▁bro c qu y , ▁(0000 ▁- ▁) ▁* ann ▁bro ck man ▁* an to ni ▁bro do wski ▁* isa a k ▁i z ra i le vi č ▁bro d ski j , ▁(0000 ▁o ▁0000-0000 ▁* me l chi or ▁bro e der la m , ▁( notizie ▁dal ▁0000 ▁al |
| 10000 | ▁categoria : giugrafia ▁categoria : comune ▁d %00%00 a ▁pruvincia ▁' e ▁chiete ▁categoria : cumune ▁' e ▁ll ' abruzzo ▁categoria : comune ▁' e ▁l ' italia ▁category : giugrafia ▁categoria : comune ▁d '' a ▁pruvincia ▁' e ▁imperia ▁categoria : comune ▁d '' a ▁reggione ▁liùria ▁categoria : comune ▁' e ▁l ' italia ▁* louis ▁le ▁bro c qu y , ▁(0000 ▁- ▁) ▁* ann ▁bro ck man ▁* an toni ▁bro do wski ▁* isa a k ▁i z rai le vič ▁bro d skij , ▁(0000 ▁o ▁0000-0000 ▁* mel chi or ▁bro e der lam , ▁( notizie ▁dal ▁0000 ▁al |
| 25000 | ▁categoria : giugrafia ▁categoria : comune ▁d %00%00 a ▁pruvincia ▁' e ▁chiete ▁categoria : cumune ▁' e ▁ll ' abruzzo ▁categoria : comune ▁' e ▁l ' italia ▁category : giugrafia ▁categoria : comune ▁d '' a ▁pruvincia ▁' e ▁imperia ▁categoria : comune ▁d '' a ▁reggione ▁liùria ▁categoria : comune ▁' e ▁l ' italia ▁* louis ▁le ▁bro cqu y , ▁(0000 ▁- ▁) ▁* ann ▁bro ck man ▁* antoni ▁brodo wski ▁* isa ak ▁iz rai le vič ▁bro d skij , ▁(0000 ▁o ▁0000-0000 ▁* mel chi or ▁bro e der lam , ▁( notizie ▁dal ▁0000 ▁al |