Italian (it) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | itwiki sample |
|---|---|
| original | verso la fine del xii secolo gli imperatori iniziarono a realizzare un nuovo complesso palatino, situato lungo le mura di terra all'estremità settentr carpi è tra le città decorate al valor militare per la guerra di liberazione perché è stata insignita della medaglia d'argento al valor militare per i gli ''aepyornis'' furono molto probabilmente osservati dagli arabi (che intrattenevano rapporti con le dinastie reali malgasci), e potrebbero essere c |
| 1000 | ▁ver so ▁la ▁fine ▁del ▁x i i ▁secolo ▁gli ▁imp era tori ▁inizia rono ▁a ▁reali zza re ▁un ▁nuo vo ▁comple sso ▁pa la tino , ▁si tua to ▁lun go ▁le ▁mu ra ▁di ▁ter ra ▁all ' es tre mi tà ▁s et ten t r ▁car pi ▁è ▁tra ▁le ▁città ▁de cora te ▁al ▁val or ▁mili tare ▁per ▁la ▁guerra ▁di ▁lib era zione ▁per ché ▁è ▁stata ▁in si gni ta ▁della ▁me da glia ▁d ' ar gen to ▁al ▁val or ▁mili tare ▁per ▁i ▁gli ▁'' a e p y or n is '' ▁furono ▁molto ▁pro ba bi lmente ▁o ss er va ti ▁da gli ▁a ra bi ▁( che ▁in tra tten e vano ▁rapp or ti ▁con ▁le ▁d ina sti e ▁reali ▁m al ga sci ), ▁e ▁po tre bb ero ▁essere ▁c |
| 3000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imp era tori ▁inizia rono ▁a ▁reali zzare ▁un ▁nuovo ▁comple sso ▁pala tino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' es tre mi tà ▁set ten tr ▁car pi ▁è ▁tra ▁le ▁città ▁de cora te ▁al ▁val or ▁militare ▁per ▁la ▁guerra ▁di ▁libera zione ▁perché ▁è ▁stata ▁in si gni ta ▁della ▁meda glia ▁d ' argento ▁al ▁val or ▁militare ▁per ▁i ▁gli ▁'' a ep y or nis '' ▁furono ▁molto ▁probabilmente ▁osser vati ▁dagli ▁ara bi ▁( che ▁in tra tten e vano ▁rapp orti ▁con ▁le ▁d ina sti e ▁reali ▁mal ga sci ), ▁e ▁potre bbero ▁essere ▁c |
| 5000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imp era tori ▁inizia rono ▁a ▁reali zzare ▁un ▁nuovo ▁complesso ▁pala tino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' estre mità ▁set ten tr ▁car pi ▁è ▁tra ▁le ▁città ▁decora te ▁al ▁val or ▁militare ▁per ▁la ▁guerra ▁di ▁libera zione ▁perché ▁è ▁stata ▁insi gni ta ▁della ▁medaglia ▁d ' argento ▁al ▁val or ▁militare ▁per ▁i ▁gli ▁'' a ep y or nis '' ▁furono ▁molto ▁probabilmente ▁osser vati ▁dagli ▁ara bi ▁( che ▁intra tten e vano ▁rapporti ▁con ▁le ▁dina sti e ▁reali ▁mal ga sci ), ▁e ▁potre bbero ▁essere ▁c |
| 10000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imp era tori ▁iniziarono ▁a ▁realizzare ▁un ▁nuovo ▁complesso ▁pala tino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' estre mità ▁set ten tr ▁car pi ▁è ▁tra ▁le ▁città ▁decora te ▁al ▁val or ▁militare ▁per ▁la ▁guerra ▁di ▁liberazione ▁perché ▁è ▁stata ▁insi gni ta ▁della ▁medaglia ▁d ' argento ▁al ▁val or ▁militare ▁per ▁i ▁gli ▁'' a ep y or nis '' ▁furono ▁molto ▁probabilmente ▁osser vati ▁dagli ▁arabi ▁( che ▁intra tten e vano ▁rapporti ▁con ▁le ▁dina sti e ▁reali ▁mal ga sci ), ▁e ▁potrebbero ▁essere ▁c |
| 25000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imperatori ▁iniziarono ▁a ▁realizzare ▁un ▁nuovo ▁complesso ▁palatino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' estremità ▁set ten tr ▁carpi ▁è ▁tra ▁le ▁città ▁decorate ▁al ▁valor ▁militare ▁per ▁la ▁guerra ▁di ▁liberazione ▁perché ▁è ▁stata ▁insigni ta ▁della ▁medaglia ▁d ' argento ▁al ▁valor ▁militare ▁per ▁i ▁gli ▁'' a ep y or nis '' ▁furono ▁molto ▁probabilmente ▁osser vati ▁dagli ▁arabi ▁( che ▁intratten evano ▁rapporti ▁con ▁le ▁dina stie ▁reali ▁mal ga sci ), ▁e ▁potrebbero ▁essere ▁c |
| 50000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imperatori ▁iniziarono ▁a ▁realizzare ▁un ▁nuovo ▁complesso ▁palatino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' estremità ▁set ten tr ▁carpi ▁è ▁tra ▁le ▁città ▁decorate ▁al ▁valor ▁militare ▁per ▁la ▁guerra ▁di ▁liberazione ▁perché ▁è ▁stata ▁insignita ▁della ▁medaglia ▁d ' argento ▁al ▁valor ▁militare ▁per ▁i ▁gli ▁'' a ep y ornis '' ▁furono ▁molto ▁probabilmente ▁osservati ▁dagli ▁arabi ▁( che ▁intratten evano ▁rapporti ▁con ▁le ▁dinastie ▁reali ▁malga sci ), ▁e ▁potrebbero ▁essere ▁c |
| 100000 | ▁verso ▁la ▁fine ▁del ▁xii ▁secolo ▁gli ▁imperatori ▁iniziarono ▁a ▁realizzare ▁un ▁nuovo ▁complesso ▁palatino , ▁situato ▁lungo ▁le ▁mura ▁di ▁terra ▁all ' estremità ▁set ten tr ▁carpi ▁è ▁tra ▁le ▁città ▁decorate ▁al ▁valor ▁militare ▁per ▁la ▁guerra ▁di ▁liberazione ▁perché ▁è ▁stata ▁insignita ▁della ▁medaglia ▁d ' argento ▁al ▁valor ▁militare ▁per ▁i ▁gli ▁'' a ep y ornis '' ▁furono ▁molto ▁probabilmente ▁osservati ▁dagli ▁arabi ▁( che ▁intratten evano ▁rapporti ▁con ▁le ▁dinastie ▁reali ▁malga sci ), ▁e ▁potrebbero ▁essere ▁c |