German (de) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | dewiki sample |
|---|---|
| original | ein gedicht, bei dem die endbuchstaben ein wort oder einen satz ergeben, ist ein telestichon, trifft das für die mittleren buchstaben zu, handelt es s datei:us autism 0 00 0000-0000.svg|mini|autismus der 0- bis 00-jährigen in den usa. prävalenz je 0000 einwohner von 0000 bis 0000. die zahl der autism * ehrendoktorwürde in philosophie der hebräischen universität jerusalem, verliehen im jahr 0000 * ehrendoktorwürde der universität leipzig, verliehen |
| 1000 | ▁ein ▁ge d icht , ▁bei ▁dem ▁die ▁ end b uch st a ben ▁ein ▁w ort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁t ri f ft ▁das ▁für ▁die ▁mit t ler en ▁b uch st a ben ▁zu , ▁hand elt ▁es ▁s ▁d ate i : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . s v g | min i | aut is mus ▁der ▁0 - ▁bis ▁00 - j ähr igen ▁in ▁den ▁us a . ▁p rä v al enz ▁je ▁0000 ▁ein wo hn er ▁von ▁0000 ▁bis ▁0000. ▁die ▁z ahl ▁der ▁aut is m ▁* ▁e hr end o kt or w ür de ▁in ▁ph il os op h ie ▁der ▁he b rä ischen ▁univers ität ▁j er us al em , ▁ver lie hen ▁im ▁jahr ▁0000 ▁* ▁e hr end o kt or w ür de ▁der ▁univers ität ▁lei p z ig , ▁ver lie hen |
| 3000 | ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch sta ben ▁ein ▁w ort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁tri f ft ▁das ▁für ▁die ▁mittler en ▁buch sta ben ▁zu , ▁hand elt ▁es ▁s ▁datei : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . sv g | mini | aut ismus ▁der ▁0 - ▁bis ▁00- jähr igen ▁in ▁den ▁usa . ▁prä v al enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m ▁* ▁e hr end o ktor wür de ▁in ▁philosoph ie ▁der ▁he b rä ischen ▁universität ▁j er us al em , ▁verlie hen ▁im ▁jahr ▁0000 ▁* ▁e hr end o ktor wür de ▁der ▁universität ▁leipzig , ▁verlie hen |
| 5000 | ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch sta ben ▁ein ▁wort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁tri f ft ▁das ▁für ▁die ▁mittler en ▁buch sta ben ▁zu , ▁handelt ▁es ▁s ▁datei : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . sv g | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä v al enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m ▁* ▁ehr end o ktor wür de ▁in ▁philosophie ▁der ▁he b rä ischen ▁universität ▁jer us al em , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehr end o ktor wür de ▁der ▁universität ▁leipzig , ▁verliehen |
| 10000 | ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch staben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s ▁datei : us ▁aut is m ▁0 ▁00 ▁0000-0000 . svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m ▁* ▁ehr endoktor wür de ▁in ▁philosophie ▁der ▁he brä ischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehr endoktor wür de ▁der ▁universität ▁leipzig , ▁verliehen |
| 25000 | ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buch staben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s ▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000 . svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism ▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebrä ischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen |
| 50000 | ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buchstaben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s ▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000. svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism ▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebräischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen |
| 100000 | ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buchstaben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ichon , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s ▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000. svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prävalenz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism ▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebräischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen |