Hungarian (hu) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | huwiki sample |
|---|---|
| original | az egész spinű részecskéket bozonoknak nevezzük. egy kvantumállapotban akárhány bozon lehet. ilyen például a foton és a mezonok. a bose–einstein-stati johannes stark németország „a csatornasugárzásban fellépő doppler-effektus és a spektrumvonalak elektromos térben történő felhasadásának felismeréséér a tó őslakója a mocsaras nádast kedvelő széles kárász és a compó, a hazánkban közönséges dévérkeszeg, a felszínen rovarászó jászkeszeg. a tó zsilipjéi |
| 1000 | ▁az ▁egész ▁sp in ű ▁rész e cs k ék et ▁b oz on ok nak ▁nev ez z ük . ▁egy ▁k v ant um áll ap ot ban ▁ak ár h ány ▁b oz on ▁lehet . ▁ il y en ▁péld á ul ▁a ▁f ot on ▁és ▁a ▁m ez on ok . ▁a ▁b os e – e in s te in - st ati ▁j oh ann es ▁st ar k ▁német ország ▁„ a ▁cs at or n as ug ár z ás ban ▁fel l ép ő ▁d op pl er - ef f ekt us ▁és ▁a ▁sp ekt r um von alak ▁el ekt r om os ▁t ér ben ▁történ ő ▁fel h as ad ás ának ▁fel is mer és é ér ▁a ▁t ó ▁ ős l ak ója ▁a ▁m o cs ar as ▁n ád ast ▁k ed v elő ▁sz él es ▁k ár ász ▁és ▁a ▁c om p ó , ▁a ▁h az án k ban ▁köz ön ség es ▁d év ér k esz eg , ▁a ▁fel szín en ▁r ov ar ász ó ▁j ász k esz eg . ▁a ▁t ó ▁zs il ip j é i |
| 3000 | ▁az ▁egész ▁sp in ű ▁része cs k ék et ▁b oz on oknak ▁nev ez z ük . ▁egy ▁k v ant um áll apot ban ▁akár hány ▁b oz on ▁lehet . ▁ilyen ▁például ▁a ▁f ot on ▁és ▁a ▁m ez on ok . ▁a ▁b os e – e ins te in - st ati ▁joh ann es ▁st ark ▁német ország ▁„ a ▁csat orn as ug ár z ásban ▁fell ép ő ▁d op pl er - ef f ekt us ▁és ▁a ▁sp ekt r um von alak ▁elekt rom os ▁tér ben ▁történ ő ▁felh as adás ának ▁fel ismer és é ér ▁a ▁t ó ▁ős lak ója ▁a ▁m ocs ar as ▁n ád ast ▁ked v elő ▁szél es ▁kár ász ▁és ▁a ▁com p ó , ▁a ▁haz án k ban ▁köz ön séges ▁d év ér k esz eg , ▁a ▁fel szín en ▁r ov ar ász ó ▁j ász k esz eg . ▁a ▁t ó ▁zs il ip j é i |
| 5000 | ▁az ▁egész ▁sp in ű ▁része csk ék et ▁b oz on oknak ▁nev ez z ük . ▁egy ▁kv ant um áll apot ban ▁akár hány ▁b oz on ▁lehet . ▁ilyen ▁például ▁a ▁fot on ▁és ▁a ▁m ez onok . ▁a ▁b os e – e ins tein - st ati ▁johann es ▁st ark ▁németország ▁„ a ▁csat orn as ug ár z ásban ▁fellép ő ▁d op pl er - ef f ekt us ▁és ▁a ▁sp ekt r um von alak ▁elektrom os ▁tér ben ▁történő ▁felh as adás ának ▁fel ismer és é ér ▁a ▁t ó ▁ős lak ója ▁a ▁m ocs ar as ▁nád ast ▁kedv elő ▁széles ▁kár ász ▁és ▁a ▁com p ó , ▁a ▁haz ánk ban ▁közön séges ▁d év ér k esz eg , ▁a ▁felszín en ▁rov ar ász ó ▁j ász k esz eg . ▁a ▁t ó ▁zs il ip j é i |
| 10000 | ▁az ▁egész ▁sp in ű ▁része csk éket ▁b oz on oknak ▁nevezzük . ▁egy ▁kv ant um áll apot ban ▁akár hány ▁b oz on ▁lehet . ▁ilyen ▁például ▁a ▁fot on ▁és ▁a ▁mez onok . ▁a ▁bos e – e ins tein - st ati ▁johann es ▁st ark ▁németország ▁„ a ▁csatorn as ugár z ásban ▁fellép ő ▁d op pl er - ef fekt us ▁és ▁a ▁sp ekt rum vonalak ▁elektromos ▁tér ben ▁történő ▁felh as adás ának ▁felismer és é ér ▁a ▁tó ▁ős lak ója ▁a ▁mocs aras ▁nád ast ▁kedv elő ▁széles ▁kár ász ▁és ▁a ▁comp ó , ▁a ▁hazánk ban ▁közönséges ▁d év ér k esz eg , ▁a ▁felszín en ▁rovar ász ó ▁jász k esz eg . ▁a ▁tó ▁zs il ip j éi |
| 25000 | ▁az ▁egész ▁spin ű ▁részecsk éket ▁boz on oknak ▁nevezzük . ▁egy ▁kvantum állapot ban ▁akár hány ▁boz on ▁lehet . ▁ilyen ▁például ▁a ▁fot on ▁és ▁a ▁mez onok . ▁a ▁bos e – e instein - st ati ▁johannes ▁stark ▁németország ▁„ a ▁csatorn as ugár z ásban ▁fellépő ▁d op pl er - ef fekt us ▁és ▁a ▁spekt rum vonalak ▁elektromos ▁térben ▁történő ▁felh as adás ának ▁felismer és é ér ▁a ▁tó ▁őslak ója ▁a ▁mocsaras ▁nád ast ▁kedv elő ▁széles ▁kár ász ▁és ▁a ▁comp ó , ▁a ▁hazánkban ▁közönséges ▁dév ér k esz eg , ▁a ▁felszín en ▁rovar ász ó ▁jász k esz eg . ▁a ▁tó ▁zs ilip j éi |
| 50000 | ▁az ▁egész ▁spin ű ▁részecsk éket ▁boz on oknak ▁nevezzük . ▁egy ▁kvantum állapot ban ▁akár hány ▁boz on ▁lehet . ▁ilyen ▁például ▁a ▁foton ▁és ▁a ▁mez onok . ▁a ▁bos e – e instein - st ati ▁johannes ▁stark ▁németország ▁„ a ▁csatorn as ugár z ásban ▁fellépő ▁dop pler - effektus ▁és ▁a ▁spektrum vonalak ▁elektromos ▁térben ▁történő ▁felh as adásának ▁felismer és é ér ▁a ▁tó ▁őslak ója ▁a ▁mocsaras ▁nád ast ▁kedvelő ▁széles ▁kár ász ▁és ▁a ▁comp ó , ▁a ▁hazánkban ▁közönséges ▁dév ér kesz eg , ▁a ▁felszínen ▁rovar ászó ▁jász kesz eg . ▁a ▁tó ▁zsilip j éi |
| 100000 | ▁az ▁egész ▁spin ű ▁részecskéket ▁boz on oknak ▁nevezzük . ▁egy ▁kvantum állapotban ▁akárhány ▁boz on ▁lehet . ▁ilyen ▁például ▁a ▁foton ▁és ▁a ▁mez onok . ▁a ▁bos e – e instein - st ati ▁johannes ▁stark ▁németország ▁„ a ▁csatorn as ugár zásban ▁fellépő ▁doppler - effektus ▁és ▁a ▁spektrum vonalak ▁elektromos ▁térben ▁történő ▁felhas adásának ▁felismerés é ér ▁a ▁tó ▁őslak ója ▁a ▁mocsaras ▁nád ast ▁kedvelő ▁széles ▁kárász ▁és ▁a ▁comp ó , ▁a ▁hazánkban ▁közönséges ▁dév ér keszeg , ▁a ▁felszínen ▁rovar ászó ▁jász keszeg . ▁a ▁tó ▁zsilip j éi |