Breton (br) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | brwiki sample |
|---|---|
| original | rummad:ganedigezhioù 0000 rummad:kanerien breizh rummad:kanerien vrezhonek rummad:kanerien kan ha diskan ur yezh nijerek-kongoek eus skour ar yezhoù senoufoek eo an nanerigeg (''nanergé'') komzet e burkina faso. krishna ha radha anv ofisiel ar strollad-mañ eo kevredigezh etrebroadel evit anaoudegezh krichna (saozneg ''international society for krishna consciou |
| 1000 | ▁rummad : g aned ig ezhioù ▁0000 ▁rummad : k an erien ▁breizh ▁rummad : k an erien ▁vr ezh on ek ▁rummad : k an erien ▁kan ▁ha ▁disk an ▁ur ▁yezh ▁n ij er ek - k on g o ek ▁eus ▁sk our ▁ar ▁yezhoù ▁s en ou f o ek ▁eo ▁an ▁n an er ig eg ▁('' n an er g é '') ▁komz et ▁e ▁b ur k ina ▁f as o . ▁k ri s h na ▁ha ▁r ad ha ▁anv ▁of is iel ▁ar ▁strollad - mañ ▁eo ▁k evred igezh ▁etre bro adel ▁evit ▁an aou d egezh ▁k ri ch na ▁( sa oz neg ▁'' int ern ation al ▁s oc iet y ▁for ▁k ri s h na ▁con s c i ou |
| 3000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kan erien ▁breizh ▁rummad : kan erien ▁vrezh onek ▁rummad : kan erien ▁kan ▁ha ▁disk an ▁ur ▁yezh ▁nij er ek - k ong o ek ▁eus ▁sk our ▁ar ▁yezhoù ▁sen ou f o ek ▁eo ▁an ▁n an er ig eg ▁('' n an er g é '') ▁komzet ▁e ▁bur k ina ▁f as o . ▁k ris h na ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevred igezh ▁etrebroadel ▁evit ▁an aou d egezh ▁k rich na ▁( saoz neg ▁'' int ern ational ▁soc iet y ▁for ▁k ris h na ▁con sc i ou |
| 5000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kan erien ▁breizh ▁rummad : kan erien ▁vrezhonek ▁rummad : kan erien ▁kan ▁ha ▁disk an ▁ur ▁yezh ▁nij er ek - k ongo ek ▁eus ▁sk our ▁ar ▁yezhoù ▁sen ou fo ek ▁eo ▁an ▁n an er ig eg ▁('' n an erg é '') ▁komzet ▁e ▁bur k ina ▁f as o . ▁k ris h na ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevredigezh ▁etrebroadel ▁evit ▁anaoudegezh ▁k rich na ▁( saozneg ▁'' int ern ational ▁soc iet y ▁for ▁k ris h na ▁con sc i ou |
| 10000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kanerien ▁breizh ▁rummad : kanerien ▁vrezhonek ▁rummad : kanerien ▁kan ▁ha ▁disk an ▁ur ▁yezh ▁nij er ek - k ongo ek ▁eus ▁sk our ▁ar ▁yezhoù ▁sen ou fo ek ▁eo ▁an ▁n aner ig eg ▁('' n an erg é '') ▁komzet ▁e ▁bur k ina ▁f aso . ▁k rish na ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevredigezh ▁etrebroadel ▁evit ▁anaoudegezh ▁k rich na ▁( saozneg ▁'' intern ational ▁society ▁for ▁k rish na ▁con sc iou |
| 25000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kanerien ▁breizh ▁rummad : kanerien ▁vrezhonek ▁rummad : kanerien ▁kan ▁ha ▁diskan ▁ur ▁yezh ▁nijerek - kongoek ▁eus ▁skour ▁ar ▁yezhoù ▁sen ou fo ek ▁eo ▁an ▁n aner ig eg ▁('' nan erg é '') ▁komzet ▁e ▁burkina ▁faso . ▁k rish na ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevredigezh ▁etrebroadel ▁evit ▁anaoudegezh ▁k rich na ▁( saozneg ▁'' international ▁society ▁for ▁k rish na ▁con sc iou |
| 50000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kanerien ▁breizh ▁rummad : kanerien ▁vrezhonek ▁rummad : kanerien ▁kan ▁ha ▁diskan ▁ur ▁yezh ▁nijerek - kongoek ▁eus ▁skour ▁ar ▁yezhoù ▁senou foek ▁eo ▁an ▁n aner ig eg ▁('' nan erg é '') ▁komzet ▁e ▁burkina ▁faso . ▁krishna ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevredigezh ▁etrebroadel ▁evit ▁anaoudegezh ▁k rich na ▁( saozneg ▁'' international ▁society ▁for ▁krishna ▁con sc iou |
| 100000 | ▁rummad : ganedigezhioù ▁0000 ▁rummad : kanerien ▁breizh ▁rummad : kanerien ▁vrezhonek ▁rummad : kanerien ▁kan ▁ha ▁diskan ▁ur ▁yezh ▁nijerek - kongoek ▁eus ▁skour ▁ar ▁yezhoù ▁senoufoek ▁eo ▁an ▁n aner igeg ▁('' nan ergé '') ▁komzet ▁e ▁burkina ▁faso . ▁krishna ▁ha ▁rad ha ▁anv ▁ofisiel ▁ar ▁strollad - mañ ▁eo ▁kevredigezh ▁etrebroadel ▁evit ▁anaoudegezh ▁k richna ▁( saozneg ▁'' international ▁society ▁for ▁krishna ▁con sc iou |