Telugu (te) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | tewiki sample |
|---|---|
| original | అక్టోబర్ 0, గ్రెగోరియన్ క్యాలెండర్ ప్రకారము సంవత్సరములో 000వ రోజు (లీపు సంవత్సరములో 000వ రోజు ). సంవత్సరాంతమునకు ఇంకా 00 రోజులు మిగిలినవి. * 0000: వడ్డెపాటి నిరంజనశాస్త్రి, గుంటూరు జిల్లా నుండి వెలువడిన మొదటి పత్రిక ప్రబోధిని సంపాదకుడు. (జ.0000) * 0000: ఎనుముల సావిత్రీదేవి, ఉమ్మడి ఆంధ్రప్ ప్రసిద్ధిచెందిన విజయనగరం కోట ముఖద్వారం విజయనగర రాజులు మొదట్లో కుమిలి లోని మట్టి కోటలో నివసించేవారు. ఆనంద గజపతి రాజు విజయనగరం కోట నిర్మాణాన్ని క్రీ.శ. |
| 1000 | ▁అ క్ టో బర్ ▁0 , ▁గ్ర ె గో రి యన్ ▁క ్య ాల ె ండ ర్ ▁ప్రక ార ము ▁సంవత్స ర ములో ▁000 వ ▁రో జు ▁( లీ పు ▁సంవత్స ర ములో ▁000 వ ▁రో జు ▁ ) . ▁సంవత్స రా ంత ము న కు ▁ఇ ం కా ▁00 ▁రో జ ులు ▁మి గి లి న వి . ▁* ▁0000 : ▁వ డ్డ ె పా టి ▁ని రం జ న శా స్త్ర ి , ▁గు ంట ూరు ▁జిల్లా ▁నుండి ▁వె లు వ డి న ▁మొదటి ▁ప త్రిక ▁ప్ర బ ో ధి ని ▁సం పా ద కుడు . ▁( జ . 0000) ▁* ▁0000 : ▁ఎ ను ము ల ▁సా వి త్ర ీ దే వి , ▁ఉ మ్మ డి ▁ఆంధ్ర ప్ ▁ప్ర సి ద్ధి చ ె ందిన ▁విజ యన గ రం ▁కో ట ▁ము ఖ ద్ వ ారం ▁విజ యన గ ర ▁రాజ ులు ▁మొద ట్ లో ▁కు మి లి ▁లోని ▁మ ట్టి ▁కో ట లో ▁ని వ స ించ ేవ ారు . ▁ఆ న ంద ▁గ జ ప తి ▁రాజ ు ▁విజ యన గ రం ▁కో ట ▁నిర్ మా ణా న్ని ▁క ్రీ . శ . |
| 3000 | ▁అక్టో బర్ ▁0, ▁గ్ర ె గో రి యన్ ▁క ్యాల ె ండర్ ▁ప్రక ారము ▁సంవత్సర ములో ▁000 వ ▁రోజు ▁( లీ పు ▁సంవత్సర ములో ▁000 వ ▁రోజు ▁ ). ▁సంవత్స రా ంత మునకు ▁ఇంకా ▁00 ▁రోజ ులు ▁మిగిలిన వి . ▁* ▁0000: ▁వ డ్డ ె పాటి ▁ని రం జన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వె లువ డిన ▁మొదటి ▁పత్రిక ▁ప్ర బో ధి ని ▁సంపాద కుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎ ను ముల ▁సా వి త్ర ీ దేవి , ▁ఉ మ్మ డి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధి చె ందిన ▁విజ యన గ రం ▁కోట ▁ముఖ ద్ వారం ▁విజ యన గర ▁రాజ ులు ▁మొద ట్లో ▁కు మి లి ▁లోని ▁మ ట్టి ▁కోట లో ▁నివ స ించ ేవారు . ▁ఆన ంద ▁గ జ పతి ▁రాజు ▁విజ యన గ రం ▁కోట ▁నిర్మా ణా న్ని ▁క్రీ . శ . |
| 5000 | ▁అక్టో బర్ ▁0, ▁గ్ర ె గో రియన్ ▁క ్యాల ె ండర్ ▁ప్రక ారము ▁సంవత్సర ములో ▁000 వ ▁రోజు ▁( లీ పు ▁సంవత్సర ములో ▁000 వ ▁రోజు ▁ ). ▁సంవత్స రా ంత మునకు ▁ఇంకా ▁00 ▁రోజులు ▁మిగిలిన వి . ▁* ▁0000: ▁వ డ్డ ె పాటి ▁ని రం జన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వెలువ డిన ▁మొదటి ▁పత్రిక ▁ప్ర బో ధి ని ▁సంపాద కుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎ ను ముల ▁సా విత్ర ీ దేవి , ▁ఉ మ్మడి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధి చె ందిన ▁విజయన గరం ▁కోట ▁ముఖ ద్ వారం ▁విజయన గర ▁రాజ ులు ▁మొద ట్లో ▁కు మి లి ▁లోని ▁మట్టి ▁కోట లో ▁నివస ించేవారు . ▁ఆనంద ▁గ జ పతి ▁రాజు ▁విజయన గరం ▁కోట ▁నిర్మా ణాన్ని ▁క్రీ . శ . |
| 10000 | ▁అక్టోబర్ ▁0, ▁గ్రె గో రియన్ ▁క్యాలెండర్ ▁ప్రకారము ▁సంవత్సరములో ▁000 వ ▁రోజు ▁( లీ పు ▁సంవత్సరములో ▁000 వ ▁రోజు ▁). ▁సంవత్స రాంత మునకు ▁ఇంకా ▁00 ▁రోజులు ▁మిగిలినవి . ▁* ▁0000: ▁వ డ్డ ె పాటి ▁ని రం జన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వెలువ డిన ▁మొదటి ▁పత్రిక ▁ప్ర బో ధిని ▁సంపాద కుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎ ను ముల ▁సా విత్ర ీ దేవి , ▁ఉమ్మడి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధి చెందిన ▁విజయనగరం ▁కోట ▁ముఖ ద్ వారం ▁విజయనగర ▁రాజులు ▁మొదట్లో ▁కు మి లి ▁లోని ▁మట్టి ▁కోట లో ▁నివస ించేవారు . ▁ఆనంద ▁గజ పతి ▁రాజు ▁విజయనగరం ▁కోట ▁నిర్మా ణాన్ని ▁క్రీ . శ . |
| 25000 | ▁అక్టోబర్ ▁0, ▁గ్రె గో రియన్ ▁క్యాలెండర్ ▁ప్రకారము ▁సంవత్సరములో ▁000 వ ▁రోజు ▁( లీపు ▁సంవత్సరములో ▁000 వ ▁రోజు ▁). ▁సంవత్సరాంతమునకు ▁ఇంకా ▁00 ▁రోజులు ▁మిగిలినవి . ▁* ▁0000: ▁వడ్డ ె పాటి ▁నిరం జన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వెలువడిన ▁మొదటి ▁పత్రిక ▁ప్ర బో ధిని ▁సంపాదకుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎ ను ముల ▁సా విత్ర ీ దేవి , ▁ఉమ్మడి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధిచెందిన ▁విజయనగరం ▁కోట ▁ముఖ ద్వారం ▁విజయనగర ▁రాజులు ▁మొదట్లో ▁కు మిలి ▁లోని ▁మట్టి ▁కోటలో ▁నివస ించేవారు . ▁ఆనంద ▁గజపతి ▁రాజు ▁విజయనగరం ▁కోట ▁నిర్మాణాన్ని ▁క్రీ . శ . |
| 50000 | ▁అక్టోబర్ ▁0, ▁గ్రె గోరియన్ ▁క్యాలెండర్ ▁ప్రకారము ▁సంవత్సరములో ▁000 వ ▁రోజు ▁( లీపు ▁సంవత్సరములో ▁000 వ ▁రోజు ▁). ▁సంవత్సరాంతమునకు ▁ఇంకా ▁00 ▁రోజులు ▁మిగిలినవి . ▁* ▁0000: ▁వడ్డ ె పాటి ▁నిరం జన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వెలువడిన ▁మొదటి ▁పత్రిక ▁ప్ర బోధిని ▁సంపాదకుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎను ముల ▁సా విత్ర ీ దేవి , ▁ఉమ్మడి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధిచెందిన ▁విజయనగరం ▁కోట ▁ముఖద్వారం ▁విజయనగర ▁రాజులు ▁మొదట్లో ▁కు మిలి ▁లోని ▁మట్టి ▁కోటలో ▁నివసించేవారు . ▁ఆనంద ▁గజపతి ▁రాజు ▁విజయనగరం ▁కోట ▁నిర్మాణాన్ని ▁క్రీ . శ . |
| 100000 | ▁అక్టోబర్ ▁0, ▁గ్రెగోరియన్ ▁క్యాలెండర్ ▁ప్రకారము ▁సంవత్సరములో ▁000 వ ▁రోజు ▁( లీపు ▁సంవత్సరములో ▁000 వ ▁రోజు ▁). ▁సంవత్సరాంతమునకు ▁ఇంకా ▁00 ▁రోజులు ▁మిగిలినవి . ▁* ▁0000: ▁వడ్డె పాటి ▁నిరంజన శాస్త్రి , ▁గుంటూరు ▁జిల్లా ▁నుండి ▁వెలువడిన ▁మొదటి ▁పత్రిక ▁ప్రబోధిని ▁సంపాదకుడు . ▁( జ .0000) ▁* ▁0000: ▁ఎను ముల ▁సావిత్రీ దేవి , ▁ఉమ్మడి ▁ఆంధ్ర ప్ ▁ప్రసిద్ధిచెందిన ▁విజయనగరం ▁కోట ▁ముఖద్వారం ▁విజయనగర ▁రాజులు ▁మొదట్లో ▁కుమిలి ▁లోని ▁మట్టి ▁కోటలో ▁నివసించేవారు . ▁ఆనంద ▁గజపతి ▁రాజు ▁విజయనగరం ▁కోట ▁నిర్మాణాన్ని ▁క్రీ . శ . |