Tamil (ta) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | tawiki sample |
|---|---|
| original | புலவர் இலக்கணயிலக்கிய கண்டனங்களின் அவசியத்தைப் பற்றிய தனது கருத்தை தமிழ்ப் புலவர் சரித்திர முகவுரையில் பின்வருமாறு கூறியுள்ளார். எச் ஐ வி யால் தொற்றப்பட்டிருப்பதை பல மக்கள் அறியாதிருக்கின்றனர். உடலுறவு கொள்ளும் நகர மக்கள்தொகையில் 0சதவிகிதத்திற்கும் பெங் சுயி திசை காட்டி பெங் சுயி (சீனம்: 风水 ''ஃபங் ஷுவெய்'' அல்லது ''ஃபங் ஷுயி'', என்னும் "காற்று நீர்") என்பது சூழலுடன் இசைந்து வாழ்வது தொடர்பாக சீனாவ |
| 1000 | ▁பு ல வர் ▁இல க்க ண யில க்கிய ▁கண்ட ன ங்களின் ▁அவ சிய த்தை ப் ▁ப ற்றிய ▁தனது ▁கரு த்தை ▁தமிழ் ப் ▁பு ல வர் ▁ச ரி த்திர ▁ம ுக வு ர ையில் ▁பின் வ ரு மா று ▁கூற ிய ுள்ளார் . ▁எ ச் ▁ஐ ▁வி ▁ய ால் ▁தொ ற்ற ப்பட்ட ிரு ப்ப தை ▁பல ▁மக்கள் ▁அற ிய ாத ிருக்க ின்றனர் . ▁உட ல ுற வு ▁கொள்ள ும் ▁நகர ▁மக்கள ்த ொ க ையில் ▁0 ச த வ ிக ித த்த ிற்க ும் ▁பெ ங் ▁சு ய ி ▁தி சை ▁க ாட்ட ி ▁பெ ங் ▁சு ய ி ▁( ச ீ னம் : ▁ 风水 ▁'' ஃ ப ங் ▁ ஷ ுவ ெ ய் '' ▁அல்லது ▁'' ஃ ப ங் ▁ ஷ ு ய ி '' , ▁என்னும் ▁" கா ற்று ▁நீ ர் " ) ▁என்பது ▁சூ ழ ல ுடன் ▁இ சை ந்து ▁வா ழ் வது ▁தொடர் ப ாக ▁சீ ன ாவ |
| 3000 | ▁புல வர் ▁இலக்க ண யில க்கிய ▁கண்ட ன ங்களின் ▁அவ சிய த்தைப் ▁பற்றிய ▁தனது ▁கரு த்தை ▁தமிழ் ப் ▁புல வர் ▁சரி த்திர ▁முக வு ர ையில் ▁பின் வரு மாறு ▁கூற ிய ுள்ளார் . ▁எ ச் ▁ஐ ▁வி ▁ய ால் ▁தொ ற்ற ப்பட்ட ிருப்ப தை ▁பல ▁மக்கள் ▁அறிய ாத ிருக்க ின்றனர் . ▁உட ல ுற வு ▁கொள்ள ும் ▁நகர ▁மக்கள ்தொ க ையில் ▁0 ச த வ ிக ித த்திற்கும் ▁பெ ங் ▁சு யி ▁தி சை ▁காட்ட ி ▁பெ ங் ▁சு யி ▁( சீ னம் : ▁ 风水 ▁'' ஃ ப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃ ப ங் ▁ஷ ு யி '', ▁என்னும் ▁" கா ற்று ▁நீர் " ) ▁என்பது ▁சூழ ல ுடன் ▁இசை ந்து ▁வாழ் வது ▁தொடர்ப ாக ▁சீன ாவ |
| 5000 | ▁புலவர் ▁இலக்கண யில க்கிய ▁கண்ட ன ங்களின் ▁அவ சிய த்தைப் ▁பற்றிய ▁தனது ▁கரு த்தை ▁தமிழ்ப் ▁புலவர் ▁சரி த்திர ▁முக வு ரையில் ▁பின்வருமாறு ▁கூறிய ுள்ளார் . ▁எ ச் ▁ஐ ▁வி ▁ய ால் ▁தொ ற்ற ப்பட்ட ிருப்ப தை ▁பல ▁மக்கள் ▁அறிய ாத ிருக்க ின்றனர் . ▁உட ல ுறவு ▁கொள்ளும் ▁நகர ▁மக்கள ்தொ க ையில் ▁0 ச த விக ித த்திற்கும் ▁பெ ங் ▁சு யி ▁திசை ▁காட்ட ி ▁பெ ங் ▁சு யி ▁( சீ னம் : ▁ 风水 ▁'' ஃப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃப ங் ▁ஷ ு யி '', ▁என்னும் ▁" கா ற்று ▁நீர் " ) ▁என்பது ▁சூழ ல ுடன் ▁இசை ந்து ▁வாழ் வது ▁தொடர்ப ாக ▁சீன ாவ |
| 10000 | ▁புலவர் ▁இலக்கண யில க்கிய ▁கண்ட ன ங்களின் ▁அவசிய த்தைப் ▁பற்றிய ▁தனது ▁கருத்தை ▁தமிழ்ப் ▁புலவர் ▁சரி த்திர ▁முக வு ரையில் ▁பின்வருமாறு ▁கூறியுள்ளார் . ▁எச் ▁ஐ ▁வி ▁ய ால் ▁தொ ற்ற ப்பட்ட ிருப்ப தை ▁பல ▁மக்கள் ▁அறிய ாத ிருக்க ின்றனர் . ▁உடல ுறவு ▁கொள்ளும் ▁நகர ▁மக்கள்தொ கையில் ▁0 ச த விகித த்திற்கும் ▁பெ ங் ▁சு யி ▁திசை ▁காட்டி ▁பெ ங் ▁சு யி ▁( சீ னம் : ▁ 风水 ▁'' ஃப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃப ங் ▁ஷ ு யி '', ▁என்னும் ▁" கா ற்று ▁நீர் ") ▁என்பது ▁சூழ லுடன் ▁இசை ந்து ▁வாழ் வது ▁தொடர்பாக ▁சீன ாவ |
| 25000 | ▁புலவர் ▁இலக்கண யில க்கிய ▁கண்டன ங்களின் ▁அவசிய த்தைப் ▁பற்றிய ▁தனது ▁கருத்தை ▁தமிழ்ப் ▁புலவர் ▁சரித்திர ▁முக வு ரையில் ▁பின்வருமாறு ▁கூறியுள்ளார் . ▁எச் ▁ஐ ▁வி ▁ய ால் ▁தொற்ற ப்பட்ட ிருப்பதை ▁பல ▁மக்கள் ▁அறியாத ிருக்கின்றனர் . ▁உடல ுறவு ▁கொள்ளும் ▁நகர ▁மக்கள்தொகையில் ▁0 ச த விகித த்திற்கும் ▁பெ ங் ▁சு யி ▁திசை ▁காட்டி ▁பெ ங் ▁சு யி ▁( சீ னம் : ▁ 风水 ▁'' ஃப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃப ங் ▁ஷ ு யி '', ▁என்னும் ▁" கா ற்று ▁நீர் ") ▁என்பது ▁சூழ லுடன் ▁இசை ந்து ▁வாழ் வது ▁தொடர்பாக ▁சீன ாவ |
| 50000 | ▁புலவர் ▁இலக்கண யில க்கிய ▁கண்டன ங்களின் ▁அவசிய த்தைப் ▁பற்றிய ▁தனது ▁கருத்தை ▁தமிழ்ப் ▁புலவர் ▁சரித்திர ▁முக வு ரையில் ▁பின்வருமாறு ▁கூறியுள்ளார் . ▁எச் ▁ஐ ▁வி ▁ய ால் ▁தொற்ற ப்பட்ட ிருப்பதை ▁பல ▁மக்கள் ▁அறியாத ிருக்கின்றனர் . ▁உடலுறவு ▁கொள்ளும் ▁நகர ▁மக்கள்தொகையில் ▁0 சத விகித த்திற்கும் ▁பெ ங் ▁சுயி ▁திசை ▁காட்டி ▁பெ ங் ▁சுயி ▁( சீனம் : ▁ 风水 ▁'' ஃப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃப ங் ▁ஷ ு யி '', ▁என்னும் ▁" காற்று ▁நீர் ") ▁என்பது ▁சூழ லுடன் ▁இசை ந்து ▁வாழ்வது ▁தொடர்பாக ▁சீன ாவ |
| 100000 | ▁புலவர் ▁இலக்கண யில க்கிய ▁கண்டன ங்களின் ▁அவசிய த்தைப் ▁பற்றிய ▁தனது ▁கருத்தை ▁தமிழ்ப் ▁புலவர் ▁சரித்திர ▁முகவுரையில் ▁பின்வருமாறு ▁கூறியுள்ளார் . ▁எச் ▁ஐ ▁வி ▁யால் ▁தொற்ற ப்பட்ட ிருப்பதை ▁பல ▁மக்கள் ▁அறியாத ிருக்கின்றனர் . ▁உடலுறவு ▁கொள்ளும் ▁நகர ▁மக்கள்தொகையில் ▁0 சத விகித த்திற்கும் ▁பெங் ▁சுயி ▁திசை ▁காட்டி ▁பெங் ▁சுயி ▁( சீனம் : ▁ 风水 ▁'' ஃப ங் ▁ஷ ுவ ெய் '' ▁அல்லது ▁'' ஃப ங் ▁ஷு யி '', ▁என்னும் ▁" காற்று ▁நீர் ") ▁என்பது ▁சூழலுடன் ▁இசைந்து ▁வாழ்வது ▁தொடர்பாக ▁சீன ாவ |