Sinhala (si) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | siwiki sample |
|---|---|
| original | බුලත් කෑමය.පෙර පටන් පැවති චාරිත්රයක් වු බුලත් කෑම රජුගේ සිට සාමාන්ය වැසියා දක්වාම ප්රචලිත වුවකි.වැඩෙහි යෙදෙන අතර මෙන්ම විවේකීව සිටින විටෙක සිංහලයා ස්ත පොර ලෙස හැදින්වේ. අනෙකුත් විශ්ව විද්යාල වල පෙම්වතිය "කොක්ක" ලෙස හැසින්වේ. දෙදෙනා එක්ව පෙම්බස්දෙඩීම කොළඹ විශ්ව විද්යාලයේදී "කැරට් කෑම" ලෙස හඳුන්වන අතර වචනයේ පරිසමාප්ත අර්ථයෙන් ගෝලීයකරණය යනු ගෝලීය වීමේ ක්රියාදාමයයි. යම් දේවල් හෝ විද්යාමාන දේවල් ගෝලීය දේවල් බවට පත් වීමේදී සිදුවන විපර්යාසයයි. එය විශ්ව ප |
| 1000 | ▁බු ල ත් ▁ක ෑ මය . ප ෙර ▁ප ටන් ▁පැව ති ▁ච ාර ිත්ර යක් ▁වු ▁බු ල ත් ▁ක ෑම ▁රජු ගේ ▁සිට ▁සාමා න්ය ▁වැ ස ියා ▁දක්වා ම ▁ප්ර ච ල ිත ▁ව ුව කි . වැ ඩ ෙහි ▁ය ෙ දෙන ▁අතර ▁ම ෙන්ම ▁වි වේ ක ී ව ▁සිටි න ▁විට ෙ ක ▁සි ං හල යා ▁ස් ත ▁පො ර ▁ලෙස ▁හැ ද ින් වේ . ▁අන ෙකු ත් ▁විශ් ව ▁විද්ය ාල ▁වල ▁පෙ ම් ව තිය ▁" ක ො ක් ක " ▁ලෙස ▁හැ ස ින් වේ . ▁දෙ දෙන ා ▁එක් ව ▁පෙ ම්බ ස් ද ෙ ඩ ීම ▁කො ළ ඹ ▁විශ් ව ▁විද්ය ාල යේදී ▁" ක ැ ර ට් ▁ක ෑම " ▁ලෙස ▁හඳු න් වන ▁අතර ▁ව ච නයේ ▁පරි ස මා ප් ත ▁අ ර්ථ යෙන් ▁ග ෝ ල ීය කරණය ▁යනු ▁ග ෝ ල ීය ▁වීම ේ ▁ක්රියා දා මය යි . ▁ය ම් ▁දේ ව ල් ▁හෝ ▁විද්යා මා න ▁දේ ව ල් ▁ග ෝ ල ීය ▁දේ ව ල් ▁බවට ▁පත් ▁වීම ේ දී ▁සිදුව න ▁වි ප ර් යා ස ය යි . ▁එය ▁විශ් ව ▁ප |
| 3000 | ▁බු ලත් ▁ක ෑ මය . ප ෙර ▁පටන් ▁පැවති ▁ච ාර ිත්ර යක් ▁වු ▁බු ලත් ▁ක ෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැ ස ියා ▁දක්වා ම ▁ප්රචල ිත ▁වුව කි . වැ ඩ ෙහි ▁යෙ දෙන ▁අතර ▁මෙන්ම ▁වි වේ ක ී ව ▁සිටින ▁විට ෙක ▁සිංහල යා ▁ස් ත ▁පො ර ▁ලෙස ▁හැදින් වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙ ම් ව තිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙන ා ▁එක් ව ▁පෙ ම්බ ස් දෙ ඩ ීම ▁කොළඹ ▁විශ්ව ▁විද්යාල යේදී ▁" කැ ර ට් ▁ක ෑම " ▁ලෙස ▁හඳු න්වන ▁අතර ▁ව ච නයේ ▁පරි ස මා ප්ත ▁අර්ථ යෙන් ▁ගෝල ීය කරණය ▁යනු ▁ගෝල ීය ▁වීමේ ▁ක්රියා දා මය යි . ▁යම් ▁දේ වල් ▁හෝ ▁විද්යා මාන ▁දේ වල් ▁ගෝල ීය ▁දේ වල් ▁බවට ▁පත් ▁වීමේ දී ▁සිදුවන ▁වි ප ර් යා සය යි . ▁එය ▁විශ්ව ▁ප |
| 5000 | ▁බු ලත් ▁කෑ මය . පෙර ▁පටන් ▁පැවති ▁චාර ිත්ර යක් ▁වු ▁බු ලත් ▁ක ෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැ ස ියා ▁දක්වා ම ▁ප්රචලිත ▁වුව කි . වැ ඩ ෙහි ▁යෙදෙන ▁අතර ▁මෙන්ම ▁විවේ කී ව ▁සිටින ▁විට ෙක ▁සිංහල යා ▁ස් ත ▁පො ර ▁ලෙස ▁හැදින් වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙ ම් ව තිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙනා ▁එක්ව ▁පෙ ම්බ ස් දෙ ඩ ීම ▁කොළඹ ▁විශ්ව ▁විද්යාල යේදී ▁" කැ ර ට් ▁ක ෑම " ▁ලෙස ▁හඳුන්වන ▁අතර ▁ව ච නයේ ▁පරි ස මා ප්ත ▁අර්ථ යෙන් ▁ගෝලීය කරණය ▁යනු ▁ගෝලීය ▁වීමේ ▁ක්රියා දා මය යි . ▁යම් ▁දේ වල් ▁හෝ ▁විද්යා මාන ▁දේ වල් ▁ගෝලීය ▁දේ වල් ▁බවට ▁පත් ▁වීමේ දී ▁සිදුවන ▁වි පර් යා සය යි . ▁එය ▁විශ්ව ▁ප |
| 10000 | ▁බුලත් ▁කෑ මය . පෙර ▁පටන් ▁පැවති ▁චාරිත්ර යක් ▁වු ▁බුලත් ▁කෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැ සියා ▁දක්වා ම ▁ප්රචලිත ▁වුව කි . වැඩ ෙහි ▁යෙදෙන ▁අතර ▁මෙන්ම ▁විවේ කී ව ▁සිටින ▁විටෙක ▁සිංහල යා ▁ස්ත ▁පොර ▁ලෙස ▁හැදින්වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙම් ව තිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙනා ▁එක්ව ▁පෙ ම්බ ස් දෙ ඩ ීම ▁කොළඹ ▁විශ්ව ▁විද්යාල යේදී ▁" කැ ර ට් ▁කෑම " ▁ලෙස ▁හඳුන්වන ▁අතර ▁වච නයේ ▁පරි සමා ප්ත ▁අර්ථ යෙන් ▁ගෝලීය කරණය ▁යනු ▁ගෝලීය ▁වීමේ ▁ක්රියා දා මය යි . ▁යම් ▁දේවල් ▁හෝ ▁විද්යා මාන ▁දේවල් ▁ගෝලීය ▁දේවල් ▁බවට ▁පත් ▁වීමේ දී ▁සිදුවන ▁විපර්යා සය යි . ▁එය ▁විශ්ව ▁ප |
| 25000 | ▁බුලත් ▁කෑ මය . පෙර ▁පටන් ▁පැවති ▁චාරිත්ර යක් ▁වු ▁බුලත් ▁කෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැ සියා ▁දක්වාම ▁ප්රචලිත ▁වුවකි . වැඩ ෙහි ▁යෙදෙන ▁අතර ▁මෙන්ම ▁විවේ කී ව ▁සිටින ▁විටෙක ▁සිංහල යා ▁ස්ත ▁පොර ▁ලෙස ▁හැදින්වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙම්වතිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙනා ▁එක්ව ▁පෙ ම්බ ස් දෙ ඩ ීම ▁කොළඹ ▁විශ්ව ▁විද්යාල යේදී ▁" කැ ර ට් ▁කෑම " ▁ලෙස ▁හඳුන්වන ▁අතර ▁වචනයේ ▁පරි සමා ප්ත ▁අර්ථයෙන් ▁ගෝලීයකරණය ▁යනු ▁ගෝලීය ▁වීමේ ▁ක්රියාදාමය යි . ▁යම් ▁දේවල් ▁හෝ ▁විද්යාමාන ▁දේවල් ▁ගෝලීය ▁දේවල් ▁බවට ▁පත් ▁වීමේදී ▁සිදුවන ▁විපර්යාසය යි . ▁එය ▁විශ්ව ▁ප |
| 50000 | ▁බුලත් ▁කෑ මය . පෙර ▁පටන් ▁පැවති ▁චාරිත්රයක් ▁වු ▁බුලත් ▁කෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැසියා ▁දක්වාම ▁ප්රචලිත ▁වුවකි . වැඩ ෙහි ▁යෙදෙන ▁අතර ▁මෙන්ම ▁විවේ කී ව ▁සිටින ▁විටෙක ▁සිංහලයා ▁ස්ත ▁පොර ▁ලෙස ▁හැදින්වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙම්වතිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙනා ▁එක්ව ▁පෙ ම්බස් දෙ ඩ ීම ▁කොළඹ ▁විශ්ව ▁විද්යාලයේදී ▁" කැර ට් ▁කෑම " ▁ලෙස ▁හඳුන්වන ▁අතර ▁වචනයේ ▁පරිසමාප්ත ▁අර්ථයෙන් ▁ගෝලීයකරණය ▁යනු ▁ගෝලීය ▁වීමේ ▁ක්රියාදාමය යි . ▁යම් ▁දේවල් ▁හෝ ▁විද්යාමාන ▁දේවල් ▁ගෝලීය ▁දේවල් ▁බවට ▁පත් ▁වීමේදී ▁සිදුවන ▁විපර්යාසයයි . ▁එය ▁විශ්ව ▁ප |
| 100000 | ▁බුලත් ▁කෑ මය . පෙර ▁පටන් ▁පැවති ▁චාරිත්රයක් ▁වු ▁බුලත් ▁කෑම ▁රජුගේ ▁සිට ▁සාමාන්ය ▁වැසියා ▁දක්වාම ▁ප්රචලිත ▁වුවකි . වැඩ ෙහි ▁යෙදෙන ▁අතර ▁මෙන්ම ▁විවේකීව ▁සිටින ▁විටෙක ▁සිංහලයා ▁ස්ත ▁පොර ▁ලෙස ▁හැදින්වේ . ▁අනෙකුත් ▁විශ්ව ▁විද්යාල ▁වල ▁පෙම්වතිය ▁" කො ක්ක " ▁ලෙස ▁හැ සින් වේ . ▁දෙදෙනා ▁එක්ව ▁පෙ ම්බස් දෙ ඩීම ▁කොළඹ ▁විශ්ව ▁විද්යාලයේදී ▁" කැර ට් ▁කෑම " ▁ලෙස ▁හඳුන්වන ▁අතර ▁වචනයේ ▁පරිසමාප්ත ▁අර්ථයෙන් ▁ගෝලීයකරණය ▁යනු ▁ගෝලීය ▁වීමේ ▁ක්රියාදාමය යි . ▁යම් ▁දේවල් ▁හෝ ▁විද්යාමාන ▁දේවල් ▁ගෝලීය ▁දේවල් ▁බවට ▁පත් ▁වීමේදී ▁සිදුවන ▁විපර්යාසයයි . ▁එය ▁විශ්ව ▁ප |