Georgian (ka) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | kawiki sample |
|---|---|
| original | * 000 : ვალენტინიანუს i — რომის იმპერატორი * 000 : ჯომეი — იაპონიის იმპერატორი * 0000 : მერი i — ინგლისის დედოფალი * 0000 : ბურბონი, ანტუან — ანრი iv არსებობს ცალკეული რაიონები, სადაც ადგილობრივი დრო განსხვავდება მსოფლიო დროსაგან არა მხოლოდ საათების მთელი რიცხვით (0 საათი, 0 საათი და ა.შ.), არამედ წ მოლდოვის პარლამენტი მოლდოვა უნიტარული, საპარლამენტო, წარმომადგენლობითი დემოკრატიის რესპუბლიკაა. სახელმწიფოს სტრუქტურას აყალიბებს 0000 წლის კონსტიტუცია |
| 1000 | ▁* ▁000 ▁: ▁ვ ალ ენტ ინ იან უს ▁i ▁— ▁რომ ის ▁იმ პერ ატ ორი ▁* ▁000 ▁: ▁ჯ ომ ეი ▁— ▁ი აპ ონი ის ▁იმ პერ ატ ორი ▁* ▁0000 ▁: ▁მ ერი ▁i ▁— ▁ინ გ ლის ის ▁დ ედ ოფ ალი ▁* ▁0000 ▁: ▁ბ ურ ბ ონი , ▁ან ტუ ან ▁— ▁ან რი ▁i v ▁არს ებ ობს ▁ც ალ კე ული ▁რაი ონ ები , ▁სადაც ▁ადგილ ობ რივი ▁დრო ▁განს ხვ ავ დება ▁მსოფლი ო ▁დროს აგან ▁არ ა ▁მხოლოდ ▁სა ათ ების ▁მთ ელი ▁რი ცხ ვით ▁( 0 ▁სა ათ ი , ▁0 ▁სა ათ ი ▁და ▁ა . შ . ), ▁არ ამ ედ ▁წ ▁მ ოლ დ ოვ ის ▁პარ ლ ამ ენტი ▁მ ოლ დ ოვ ა ▁უ ნი ტ არ ული , ▁სა პ არ ლ ამ ენტ ო , ▁წარმ ომ ადგენ ლობ ით ი ▁დ ემ ოკ რ ატი ის ▁რეს პ უბლი კ ა ა . ▁სახელმწიფ ოს ▁სტ რ უ ქტ ურ ას ▁ა ყ ალი ბ ებს ▁0000 ▁წლის ▁კონ ს ტი ტუ ცია |
| 3000 | ▁* ▁000 ▁: ▁ვალ ენტ ინ იან უს ▁i ▁— ▁რომის ▁იმპერატ ორი ▁* ▁000 ▁: ▁ჯ ომ ეი ▁— ▁იაპ ონიის ▁იმპერატ ორი ▁* ▁0000 ▁: ▁მ ერი ▁i ▁— ▁ინგლის ის ▁დედ ოფ ალი ▁* ▁0000 ▁: ▁ბ ურ ბ ონი , ▁ან ტუ ან ▁— ▁ან რი ▁iv ▁არსებობს ▁ცალ კე ული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავ დება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁სა ათ ების ▁მთელი ▁რიცხ ვით ▁(0 ▁სა ათი , ▁0 ▁სა ათი ▁და ▁ა . შ . ), ▁არ ამედ ▁წ ▁მოლ დ ოვის ▁პარლამ ენტი ▁მოლ დ ოვა ▁უ ნი ტ არული , ▁საპ არ ლამ ენტ ო , ▁წარმომადგენ ლობ ითი ▁დემ ოკრატი ის ▁რესპუბლი კა ა . ▁სახელმწიფოს ▁სტ რუქტ ურ ას ▁ა ყალიბ ებს ▁0000 ▁წლის ▁კონ სტიტუ ცია |
| 5000 | ▁* ▁000 ▁: ▁ვალ ენტ ინ იან უს ▁i ▁— ▁რომის ▁იმპერატორი ▁* ▁000 ▁: ▁ჯ ომ ეი ▁— ▁იაპ ონიის ▁იმპერატორი ▁* ▁0000 ▁: ▁მ ერი ▁i ▁— ▁ინგლისის ▁დედოფ ალი ▁* ▁0000 ▁: ▁ბურ ბ ონი , ▁ან ტუ ან ▁— ▁ან რი ▁iv ▁არსებობს ▁ცალკე ული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავ დება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁სა ათ ების ▁მთელი ▁რიცხ ვით ▁(0 ▁სა ათი , ▁0 ▁სა ათი ▁და ▁ა . შ .), ▁არამედ ▁წ ▁მოლ დ ოვის ▁პარლამ ენტი ▁მოლ დ ოვა ▁უ ნი ტ არული , ▁საპ არ ლამ ენტო , ▁წარმომადგენ ლობ ითი ▁დემოკრატი ის ▁რესპუბლიკა ა . ▁სახელმწიფოს ▁სტრუქტ ურას ▁ა ყალიბ ებს ▁0000 ▁წლის ▁კონსტიტუ ცია |
| 10000 | ▁* ▁000 ▁: ▁ვალ ენტ ინ იან უს ▁i ▁— ▁რომის ▁იმპერატორი ▁* ▁000 ▁: ▁ჯ ომ ეი ▁— ▁იაპონიის ▁იმპერატორი ▁* ▁0000 ▁: ▁მერი ▁i ▁— ▁ინგლისის ▁დედოფალი ▁* ▁0000 ▁: ▁ბურ ბ ონი , ▁ან ტუ ან ▁— ▁ანრი ▁iv ▁არსებობს ▁ცალკეული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავდება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁საათ ების ▁მთელი ▁რიცხ ვით ▁(0 ▁სა ათი , ▁0 ▁სა ათი ▁და ▁ა . შ .), ▁არამედ ▁წ ▁მოლ დ ოვის ▁პარლამენტი ▁მოლ დ ოვა ▁უ ნი ტ არული , ▁საპარლამენტო , ▁წარმომადგენ ლობ ითი ▁დემოკრატი ის ▁რესპუბლიკა ა . ▁სახელმწიფოს ▁სტრუქტ ურას ▁ა ყალიბ ებს ▁0000 ▁წლის ▁კონსტიტუცია |
| 25000 | ▁* ▁000 ▁: ▁ვალ ენტინ იან უს ▁i ▁— ▁რომის ▁იმპერატორი ▁* ▁000 ▁: ▁ჯ ომ ეი ▁— ▁იაპონიის ▁იმპერატორი ▁* ▁0000 ▁: ▁მერი ▁i ▁— ▁ინგლისის ▁დედოფალი ▁* ▁0000 ▁: ▁ბურბ ონი , ▁ანტუან ▁— ▁ანრი ▁iv ▁არსებობს ▁ცალკეული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავდება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁საათ ების ▁მთელი ▁რიცხ ვით ▁(0 ▁საათი , ▁0 ▁საათი ▁და ▁ა . შ .), ▁არამედ ▁წ ▁მოლდოვის ▁პარლამენტი ▁მოლდ ოვა ▁უნი ტარული , ▁საპარლამენტო , ▁წარმომადგენ ლობითი ▁დემოკრატიის ▁რესპუბლიკა ა . ▁სახელმწიფოს ▁სტრუქტურას ▁აყალიბ ებს ▁0000 ▁წლის ▁კონსტიტუცია |
| 50000 | ▁* ▁000 ▁: ▁ვალენტინ იან უს ▁i ▁— ▁რომის ▁იმპერატორი ▁* ▁000 ▁: ▁ჯომ ეი ▁— ▁იაპონიის ▁იმპერატორი ▁* ▁0000 ▁: ▁მერი ▁i ▁— ▁ინგლისის ▁დედოფალი ▁* ▁0000 ▁: ▁ბურბ ონი , ▁ანტუან ▁— ▁ანრი ▁iv ▁არსებობს ▁ცალკეული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავდება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁საათ ების ▁მთელი ▁რიცხვით ▁(0 ▁საათი , ▁0 ▁საათი ▁და ▁ა . შ .), ▁არამედ ▁წ ▁მოლდოვის ▁პარლამენტი ▁მოლდოვა ▁უნი ტარული , ▁საპარლამენტო , ▁წარმომადგენ ლობითი ▁დემოკრატიის ▁რესპუბლიკაა . ▁სახელმწიფოს ▁სტრუქტურას ▁აყალიბებს ▁0000 ▁წლის ▁კონსტიტუცია |
| 100000 | ▁* ▁000 ▁: ▁ვალენტინ იანუს ▁i ▁— ▁რომის ▁იმპერატორი ▁* ▁000 ▁: ▁ჯომ ეი ▁— ▁იაპონიის ▁იმპერატორი ▁* ▁0000 ▁: ▁მერი ▁i ▁— ▁ინგლისის ▁დედოფალი ▁* ▁0000 ▁: ▁ბურბონი , ▁ანტუან ▁— ▁ანრი ▁iv ▁არსებობს ▁ცალკეული ▁რაიონები , ▁სადაც ▁ადგილობრივი ▁დრო ▁განსხვავდება ▁მსოფლიო ▁დროს აგან ▁არა ▁მხოლოდ ▁საათების ▁მთელი ▁რიცხვით ▁(0 ▁საათი , ▁0 ▁საათი ▁და ▁ა . შ .), ▁არამედ ▁წ ▁მოლდოვის ▁პარლამენტი ▁მოლდოვა ▁უნიტარული , ▁საპარლამენტო , ▁წარმომადგენ ლობითი ▁დემოკრატიის ▁რესპუბლიკაა . ▁სახელმწიფოს ▁სტრუქტურას ▁აყალიბებს ▁0000 ▁წლის ▁კონსტიტუცია |