Chinese (zh) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 50000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 100000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 200000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | zhwiki sample |
|---|---|
| original | 苏联和经济互助委员会的解体使古巴失去了巨大的蔗糖补贴市场和廉價石油的供應者。从0000年到0000年，国民生产总值滑落00％，人均收入下降00％。面对这场叫做“特殊时期”的经济危机，古巴逐步而有限度地开放了市场，以缓解食品、日用品和公共设施的严重短缺。允许一些零售业和轻工业出现私营业者，并开放了旅游 最早出現的濫發電子信息源自垃圾傳真（spam fax），至今許多商業機構每天仍然會收到大量廣告傳真。此外，近年垃圾電郵（spam email）的問題也相當嚴重，有調查報告指出，於用戶收到的電郵之中，平均有00%至00%均是垃圾郵件。這些垃圾郵件除了廣告以外，部分更包含詐騙內容，甚至包含了間諜軟體、木 泰山是中国第一个被评为世界遗产的名胜。 曲阜的孔庙、孔林、孔府合称三孔。图为孔廟大成殿。 截至0000年0月，山东有博物馆00个，公共图书馆000个，群众艺术馆、文化馆000个。其中中国海军博物馆、青岛市博物馆、中国甲午战争博物馆、青州市博物馆和山东博物馆为国家一级博物馆。截止到0000年00月，山 |
| 10000 | ▁ 苏联 和 经济 互 助 委员会 的 解 体 使 古 巴 失去 了 巨 大的 蔗 糖 补 贴 市 场 和 廉 價 石 油 的 供 應 者 。 从 0000 年 到 0000 年 , 国民 生产 总 值 滑 落 00% , 人 均 收 入 下 降 00% 。 面 对 这 场 叫 做 “ 特殊 时期 ” 的 经济 危 机 , 古 巴 逐 步 而 有限 度 地 开 放 了 市 场 , 以 缓 解 食 品 、 日 用 品 和 公共 设 施 的 严 重 短 缺 。 允 许 一些 零 售 业 和 轻 工业 出现 私 营 业 者 , 并 开 放 了 旅 游 ▁ 最早 出現 的 濫 發 電子 信息 源 自 垃 圾 傳 真 ( sp am ▁f a x ), 至今 許多 商業 機構 每 天 仍然 會 收 到 大量 廣 告 傳 真 。 此外 , 近 年 垃 圾 電 郵 ( sp am ▁e ma il ) 的 問題 也 相當 嚴重 , 有 調查 報 告 指出 , 於 用 戶 收 到 的 電 郵 之 中 , 平均 有 00% 至 00% 均 是 垃 圾 郵 件 。 這些 垃 圾 郵 件 除了 廣 告 以 外 , 部分 更 包含 詐 騙 內容 , 甚至 包含 了 間 諜 軟 體 、 木 ▁ 泰 山 是 中国 第一 个 被 评 为 世界 遗 产 的名 胜 。 ▁ 曲 阜 的 孔 庙 、 孔 林 、 孔 府 合 称 三 孔 。 图 为 孔 廟 大 成 殿 。 ▁ 截 至 0000 年 0 月 , 山 东 有 博物 馆 00 个 , 公共 图 书 馆 000 个 , 群 众 艺术 馆 、 文化 馆 000 个 。 其中 中国 海军 博物 馆 、 青 岛 市 博物 馆 、 中国 甲 午 战争 博物 馆 、 青 州市 博物 馆 和 山 东 博物 馆 为 国家 一 级 博物 馆 。 截 止 到 0000 年 00 月 , 山 |
| 25000 | ▁ 苏联 和 经济 互 助 委员会 的 解 体 使 古巴 失去了 巨大的 蔗 糖 补 贴 市场 和 廉 價 石油 的 供應 者 。 从 0000 年到 0000 年 , 国民 生产 总 值 滑 落 00%, 人均 收入 下降 00%。 面对 这场 叫做 “ 特殊 时期 ” 的经济 危机 , 古巴 逐步 而 有限 度 地 开放 了 市场 , 以 缓 解 食品 、 日 用品 和 公共 设施 的 严重 短缺 。 允许 一些 零售 业 和 轻 工业 出现 私 营业 者 , 并 开放 了 旅游 ▁ 最早 出現的 濫 發 電子 信息 源自 垃圾 傳 真 ( sp am ▁f ax ), 至今 許多 商業 機構 每天 仍然 會 收到 大量 廣告 傳 真 。 此外 , 近年 垃圾 電 郵 ( sp am ▁e ma il ) 的問題 也 相當 嚴重 , 有 調查 報告 指出 , 於 用戶 收 到的 電 郵 之中 , 平均 有 00% 至 00% 均 是 垃圾 郵件 。 這些 垃圾 郵件 除了 廣告 以外 , 部分 更 包含 詐 騙 內容 , 甚至 包含了 間諜 軟體 、 木 ▁ 泰山 是中国 第一个 被 评为 世界 遗产 的名 胜 。 ▁ 曲 阜 的 孔 庙 、 孔 林 、 孔 府 合 称 三 孔 。 图 为 孔 廟 大成 殿 。 ▁ 截至 0000 年 0 月 , 山东 有 博物馆 00 个 , 公共 图书馆 000 个 , 群众 艺术 馆 、 文化 馆 000 个 。 其中 中国 海军 博物馆 、 青岛 市 博物馆 、 中国 甲 午 战争 博物馆 、 青 州市 博物馆 和 山东 博物馆 为 国家 一级 博物馆 。 截止 到 0000 年 00 月 , 山 |
| 50000 | ▁苏联 和经济 互助 委员会的 解体 使 古巴 失去了 巨大的 蔗 糖 补 贴 市场 和 廉價 石油 的 供應 者 。 从 0000 年到 0000 年 , 国民 生产总值 滑 落 00%, 人均 收入 下降 00%。 面对 这场 叫做 “ 特殊 时期 ” 的经济 危机 , 古巴 逐步 而 有限 度 地 开放 了 市场 , 以 缓解 食品 、 日 用品 和 公共 设施 的 严重 短缺 。 允许 一些 零售 业 和 轻 工业 出现 私 营业 者 , 并 开放 了 旅游 ▁最早 出現的 濫 發 電子 信息 源自 垃圾 傳真 ( sp am ▁f ax ), 至今 許多 商業 機構 每天 仍然 會 收到 大量 廣告 傳真 。 此外 , 近年 垃圾 電 郵 ( sp am ▁e mail ) 的問題 也相當 嚴重 , 有 調查報告 指出 , 於 用戶 收 到的 電 郵 之中 , 平均 有 00% 至 00% 均是 垃圾 郵件 。 這些 垃圾 郵件 除了 廣告 以外 , 部分 更 包含 詐騙 內容 , 甚至 包含了 間諜 軟體 、 木 ▁ 泰山 是中国 第一个 被评为 世界遗产 的名 胜 。 ▁曲 阜 的 孔 庙 、 孔 林 、 孔 府 合称 三 孔 。 图 为 孔 廟 大成 殿 。 ▁截至 0000 年 0 月 , 山东 有 博物馆 00 个 , 公共 图书馆 000 个 , 群众 艺术 馆 、 文化 馆 000 个 。 其中 中国 海军 博物馆 、 青岛市 博物馆 、 中国 甲午 战争 博物馆 、 青 州市 博物馆 和 山东 博物馆 为国家 一级 博物馆 。 截止 到 0000 年 00 月 , 山 |
| 100000 | ▁苏联 和经济 互助 委员会的 解体 使 古巴 失去了 巨大的 蔗糖 补贴 市场 和 廉價 石油 的 供應 者 。 从 0000 年到 0000 年 , 国民 生产总值 滑落 00%, 人均 收入 下降 00%。 面对 这场 叫做 “ 特殊 时期 ” 的经济 危机 , 古巴 逐步 而 有限度 地 开放 了 市场 , 以 缓解 食品 、 日用品 和公共 设施 的严重 短缺 。 允许 一些 零售 业 和 轻工业 出现 私 营业 者 , 并 开放 了 旅游 ▁最早 出現的 濫 發 電子 信息 源自 垃圾 傳真 ( sp am ▁f ax ), 至今 許多 商業 機構 每天 仍然 會 收到 大量 廣告 傳真 。 此外 , 近年 垃圾 電郵 ( sp am ▁e mail ) 的問題 也相當 嚴重 , 有 調查報告 指出 , 於 用戶 收到的 電郵 之中 , 平均 有 00% 至 00% 均是 垃圾 郵件 。 這些 垃圾 郵件 除了 廣告 以外 , 部分 更 包含 詐騙 內容 , 甚至 包含了 間諜 軟體 、 木 ▁ 泰山 是中国 第一个 被评为 世界遗产 的名 胜 。 ▁曲 阜 的 孔庙 、 孔 林 、 孔 府 合称 三 孔 。 图 为 孔廟 大成殿 。 ▁截至 0000 年 0 月 , 山东 有 博物馆 00 个 , 公共图书馆 000 个 , 群众 艺术馆 、 文化 馆 000 个 。 其中 中国 海军 博物馆 、 青岛市 博物馆 、 中国 甲午战争 博物馆 、 青 州市 博物馆 和 山东 博物馆 为国家 一级 博物馆 。 截止到 0000 年 00 月 , 山 |