词例还原 - 中国百科网

高级检索

专业板块专题板块大众板块

首页

词例还原

/tokenization/

最后更新 2022-01-20

浏览 157次

最后更新 2022-01-20

浏览 157次

0 意见反馈一键引用

在自动形态分析中，计算机把句子中的单词作为独立的词例切分出来的过程，是文本中独立的词汇单元。

英文名称: tokenization

所属学科: 语言文字

阅读历史

版权所有 © 2025 中国大百科全书出版社
Copyrights © 2025 by Encyclopedia of China Publishing House.All Rights Reserved
京ICP备13020690号-4 京公网安备 11010202008139号
网络出版服务许可证：(署)网出证(京)字第155号

意见反馈

感谢您的反馈

我们会尽快处理您的反馈！

谢谢！