/ˌtoʊ.kə.nəˈzeɪ.ʃən/
标记化，将文本分割成有意义的单元（如单词、符号）的过程
记忆技巧
拆分联想
拆分为 'token'（令牌） + 'ization'（化），想象用令牌（token）将句子'化'成小块
谐音梗
谐音'头啃哪贼深'，想象一个人啃句子分块时特别认真（贼深）
场景联想
把句子想象成巧克力条（token），用刀（ization）切成小块分给朋友
例句
Tokenization is the first step in NLP pipelines. (标记化是自然语言处理流程的第一步)