nltk分词、ik分词器怎么分词

中文和英文主要的不同之处是中文需要分词因为nltk 的处理粒度一般是词，所以必须要先对文本进行分词然后再用nltk 来处理不需要用nltk 来做分词，直接用分词包就可以了严重推荐结巴分词，非常好用中文分词之后，文本。

1 NLTK mdash Natural Language Toolkit 搞自然语言处理的同学应该没有人不知道NLTK吧，这儿也就不多说了不过引荐两本书籍给刚刚触摸NLTK或许需求具体了解NLTK的同学 一个是官方的Natural Language Processing with。

1 NLTKNatural Language ToolkitNLTK是Python中最古老和最常用的自然语言处理库之一它提供了一整套易于使用的接口和丰富的语料库，方便开发者进行各种NLP任务例如，使用NLTK可以轻松地进行文本分词词性标注和句法分析。