今天我们主要讲一下分词算法原理。我们将分为两个部分来介绍，第一个知识点是什么是分词技术，第二个知识点是分词算法的基础运用。
我们来讲一下分词技术。分词技术是将一段文字进行分词处理，简单来说就是将一段文字切割成词语。举个例子，如果原文是”冬天的张家界很美”，经过分词之后可以得到”冬天的”和”张家界很美”。搜索引擎可以利用这些分词结果，并用于计网页。所以这就是分词技术的作用。
为什么需要使用分词技术呢？因为搜索引擎只能通过算法和计算的方式来计算网页的主题和得分。因此，它需要通过分词技术来切割文字，从而进行计算。
接下来，我们来介绍分词算法的基础运用。对于分词算法最基本的运用有两种。第一种是用户搜索和匹配。举个例子，当我们在百度上搜索”空压机价格”时，百度会如何处理这些词语呢？首先，它会将”空压机价格”进行切割，得到两个词语：”空压机”和”价格”。然后，根据这两个词语进行匹配结果。比如，第一个词是”空压机”，百度就会在互联网上的海量网页中搜索与空压机相关的页面主题，并筛选出包含空压机主题的页面。接着，对比价格，即判断带有空压机主题的页面是否包含价格信息。如果没有价格信息，则被淘汰；只保留带有价格信息的结果。最后，在这些结果中评定一个页面得分最高的，就是为用户匹配出来的结果。
第二个分词算法的运用是网页主题计算。因为百度是一台机器，无法像人类一样理解文章的意思。以，它只能通过算法来计算一篇文章的主题。最基本的方式就是通过分词技术来切割文字。
