一、网络进行爬虫在网络会计信息采集中的任务
网络爬虫系统在网络信息采集中的两个任务：
① 发现URL
网络爬虫的任务之一就是发现URL，通常会以一些种子网站作为起点。
② 下载页面
一般搜索引擎网络爬虫发现URL后，确定这个链接是否包含了，它是否与包含的链接有很高的相似性，是否有高质量的内容，有多少原创性，等等，然后决定是否需要下载这个页面。
二、网络爬虫在信息采集中的策略
通常，网络爬虫通过以下方式收集信息:
① 从一个种子网站集合出发
网络进行爬虫会从预先选定的一批种子企业网站已经开始爬行和抓取相关工作，这批种子公司网站通常是权威性最高的网站。通常一个页面一旦被下载，就会被解析找到链接的标签。如果有可爬网的URL链接，它可能会继续沿着该链接爬网。这个锚文本链接是这个页面面对另一个页面，但是纯文本链接没有这个描述，所以效果几乎是合理的。
② 网络爬虫使用多线程
如果是单线程，效率会很低，因为等待服务器会花费大量时间，所以启用多线程可以提高信息收集的效率。
多个线程可能一次爬行100个页面，这对搜索引擎有好处，但对其他网站不一定有好处，这可能导致服务器拥塞，例如，阻止一些真正的用户正确访问网站。
③ 网络爬虫的抓取策略
网络进行爬虫不会在同一工作时间对一次性对同一企业网络信息服务器抓取多个管理页面，每次抓取都会有一定的间隔时间。当使用此策略时，请求队列必须非常大，以便不降低获取的效率。
比如，网络爬虫每秒可以抓取1000个页面，在同一网站的每次抓取间隔为10秒，那么队列应该为来自10000个不同服务器的URL。
通常，如果发现搜索引擎被搜索得太频繁，则可以对其进行正式调整或反馈，如果不期望搜索引擎搜索某些页面或整个网站，则需要在网站根目录中设置机器人。txt文件即可。
