摘 要
当今网络领域发展的时代背景下，传统的
搜索引擎
面临一些局限性挑战，尤其是
网络上有接近十分之三的网页信息重复，为了让开发者爬取质量更高的数据，并且爬取到不仅仅是表层网页，而是更多属于深层网页的信息。开发者引入网络爬虫技术，
网络爬虫技术是按照实际需求爬取万维网信息资源的脚本或程序，也是现在通用浏览器的核心组件之一，网络爬虫涉及范围广泛，便利于人们的同时也有人用它做触犯法律的行为，根据爬取过程和内部结构可以分为四种类型，常用的是聚焦型、通用型的爬虫。python作为最佳的爬虫工具，通过python的网络
python在网络爬虫方面的应用-12683字.docx