基于WebDriver的定向网络爬虫技术的应用研究

文档名：基于WebDriver的定向网络爬虫技术的应用研究
当今时代的网络在内容和形态方面发生了深刻的变化,动态页面、AJAX异步传输技术、网页反爬虫技术的兴起,使得简单的网页数据抓取越来越困难.本文使用Python语言中优秀的、自动化测试库:selenium库,通过其中的WebDriver类实现模拟人类登录网页,抓取加载完毕后的网页信息.本爬虫由于模拟人类操作,可以绕过反爬虫检测,自动采集指定网页数据,达到数据获取的目的.对某个实际网站进行爬取实验的结果表明,利用本文的爬虫进行网页的采集取得了良好效果.
作者：周立恒 李陶深
作者单位：广西大学计算机与电子信息学院,南宁,530004广西高校并行与分布式计算技术重点实验室,南宁,530004
母体文献：第28届全国计算机新科技与教育学术会议论文集
会议名称：第28届全国计算机新科技与教育学术会议  
会议时间：2018年9月26日
会议地点：北京
主办单位：全国高等学校计算机教育研究会
语种：chi
分类号：TP3G3
关键词：信息处理  网络爬虫  网页解析  自动采集
在线出版日期：2022年3月9日
基金项目：
相似文献
相关博文

2024-12-10 14:20 上传 基于WebDriver的定向网络爬虫技术的应用研究.pdf

文件大小:

1.8 MB

下载次数:

60

高速下载