豆瓣租房小组爬虫
其他软件
豆瓣租房小组爬虫
使用豌豆荚
安装豌豆荚实用手机软件应用一应俱全,海量热门手机APP随心装!
此爬虫用python开发,基于gevent、pymongo、requests、lxml、Flask。
流程也相对较简单:
配置需要爬取的URL;
配置需要解析的信息元素,用XPATH完成;
配置代理;
配置监控周期、最大页数、并发数等;
运行爬虫,等待抓取,会自动根据配置定时爬取;
启动web服务,在前台搜索、排序等;