首页 Web Scraper正文

Web Scraper 翻页——控制链接批量抓取数据(Web Scraper 高级用法)| 简易数据分析 05

zuozuo Web Scraper 2021-08-06 17:15:51 90 0

这是简易数据分析系列的第 5 篇文章。

上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据,今天我们就要在原来的 Web Scraper 配置上做一些小改动,让爬虫把 250 条电影数据全部爬取下来。

前面我们同时说了,爬虫的本质就是找规律,当初这些程序员设计网页时,肯定会依循一些规则,当我们找到规律时,就可以预测他们的行为,达到我们的目的。

今天我们就找找豆瓣网站的规律,想办法抓取全部数据。今天的规律就从常常被人忽略的网址链接开始。


1.链接分析

我们先看看第一页的豆瓣网址链接:

https://movie.douban.com/top250?start=0&filter=

  1. https://movie.douban.com 这个很明显就是个豆瓣的电影网址,没啥好说的

  2. top250 这个一看就是网页的内容,豆瓣排名前 250 的电影,也没啥好说的

  3. ? 后面有个 start=0&filter= ,根据英语提示来看,好像是说筛选(filter),从 0 开始(start)


再看看第二页的网址链接,前面都一样,只有后面的参数变了,变成了 start=25,从 25 开始;

我们再看看第三页的链接,参数变成了 start=50 ,从 50 开始;

分析 3 个链接我们很容易得出规律:

start=0,表示从排名第 1 的电影算起,展示 1-25 的电影

start=25,表示从排名第 26 的电影算起,展示 26-50 的电影

start=50,表示从排名第 51 的电影算起,展示 51-75 的电影

…...

start=225,表示从排名第 226 的电影算起,展示 226-250 的电影

规律找到了就好办了,只要技术提供支持就行。随着深入学习,你会发现 Web Scraper 的操作并不是难点,最需要思考的其实还是这个找规律。


2.Web Scraper 控制链接参数翻页

Web Scraper 针对这种通过超链接数字分页获取分页数据的网页,提供了非常便捷的操作,那就是范围指定器

比如说你想抓取的网页链接是这样的:

  • http://example.com/page/1

  • http://example.com/page/2

  • http://example.com/page/3

你就可以写成 http://example.com/page/[1-3],把链接改成这样,Web Scraper 就会自动抓取这三个网页的内容。

当然,你也可以写成 http://example.com/page/[1-100],这样就可以抓取前 100 个网页。

那么像我们之前分析的豆瓣网页呢?它不是从 1 到 100 递增的,而是 0 -> 25 -> 50 -> 75 这样每隔 25 跳的,这种怎么办?

  • http://example.com/page/0

  • http://example.com/page/25

  • http://example.com/page/50

其实也很简单,这种情况可以用 [0-100:25] 表示,每隔 25 是一个网页,100/25=4,爬取前 4 个网页,放在豆瓣电影的情景下,我们只要把链接改成下面的样子就行了;

https://movie.douban.com/top250?start=[0-225:25]&filter=

这样 Web Scraper 就会抓取 TOP250 的所有网页了。


3.抓取数据

解决了链接的问题,接下来就是如何在 Web Scraper 里修改链接了,很简单,就点击两下鼠标:

1.点击 Stiemaps,在新的面板里点击 ID 为 top250 的这列数据:

web-scraper-sitemaps

2.进入新的面板后,找到 Stiemap top250 这个 Tab,点击,再点击下拉菜单里的 Edit metadata

web-scraper-edit-metadata

3.修改原来的网址,图中的红框是不同之处:

web-scraper-start-url

修改好了超链接,我们重新抓取网页就好了。操作和上文一样,我这里就简单复述一下:

  1. 点击 Sitemap top250 下拉菜单里的 Scrape 按钮

  2. 新的操作面板的两个输入框都输入 2000

  3. 点击 Start scraping 蓝色按钮开始抓取数据

  4. 抓取结束后点击面板上的 refresh 蓝色按钮,检测我们抓取的数据

如果你操作到这里并抓取成功的话,你会发现数据是全部抓取下来了,但是顺序都是乱的。

web-scraper-data

我们这里先不管顺序问题,因为这个属于数据清洗的内容了,我们现在的专题是数据抓取。先把相关的知识点讲完,再攻克下一个知识点,才是更合理的学习方式。

这期讲了通过修改超链接的方式抓取了 250 个电影的名字。下一期我们说一些简单轻松的内容换换脑子,讲讲 Web Scraper 如何导入别人写好的爬虫文件,导出自己写好的爬虫软件。


版权声明

声明:本站所有主题/文章除标明原创外,均来自网络转载,版权归原作者所有,如果有侵犯到您的权益,请联系本站删除,谢谢合作!

发表评论

评论列表(0人评论 , 90人围观)
☹还没有评论,来说两句吧...

深圳seo优化|网站排名优化|网络推广霸屏服务-左左SEO笔记

https://www.hkseoer.com/

统计代码 | 京ICP备100000000

Powered By 左左seo笔记

使用手机软件扫描微信二维码

Powered By 左左seo笔记