手把手教你爬取天堂网1920*1080大图片(批量下载)——实战篇

/1 前言/

上篇文章 手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇我们谈及了天堂网站图片抓取的理论,这篇文章将针对上篇文章的未尽事宜进行完善,完成图片的批量抓取。

/2 图片网址解析/

1. 我们首先来分析一下这个图片的地址在哪里。我们选择图片,然后右击网页检查,可以看到图片的路径,如下图所示。

2. 将其单独放出来,如下图所示。

3. 可以看到<a href>就是图片的链接,而src就图片的地址,所以我们可以找它的上一级标签<ul>。如果再找不到那就再找上一级以此类推(找到越详细内容更准确)。使用选择器xpath,获取到src的值(网址后缀)之后,将后缀加上“https前缀”就可以得到每一个网址,如下图所示:

4. 之后尝试运行,如下图所示,可以获取到具体的网址。

5. 我们再对这个网址进行请求(参考一个请求的方法)分析数据。

6. 我们以这个鱼的图片为例,点击它来到二级页面。

7. 右键检查 可以看到我们要获取的是src的地址,如下图所示。

8. 获取图片的源码,如下图所示。

9. Xpath 获取到路径,为了方便区分图片的名字,如下图所示。

/3 下载图片/

1. 为方便储存,新建一个filename来作为保存的路径,如下图所示。

2. 也就是说你需要在Python代码的同级目录,提前新建一个文件夹,名叫“天堂网爬的图片”,如果没有这个文件夹的话,将会报下图的错。

3. 使用with函数进行文件的打开和写入,下方代码的含义是创建一个文件,代码框里边有具体的注释。

4. 下面是各个编码代表的含义,可以学习一下。

5. 基于以上代码,基本上就可实现批量下载。接下来,我们继续优化一下。我们导入一个叫fake_useragent的库 fake_useragent第三方库,来实现随机请求头的设置。

6. 我们可以再初始化init方法,添加ua.random,让它随机的产生;其中UserAgent代码如图:(这里设置随机产生50个挑选其中一个进行请求)

7. 最终实现的效果图,终端显示如下图所示。

8. 将图片自动下载到本地后的效果图,高清的噢~

9. 至此,针对解析出来的图片地址予以批量下载的任务已经完成,接下来自己可以开心的去浏览图片啦。

10. 不建议大家爬取太多数据,这样会给服务器增大负载,浅尝辄止即可。

/4 小结/

本文基于理论篇,通过Python 中的爬虫库 requestslxmlfake_useragent,带大家进行网页结构的分析以及网页图片地址数据的提取,并且针对解析出来的图片地址予以批量下载,方法行之有效,欢迎大家积极尝试。

如果需要本文源码的话,请在公众号【Python爬虫与数据挖掘】后台回复“高清图片”四个字进行获取,觉得不错,记得给个star噢。

往期精彩文章推荐:

  • 手把手用Python教你如何发现隐藏wifi
  • 手把手教你用Python做个可视化的“剪刀石头布”小游戏
  • 手把手教你使用Python批量创建复工证明 想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

大屏显示器如何选?主流尺寸的话1080正合适

无论是旧显示器挂掉,还是决定换一台显示器方便看最新电影或玩最新游戏,购买新款计算机显示器都算个“重大决策”。花上数百美元,用户就能购买一款出色的显示器。用户也可以多花些钱,获得一些让人吃惊的技术,或通过专注于对自己最重要的功能节省巨额支出。幸运的是,Digital Trends下边提供的信息,有助于用户选购合适的显示器。

大尺寸显示器是个好主意

多大尺寸的显示器够大?对于显示器来说,它一方面要能放到桌子上,另一方面还要方便用户完成工作。通常来说,最小的显示器尺寸在17-18英寸之间,适合空间狭小的用户。不过,24英寸显示器价格也算亲民,而且已经成为显示器的新标准。

从事设计、媒体工作,或喜欢玩游戏的用户,可能希望购买24-30英寸显示器,以获得更高的分辨率和更高的清晰度。无需使用双显示器,这个尺寸范围的显示器通常能显示两个不同网页,给许多专业用户带来了不小的便利。

分辨率和液晶面板

Digital Trends称,目前最好的显示屏是采用LED技术的液晶显示屏,这类产品设计轻薄,节能,能提供理想的背光。其他技术正在崛起,例如OLED显示屏在色彩强度方面有较大提高。但是,OLED技术还没有用于显示器,只被用在电视机中。

下边来谈谈最常提及的显示器规格之一——分辨率。分辨率并非是显示器的最终目标,事实上,过小尺寸的显示器,如果分辨率过高会很烦人,因为图像尺寸会因分辨率过高而缩小,迫使用户必需放大所有内容,否则就会“看不清”。以下是有关显示器分辨率的知识:

1080p:如果要获得合理的清晰度,只要显示器尺寸不是超大,1080p的分辨率正合适。对于21-24英寸显示器来说,1080p是最适合的。这类显示器提供出色的图像质量,它们在与4K显示器竞争,价格已经降到最低点。对于24英寸及以上尺寸显示器,用户应当考虑至少2560 x 1440分辨率,或4K显示器。

4K:最新和最出色的显示器支持4K(3840 X 2160像素)分辨率,这样的分辨率适合最棒的专业(例如图形设计)或游戏显示器。最近数年4K显示器价格大幅下跌,用户只需不到500美元(约合人民币3059元)的价格就能购买到相当不错的4K显示器,不过高端4K显示器的价格也能轻松地超过1000美元(约合人民币6117元)。

5K:苹果发布最新型号iMac计算机时,5K分辨率成为媒体关注的焦点。但是,适合Windows平台的5K显示器只有一款——戴尔的UP2715K,尽管显示效果确实很棒,但价格高达约2000美元(约合人民币12234元)。另外,用户还需要为它配置功能强大的硬件。

对比度、响应时间等

其他数个参数也影响显示器的画质,以下是其他几个常用的显示器参数,有助于用户对不同的显示器进行比较。

AR:AR指纵横比(Aspect Ratio),通用标准和用户最好的选择是16:9。这是一种常见的纵横比,适合足够多的内容,尤其适合电影或游戏。部分显示器的纵横比达到了夸张的21:9,但这类显示器更适合一些不常见的使用场景,或铁杆游戏迷玩游戏。另外一种常见的纵横比是16:10,能在垂直方向上提供更多空间,适合浏览多个打开的文档或图像。

亮度:当前高端显示器的亮度约为300-350 cd/m2。如果房间光线充足或在大窗户旁边,亮度更高的显示器更适合。但是,更高的亮度会造成眼睛疲劳。只要亮度能达到250 cd/m2,显示器就相当不错了。

对比度:对比度越高,意味着颜间的差别越大。但是,对比度的测试有多种不同方法,显示器的标称值未必非常可靠,因此,对它要打个折扣。

响应时间:响应时间低的显示器适合快速动作的视频、游戏等。响应时间的单位为毫秒,最好的显示器的响应时间为数毫秒,但并非所有用户都需要如此低的响应时间。

可视角度:可视角度对于显示器的重要性不如电视大,但如果喜欢和一群朋友一同在显示器上观看节目,用户需要选择可视角度较大的显示器,这使得两边的人能轻松地看到清晰的图像。显示器可视角度大于170度就足够好了。

接口

Digital Trends表示,显示器需要有数个不同的接口。目前,对于高质量的音/视频连接来说,显示器绝对必须有至少一个HDMI接口。显示器还应当具备DisplayPort接口——一种开放源代码版HDMI,对厂商来说成本更低。

需要指出的是,不同版本HDMI标准具有不同的分辨率。HDMI 1.2支持至高1080p的分辨率,HDMI 1.3支持的分辨率最高为1600p,HDMI 2.0支持4K。DisplayPort 1.2及更新的版本也支持4K。

除音频和视频外,用户可能还希望显示器配有多个最新的USB(目前是USB 3.0)和其他接口。目前,用户利用蓝牙连接能完成许多任务,但在作出购买决定前仍然应当检查自己的配件,评估自己的需求。

触摸屏

触摸屏功能值得单列出来,因为它比较独特。如果不讨厌触摸屏(或指纹),用户无需为它感到担心。如果喜欢使用触摸屏,节约点击鼠标所浪费的时间,Digital Trends建议用户先到实体店亲自试用有意购买的产品。不亲自试一下,很难判断动作速度、范围、反应,甚至玻璃的感觉。

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com

点赞 0
收藏 0

文章为作者独立观点不代本网立场,未经允许不得转载。