12 天前 / Python集中营
点击上方“蓝字”，设为星标。 在一些网站服务中，除了对 user-agent 的身份信息进行检测、也对客户端的 ip 地址做了限制，如果是同一个客户端访问此网站服务器的次数过多就会将其识别为爬虫，因而，限制其客户端 ip 的访问。这样的限制给我们的爬虫带来了麻烦，所以使用代理 ip 在爬虫中是非常有必要的。 要使用代理 ip 进行爬虫就面临两个问题，一是怎么使用、这个就相对简单，另一个是怎么获取这么多的代理 ip。
18 天前 / Python集中营
点击上方【Python 集中营】，设为星标、发现更多精彩。 URL 管理器是爬虫过程中重要的一环，使用它来管理在爬虫过程中众多的 URL 地址以免造成重复获取爬虫地址、爬虫 陷入死循环等情况的发生。比如，我们要根据 baidu.com 来进行爬虫，如果在爬虫的子页面中也包含 baidu.com 不做处理的话就会陷入循环，所以说，在爬虫过程中对 URL 进行很好的维护是非常重要的。 1、创建 url 管理对象及属性定义 1#导入队列 2fromcollectionsimportdeque 3 4#定义url管理器类 5classurl_queue(): 6def__init__(self): 7#定义待爬取的队列 8self.queue=deque() ...
86 天前 / java金融
点击上方“Java 金融”，选择“设为星标” 后台回复"888"获取 bat 面试题集 引言正在午睡，突然收到线上疯狂报警的邮件，查看这个邮件发现这个报警的应用最近半个月都没有发布，应该不至于会有报警，但是还是打开邮件通过监控发现是由于某个接口某个接口流量暴增，CPU 暴涨。为了先解决问题只能先暂时扩容机器了，把机器扩容了一倍，问题得到暂时的解决。最后复盘为什么流量暴增？由于最近新上线了一个商品列表查询接口，主要用来查询商品信息，展示给到用户。
125 天前 / GO语言中文网
绘制图表不是前端的专利，服务端语言也可以关注公众号 “转角遇到 GitHub” ，每天推荐给你优秀开源项目 大家好，我是欧盆索思（opensource），每天为你带来优秀的开源项目！ 说起爬虫，很多人可能想到 Python，其实 Go 目前在这方面表现也还可以。今天看看 Go 比较有名的爬虫相关库有哪些？ GoQuery 说起 Go 爬虫相关库，最早、最知名的应该是 goquery，这是模仿 jquery 的，所以使用过 jquery 的，用 goquery 会特别亲切，功能也很强大。 项目地址：https://github.com/PuerkitoBio/goquery，Star 数 9.4k+。
131 天前 / Python小二
小三：怎么了小二？一副愁眉苦脸的样子。 小二：唉！这不是快过年了吗，家里又催相亲了 ... 小三：现在不是流行网恋吗，你可以试试相亲软件呀。 小二：这玩意靠谱吗？ 小三：我也没用过，你自己看看软件评论区吧。 小二：这 ... 不过也只能先到评论区看看了。 本文以 360 手机助手为例，地址为：http://zhushou.360.cn/，相亲软件选择 3 个比较流行的，分别为：世纪佳缘、百合婚恋、有缘网，我们使用 Python 爬取软件评论区，看看用户评价情况。 先来看一下这三款软件的下载量和好中差评占比情况（下图单位为万次）。
137 天前 / Python小二
小三：“怎么了小二？一副无精打采的样子！” 小二：“唉！别提了，还不是最近又接触了一个叫英雄联盟的游戏，游戏中很多皮肤都需要花钱买，但是我钱不够呀。..” 小三：“咋得，钱攒够了你还要买呀？还吃不吃饭了？！要我说，你干脆将英雄的炫彩皮肤都爬下来欣赏一下得了，饭钱还给你省下了。” 小二：“你说的也对，毕竟吃饭更重要，那我还是爬取皮肤欣赏一下算了。” 首先，我们打开英雄联盟官网主页，网址为：https://lol.qq.com/main.shtml，然后向下拉，可以看到英雄列表，如图所示： 接着随意选一个英雄点击进入看一下，如图所示： 再点击鼠标右键...
149 天前 / clumsy
1、背景经常有使用 selenium 的同学在访问网页的过程中发现，程序跑着跑着就被服务器给 ban 了。 当然对于一般情况下，咱们加个代理继续跑，没毛病。 然后跑着跑着又被封了。 纳尼？开始灵魂发问： 是浏览器里关于 webdriver 的痕迹没有清除？是因为 canvas 指纹识别真实用户？还是时区和地理位置不一致？其他等等。..今天我们来说另外一种可能，就是其实你加上了代理也等于白加了因为网页使用了一种叫 WebRTC 的技术识别出了你本地电脑真实 IP 2 什么是 WebRTC？参考维基百科解释 webrtc： 我翻译一下： 说人话就是说浏览器内置了一些 API 接口...
188 天前 / 编程技术宇宙
爬虫原理我是一个爬虫，每天穿行于互联网之上，爬取我需要的一切。 说起来还要感谢 HTTP 协议，因为它，全世界的网站和浏览器才能够连接通信，而我也是借助 HTTP 协议，获取我想要的数据。 我只需要伪装成一个浏览器，向服务器发送 HTTP 请求，就能拿到网页 HTML 文件。 接着，我再按照 HTML 的格式规范，去解析其中的图片、链接、表单等等我关注的信息。 获取链接标签以后，我又可以进一步爬取链接背后的网页，如此反复，要不了多久，一个网站中暴露出来的内容我就能爬个干净。 当然了，咱们做爬虫也还是有底线的。
207 天前 / 逗逗
随着大数据的火热，谁能第一时间掌握数据就等于掌握了先机，网页数据成了大家争相掠夺的资源，大量的网页抓取工具（爬虫）蜂拥而来。 网站运营者则需要反爬虫系统来保护自己的数据资源，以达到系统稳定性保障、竞争优势保持的目的。 爬虫与反爬虫，这相爱相杀的一对，简直可以写出一部壮观的斗争史。 爬虫与反爬虫斗争史 第一回合： 逗汁儿对某个网站的内容很感兴趣，于是想要写一个爬虫把信息全部抓取下来。 然后逗汁写了一个标准的 python 爬虫，不断地遍历某站的信息列表页面，根据 Html 分析内容存进自己的数据库。
228 天前 / MarvinZhang
前言任何刚接触爬虫编程的朋友可能都熟悉或者或多或少了解过基于 Python 异步框架 Twisted 的爬虫框架 Scrapy。Scrapy 发展了将近 7 年，是爬虫框架中的开山鼻祖，自然而然成为最受欢迎的也是应用最广的爬虫框架。对于 Scrapy 来说，其天然的优势是支持并发，而且集成了 HTTP 请求、下载、解析、调度等爬虫程序中常见的功能模块，让爬虫工程师只专注于页面解析和制定抓取规则，在当时极大的简化了爬虫开发流程，提高了开发效率。 但是，「Scrapy 并不是完美的，它仍然有不少缺点」。
272 天前 / MarvinZhang
Crawlab Lite 正式发布，更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部分用户并不能充分使用所有的功能。
309 天前 / facert
我们经常在朋友圈看到 Python 培训广告，宣传语必然有几大关键点，Python 语言简单到飞起，职场必备技能，学完升职加薪。 诚然，Python 作为一个脚本语言，学习相对简单，但是学习语言的目的是什么，是为了解决问题，不然学了这么久语法，几个月后还是从 print( hello world) 重新开始。 既然明确是为了解决问题，比如我想获取某个网页的数据并整理成 excel。通过网上搜索，或者问周围的程序员朋友，大部分的回答是用 Python 写个爬虫。
324 天前 / AirPython
点击上方“AirPython”，选择“加为星标” 第一时间关注 Python 技术干货！ 1. 场景经常有小伙伴在交流群问我，每天的早报新闻是怎么获取的？ 其实，早期使用的方案，是利用爬虫获取到一些新闻网站的标题，然后做了一些简单的数据清洗，最后利用 itchat 发送到指定的社群中。 由于爬虫面对网站改版的不稳定性及 itchat 不安全性，所以放弃了这种方案 后期更改了一种方案，通过修改爬虫方案，创建 API 服务，编写 App 去获取数据，然后手动发送到微信群 本篇文章将和大家详细聊聊具体的实现过程 2. 数据爬取第 1 步...
331 天前 / 魔笛手CTO
或许是竞争对手在窥探商业机密。 或许是某个学生为了论文而做的数据采集。 又或许只是码农的一个恶作剧。 无论如何，一个行为不受控制的爬虫都会对我们的数据安全有着或多或少的威胁，它迫使着我们行动起来对抗这种威胁。 1 初级篇 知己知彼，百战不殆爬虫和反爬虫的本质是技术对抗，作为反爬虫方，要意识到爬虫是狡猾的，首先需要做到的就是要知道如何区分一个请求是正常请求还是爬虫，然后才能想出对应的措施来限制爬虫。