3 天前 / java金融
点击上方“Java 金融”，选择“设为星标” 后台回复"888"获取 bat 面试题集 引言正在午睡，突然收到线上疯狂报警的邮件，查看这个邮件发现这个报警的应用最近半个月都没有发布，应该不至于会有报警，但是还是打开邮件通过监控发现是由于某个接口某个接口流量暴增，CPU 暴涨。为了先解决问题只能先暂时扩容机器了，把机器扩容了一倍，问题得到暂时的解决。最后复盘为什么流量暴增？由于最近新上线了一个商品列表查询接口，主要用来查询商品信息，展示给到用户。
42 天前 / GO语言中文网
绘制图表不是前端的专利，服务端语言也可以关注公众号 “转角遇到 GitHub” ，每天推荐给你优秀开源项目 大家好，我是欧盆索思（opensource），每天为你带来优秀的开源项目！ 说起爬虫，很多人可能想到 Python，其实 Go 目前在这方面表现也还可以。今天看看 Go 比较有名的爬虫相关库有哪些？ GoQuery 说起 Go 爬虫相关库，最早、最知名的应该是 goquery，这是模仿 jquery 的，所以使用过 jquery 的，用 goquery 会特别亲切，功能也很强大。 项目地址：https://github.com/PuerkitoBio/goquery，Star 数 9.4k+。
48 天前 / Python小二
小三：怎么了小二？一副愁眉苦脸的样子。 小二：唉！这不是快过年了吗，家里又催相亲了 ... 小三：现在不是流行网恋吗，你可以试试相亲软件呀。 小二：这玩意靠谱吗？ 小三：我也没用过，你自己看看软件评论区吧。 小二：这 ... 不过也只能先到评论区看看了。 本文以 360 手机助手为例，地址为：http://zhushou.360.cn/，相亲软件选择 3 个比较流行的，分别为：世纪佳缘、百合婚恋、有缘网，我们使用 Python 爬取软件评论区，看看用户评价情况。 先来看一下这三款软件的下载量和好中差评占比情况（下图单位为万次）。
54 天前 / Python小二
小三：“怎么了小二？一副无精打采的样子！” 小二：“唉！别提了，还不是最近又接触了一个叫英雄联盟的游戏，游戏中很多皮肤都需要花钱买，但是我钱不够呀。..” 小三：“咋得，钱攒够了你还要买呀？还吃不吃饭了？！要我说，你干脆将英雄的炫彩皮肤都爬下来欣赏一下得了，饭钱还给你省下了。” 小二：“你说的也对，毕竟吃饭更重要，那我还是爬取皮肤欣赏一下算了。” 首先，我们打开英雄联盟官网主页，网址为：https://lol.qq.com/main.shtml，然后向下拉，可以看到英雄列表，如图所示： 接着随意选一个英雄点击进入看一下，如图所示： 再点击鼠标右键...
66 天前 / clumsy
1、背景经常有使用 selenium 的同学在访问网页的过程中发现，程序跑着跑着就被服务器给 ban 了。 当然对于一般情况下，咱们加个代理继续跑，没毛病。 然后跑着跑着又被封了。 纳尼？开始灵魂发问： 是浏览器里关于 webdriver 的痕迹没有清除？是因为 canvas 指纹识别真实用户？还是时区和地理位置不一致？其他等等。..今天我们来说另外一种可能，就是其实你加上了代理也等于白加了因为网页使用了一种叫 WebRTC 的技术识别出了你本地电脑真实 IP 2 什么是 WebRTC？参考维基百科解释 webrtc： 我翻译一下： 说人话就是说浏览器内置了一些 API 接口...
105 天前 / 编程技术宇宙
爬虫原理我是一个爬虫，每天穿行于互联网之上，爬取我需要的一切。 说起来还要感谢 HTTP 协议，因为它，全世界的网站和浏览器才能够连接通信，而我也是借助 HTTP 协议，获取我想要的数据。 我只需要伪装成一个浏览器，向服务器发送 HTTP 请求，就能拿到网页 HTML 文件。 接着，我再按照 HTML 的格式规范，去解析其中的图片、链接、表单等等我关注的信息。 获取链接标签以后，我又可以进一步爬取链接背后的网页，如此反复，要不了多久，一个网站中暴露出来的内容我就能爬个干净。 当然了，咱们做爬虫也还是有底线的。
124 天前 / 逗逗
随着大数据的火热，谁能第一时间掌握数据就等于掌握了先机，网页数据成了大家争相掠夺的资源，大量的网页抓取工具（爬虫）蜂拥而来。 网站运营者则需要反爬虫系统来保护自己的数据资源，以达到系统稳定性保障、竞争优势保持的目的。 爬虫与反爬虫，这相爱相杀的一对，简直可以写出一部壮观的斗争史。 爬虫与反爬虫斗争史 第一回合： 逗汁儿对某个网站的内容很感兴趣，于是想要写一个爬虫把信息全部抓取下来。 然后逗汁写了一个标准的 python 爬虫，不断地遍历某站的信息列表页面，根据 Html 分析内容存进自己的数据库。
145 天前 / MarvinZhang
前言任何刚接触爬虫编程的朋友可能都熟悉或者或多或少了解过基于 Python 异步框架 Twisted 的爬虫框架 Scrapy。Scrapy 发展了将近 7 年，是爬虫框架中的开山鼻祖，自然而然成为最受欢迎的也是应用最广的爬虫框架。对于 Scrapy 来说，其天然的优势是支持并发，而且集成了 HTTP 请求、下载、解析、调度等爬虫程序中常见的功能模块，让爬虫工程师只专注于页面解析和制定抓取规则，在当时极大的简化了爬虫开发流程，提高了开发效率。 但是，「Scrapy 并不是完美的，它仍然有不少缺点」。
189 天前 / MarvinZhang
Crawlab Lite 正式发布，更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部分用户并不能充分使用所有的功能。
226 天前 / facert
我们经常在朋友圈看到 Python 培训广告，宣传语必然有几大关键点，Python 语言简单到飞起，职场必备技能，学完升职加薪。 诚然，Python 作为一个脚本语言，学习相对简单，但是学习语言的目的是什么，是为了解决问题，不然学了这么久语法，几个月后还是从 print( hello world) 重新开始。 既然明确是为了解决问题，比如我想获取某个网页的数据并整理成 excel。通过网上搜索，或者问周围的程序员朋友，大部分的回答是用 Python 写个爬虫。
241 天前 / AirPython
点击上方“AirPython”，选择“加为星标” 第一时间关注 Python 技术干货！ 1. 场景经常有小伙伴在交流群问我，每天的早报新闻是怎么获取的？ 其实，早期使用的方案，是利用爬虫获取到一些新闻网站的标题，然后做了一些简单的数据清洗，最后利用 itchat 发送到指定的社群中。 由于爬虫面对网站改版的不稳定性及 itchat 不安全性，所以放弃了这种方案 后期更改了一种方案，通过修改爬虫方案，创建 API 服务，编写 App 去获取数据，然后手动发送到微信群 本篇文章将和大家详细聊聊具体的实现过程 2. 数据爬取第 1 步...
248 天前 / 魔笛手CTO
或许是竞争对手在窥探商业机密。 或许是某个学生为了论文而做的数据采集。 又或许只是码农的一个恶作剧。 无论如何，一个行为不受控制的爬虫都会对我们的数据安全有着或多或少的威胁，它迫使着我们行动起来对抗这种威胁。 1 初级篇 知己知彼，百战不殆爬虫和反爬虫的本质是技术对抗，作为反爬虫方，要意识到爬虫是狡猾的，首先需要做到的就是要知道如何区分一个请求是正常请求还是爬虫，然后才能想出对应的措施来限制爬虫。
259 天前 / 志学Python
在 Python 中的最新版本发布！自夏季以来，Python 3.8 已在 beta 版本中可用，但在 2019 年 10 月 14 日，第一个正式版本已准备就绪。现在，我们所有人都可以开始使用新功能并从最新改进中受益。 Python 3.8 带来了什么？该文档很好地概述了新功能。但是，本文将更深入地介绍一些最大的变化，并向您展示如何利用 Python 3.8。 在本文中，您将了解： 使用赋值表达式简化一些代码结构 在自己的函数中强制仅位置参数 指定更精确的类型提示 使用 f 字符串进行更简单的调试 除了少数例外，Python 3.8 对早期版本进行了许多小的改进。
286 天前 / u564249
声明： 本文只做技术研究，请勿用于任何非法用途。 本文阅读时长约 30 分钟，请先收藏再看 最近有不少小伙伴投入短视频赛道，也出现不少第三方数据商，为大家提供抖音爬虫数据。 小伙伴们有没有好奇过，这些数据是如何获取的，普通技术小白能否也拥有自己的抖音爬虫呢？ 本文会全面解密抖音爬虫的幕后原理，不需要任何编程知识，还请耐心阅读。 1. 什么是 HTTP 请求 在制作爬虫前，首先需要了解，爬虫数据是怎么获得的。 以抖音 APP 为例，我们从抖音上看视频，和我们从浏览器上访问网站原理是一样的。都是通过标准的 HTTP 请求来交互。
299 天前 / 楼外青山
文末有彩蛋 | 字数：3223 字 评论有惊喜 | 阅读时间：9 分钟 明修栈道、暗渡陈仓是一组出自《史记·淮阴侯列传》的成语，指将真实的意图隐藏在表面行动的背后，用明显的行动迷惑对方，使敌产生错觉，从而忽略我方的真实意图，达到出奇制胜效果的手段。 市面上常见的反爬虫手段种类繁多，例如文本混淆反爬虫、动态渲染反爬虫、信息校验反爬虫和代码混淆反爬虫等等。其中的文本混淆反爬虫就是明修栈道，暗度陈仓的具体实现，举个例子：上图中的评论数 3803 是给用户看的，即明修栈道；但如果通过爬虫程序或者自动化工具去取值，只能得到几个不知其意的方框。