13 天前 / 编程技术宇宙
爬虫原理我是一个爬虫，每天穿行于互联网之上，爬取我需要的一切。 说起来还要感谢 HTTP 协议，因为它，全世界的网站和浏览器才能够连接通信，而我也是借助 HTTP 协议，获取我想要的数据。 我只需要伪装成一个浏览器，向服务器发送 HTTP 请求，就能拿到网页 HTML 文件。 接着，我再按照 HTML 的格式规范，去解析其中的图片、链接、表单等等我关注的信息。 获取链接标签以后，我又可以进一步爬取链接背后的网页，如此反复，要不了多久，一个网站中暴露出来的内容我就能爬个干净。 当然了，咱们做爬虫也还是有底线的。
32 天前 / 逗逗
随着大数据的火热，谁能第一时间掌握数据就等于掌握了先机，网页数据成了大家争相掠夺的资源，大量的网页抓取工具（爬虫）蜂拥而来。 网站运营者则需要反爬虫系统来保护自己的数据资源，以达到系统稳定性保障、竞争优势保持的目的。 爬虫与反爬虫，这相爱相杀的一对，简直可以写出一部壮观的斗争史。 爬虫与反爬虫斗争史 第一回合： 逗汁儿对某个网站的内容很感兴趣，于是想要写一个爬虫把信息全部抓取下来。 然后逗汁写了一个标准的 python 爬虫，不断地遍历某站的信息列表页面，根据 Html 分析内容存进自己的数据库。
52 天前 / MarvinZhang
前言任何刚接触爬虫编程的朋友可能都熟悉或者或多或少了解过基于 Python 异步框架 Twisted 的爬虫框架 Scrapy。Scrapy 发展了将近 7 年，是爬虫框架中的开山鼻祖，自然而然成为最受欢迎的也是应用最广的爬虫框架。对于 Scrapy 来说，其天然的优势是支持并发，而且集成了 HTTP 请求、下载、解析、调度等爬虫程序中常见的功能模块，让爬虫工程师只专注于页面解析和制定抓取规则，在当时极大的简化了爬虫开发流程，提高了开发效率。 但是，「Scrapy 并不是完美的，它仍然有不少缺点」。
97 天前 / MarvinZhang
Crawlab Lite 正式发布，更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部分用户并不能充分使用所有的功能。
134 天前 / facert
我们经常在朋友圈看到 Python 培训广告，宣传语必然有几大关键点，Python 语言简单到飞起，职场必备技能，学完升职加薪。 诚然，Python 作为一个脚本语言，学习相对简单，但是学习语言的目的是什么，是为了解决问题，不然学了这么久语法，几个月后还是从 print( hello world) 重新开始。 既然明确是为了解决问题，比如我想获取某个网页的数据并整理成 excel。通过网上搜索，或者问周围的程序员朋友，大部分的回答是用 Python 写个爬虫。
149 天前 / AirPython
点击上方“AirPython”，选择“加为星标” 第一时间关注 Python 技术干货！ 1. 场景经常有小伙伴在交流群问我，每天的早报新闻是怎么获取的？ 其实，早期使用的方案，是利用爬虫获取到一些新闻网站的标题，然后做了一些简单的数据清洗，最后利用 itchat 发送到指定的社群中。 由于爬虫面对网站改版的不稳定性及 itchat 不安全性，所以放弃了这种方案 后期更改了一种方案，通过修改爬虫方案，创建 API 服务，编写 App 去获取数据，然后手动发送到微信群 本篇文章将和大家详细聊聊具体的实现过程 2. 数据爬取第 1 步...
156 天前 / 魔笛手CTO
或许是竞争对手在窥探商业机密。 或许是某个学生为了论文而做的数据采集。 又或许只是码农的一个恶作剧。 无论如何，一个行为不受控制的爬虫都会对我们的数据安全有着或多或少的威胁，它迫使着我们行动起来对抗这种威胁。 1 初级篇 知己知彼，百战不殆爬虫和反爬虫的本质是技术对抗，作为反爬虫方，要意识到爬虫是狡猾的，首先需要做到的就是要知道如何区分一个请求是正常请求还是爬虫，然后才能想出对应的措施来限制爬虫。
167 天前 / 志学Python
在 Python 中的最新版本发布！自夏季以来，Python 3.8 已在 beta 版本中可用，但在 2019 年 10 月 14 日，第一个正式版本已准备就绪。现在，我们所有人都可以开始使用新功能并从最新改进中受益。 Python 3.8 带来了什么？该文档很好地概述了新功能。但是，本文将更深入地介绍一些最大的变化，并向您展示如何利用 Python 3.8。 在本文中，您将了解： 使用赋值表达式简化一些代码结构 在自己的函数中强制仅位置参数 指定更精确的类型提示 使用 f 字符串进行更简单的调试 除了少数例外，Python 3.8 对早期版本进行了许多小的改进。
193 天前 / u564249
声明： 本文只做技术研究，请勿用于任何非法用途。 本文阅读时长约 30 分钟，请先收藏再看 最近有不少小伙伴投入短视频赛道，也出现不少第三方数据商，为大家提供抖音爬虫数据。 小伙伴们有没有好奇过，这些数据是如何获取的，普通技术小白能否也拥有自己的抖音爬虫呢？ 本文会全面解密抖音爬虫的幕后原理，不需要任何编程知识，还请耐心阅读。 1. 什么是 HTTP 请求 在制作爬虫前，首先需要了解，爬虫数据是怎么获得的。 以抖音 APP 为例，我们从抖音上看视频，和我们从浏览器上访问网站原理是一样的。都是通过标准的 HTTP 请求来交互。
207 天前 / 楼外青山
文末有彩蛋 | 字数：3223 字 评论有惊喜 | 阅读时间：9 分钟 明修栈道、暗渡陈仓是一组出自《史记·淮阴侯列传》的成语，指将真实的意图隐藏在表面行动的背后，用明显的行动迷惑对方，使敌产生错觉，从而忽略我方的真实意图，达到出奇制胜效果的手段。 市面上常见的反爬虫手段种类繁多，例如文本混淆反爬虫、动态渲染反爬虫、信息校验反爬虫和代码混淆反爬虫等等。其中的文本混淆反爬虫就是明修栈道，暗度陈仓的具体实现，举个例子：上图中的评论数 3803 是给用户看的，即明修栈道；但如果通过爬虫程序或者自动化工具去取值，只能得到几个不知其意的方框。
220 天前 / MarvinZhang
前言相信爬虫（网络爬虫）是开发者们耳熟能详的数据采集技术。其中基于 Python Twisted 异步框架的 Scrapy，是灵活且强大的爬虫框架。而 Scrapyd 是 Scrapy 默认的爬虫管理服务，能够简单的执行、监控爬虫任务，除此之外，Scrapyd 还支持爬虫版本管理功能。后来基于 Scrapyd 的爬虫平台如雨后春笋般涌现出来，前有 SpiderKeeper，后有 Scrapydweb、Gerapy，都是比较优秀的开源爬虫管理平台，但它们都有个共同的问题，就是不能运行 Scrapy 以外的爬虫，导致灵活性不高。
227 天前 / 星弟一直在
点击上方“Python 爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠 Python 从入门到进阶共 10 本电子书 今 日 鸡 汤 三军可夺帅也，匹夫不可夺志也。/1 前言 / 玩爬虫的都避免不了各大网站的反爬措施限制，比较常见的是通过固定时间检测某 ip 地址访问量来判断该用户是否为 “网络机器人”，也就是所谓的爬虫，如果被识别到，就面临被封 ip 的风险，那样你就不能访问该网址了。 通用的解决办法是用代理 ip 进行爬取，但是收费的代理 ip 一般都是比较贵的，网上倒是有很多免费的代理 ip 网站，但是受时效性影响，大部分地址都不能用...
235 天前 / MarvinZhang
前言★本篇文章摘自 Crawlab 的 Kubernetes 部署文档。 ”Kubernetes（K8S） 是非常强大的容器编排工具，可以管理大型集群、微服务、分布式应用等等，是生产环境多节点部署中非常合适的选择。 而 Crawlab 作为分布式爬虫管理平台，同样也支持 Kubernetes 部署。Kubernetes 部署适合比较大型的分布式应用，但如果您有几台机器，也是可以实践的，Kubernetes 将降低您管理分布式应用的成本。 如果对 Kubernetes 还不了解，可以在 Kubernetes 中文社区入门课程 中学习相关知识；如果您已经了解 Docker，可以参考另外一个比较不错的免费资源...
240 天前 / MarvinZhang
前言本次更新包括几个部分： 更好的支持 Scrapy 爬虫支持 Git 仓库同步支持长任务更好的爬虫管理更新日志功能 / 优化更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择。 #435Git 同步。 允许用户将 Git 项目同步到 Crawlab.长任务支持。 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务。 425 爬虫列表优化。 分状态任务列数统计，任务列表详情弹出框，图例。 425 版本升级检测。 检测最新版本，通知用户升级。批量操作爬虫。 允许用户批量运行 / 停止爬虫任务，以及批量删除爬虫。复制爬虫。
266 天前 / 开发者头条
免费加入「头条君的圈子」 项目介绍 本项目为 2019 新型冠状病毒 (2019-nCoV) 疫情状况的实时爬虫，数据来源为丁香园。 感谢大家对本项目的支持，为了不让爬虫泛滥占用过多流量，导致其他更有需要的用户无法及时获取到丁香园的数据，请大家减少对爬虫的部署。 我已经开放了一个 API 接口，其他人如果需要这份数据做其他的可视化，或者用作科研，可以直接查看并调用 API 来获取数据，把丁香园的流量让给更有需要的人。 API：https://lab.isaaclin.cn/nCoV/ 注： 1. 于 2020 年 1 月 30 日 17:15 开始统计 API 使用总人次，绝不统计单个 IP 的使用频率。