28 天前 / Tony沈哲
zookeeper.pngZooKeeper 是一个开源的分布式协调服务，ZooKeeper框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。 后来，Apache ZooKeeper成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper 通常用于：命名服务、配置管理、集群管理、分布式协调/通知、分布式锁和分布式队列等等。 各个爬虫......
33 天前 / 王下_邀月熊
写文章ServerlessNode.js Puppeteer 渗透测试爬虫实践王下邀月熊公众号：某熊的技术之路22 人赞同了该文章本文归纳于微服务与云原生 https://github.com/wx-chevalier/Backend-Series系列文章，其相关的参考资料声明于 Awesome Serverless List。ServerlessNode.js Puppeteer 渗透测试爬虫实践参考 CNCF 的定义，Serverless 是指构建和运行不需要服务器管理的应用程序的概念；而 AWS 官方对于 Serverless 的介绍是：服务器架构是基于互联网的系统，其中应用开发不使用常规的服务进程。相反，它们仅依赖于第三方服务（例如 AWS Lambda 服务），客户......
37 天前 / Tony沈哲
spider.jpg一. 前言NetDiscovery是本人开发的一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架。它包含了丰富的特性。 二. 多线程的使用NetDiscovery虽然借助了 RxJava 2 来实现线程的切换，仍然有大量使用多线程的场景。本文列举一些爬虫框架常见的多线程使用场景。 2.1 爬虫的暂停、恢复暂停和恢复是最常见的爬虫使用场景，这里借助 CountDownLatch 类实现。 CountDownLatch是一个同步工具类，它允许一个或多个线程一直等待，直到其他线程的操作执行完后再执行。 暂停方法会初始化一个 CountDownLatch 类 pauseCountDown，并设置它的计数......
77 天前 / u517836
项目实战 静态网页实战 本节我们将为大家展现一个完整爬虫的大致过程，此次项目内容为提取猫眼电影TOP100榜中的所有电影信息并存储至CSV文件中，其首页地址为http://maoyan.com/board/4，在3.2.2中我们已经获取过第一页中的所有电影名了，但是如何获取第二页、第三页的数据呢，即获取第二页第三页对应的URL，那么我们可以在浏览器中不断翻页寻找地址栏中URL的变化规律： 第二页： http://maoyan.com/board/4offset=10 第三页： http://maoyan.com/board/4offset=20 第四页： http://maoyan.com/board/4offset=30 ...... 我们看见U......
77 天前 / sergiojune
注意：目前pdd已经需要登陆，这篇文章是在未更改之前写的，如果需要实践需要先登陆pdd再进行操作即可 上周的pdd很多人说看了还不会找，都找我要写一篇来教教如何扣代码的，那就应大家要求，今天来写一篇详细的扣代码过程，完全从零到一，如果对你有帮助，还望大力分享，这样我会越写越多。 代码都放在我的Github上，还没有star的感觉star了，哈哈，可能今周会更新别的网站，由于网站太强给推迟了，还得需要时间，为了爬虫可谓掉光了头发。 Github：https://github.com/SergioJune/Spider-Crack-JS 其他不多说了，直接开始今天的......
79 天前 / u517836
前言 本文可能篇幅较长，但是绝对干货满满，提供了大量的学习资源和途径。达到让读者独立自主的编写基础网络爬虫的目标，这也是本文的主旨，输出有价值能够真正帮助到读者的知识，即授人以鱼不如授人以渔，让我们直接立刻开始吧，本文包含以下内容： Python环境搭建与基础知识 爬虫原理概述 爬虫技术概览 猫眼电影排行数据抓取 Ajax数据爬取猫眼电影票房 更多进阶，代理、模拟登陆、APP 爬取等….. Python环境搭建与基础知识 Python环境搭建 Anaconda安装 此处笔者并不会介绍Python软件的安装，有读者可能会疑问Python都不安装......
79 天前 / sergiojune
原本昨天就要发文章的了，由于之前的pdd文章被投诉了，删除了，影响心情的同时也不敢乱发文章了，所以就暂时歇了一天，也改了另外一个网站，就是今天的物流网站。如果大家某天看不到我发文了，估计我也是被举报完了，到时想要看的可以去我的GitHub上看。 献上GitHub：https://github.com/SergioJune/Spider-Crack-JS 对你有用的话，希望能点个star，谢谢 今天网站：https://www.17track.net/zh-cn 这是个物流网站，就是查询物流的，今天要做的就是根据单号查询物流，废话不多说，直接肝。 1. 找到所需数据的 URL 请求 ......
93 天前 / 噶牛爱尚
阅读本文大概需要 5 分钟。 我喜欢看电影，尤其是好的电影，我会看上三四遍，仔细感受电影带给我的另一种人生体验，不同时期，不同年龄段看相同的电影，体验也会不一样。比如你上学时期看周星驰的电影可能就仅看到了笑点，工作之年之后再看，也许你会觉得这蕴含着深刻的人生哲理。 以前下载的电影，放的到处都是，手机上，U 盘里，平板，台式机，笔记本上都保存有下载过的电影，而且有时候平板或手机空间不够，就不得不删除珍藏已久的电影，很是可惜。当要看电影时，一时却找不到自己曾下载过的电影，于是又在网上搜索，但是随着版权越来越被重视......
100 天前 / liudanking
我是一个 Instagram 重度用户，关注了很多有意思的 po 主，因此经常需要将这些 po 主的所有图片打包下载。（国外非常注重版权，下载图片只能个人使用，商业用途请严格遵循版权保护流程。） ig 的账户分为公开账户和私有账户。这里只讨论公开账户的图片的获取方式。 我们知道在 ig 用户的 profile 业务可以看到用户发布的所有图片，例如：https://www.instagram.com/instagram/，即格式为：
103 天前 / Howie6879
这篇文章的题目有点大，但这并不是说我自觉对Python爬虫这块有多大见解，我只不过是想将自己的一些经验付诸于笔，对于如何写一个爬虫框架，我想一步一步地结合具体代码来讲述如何从零开始编写一个自己的爬虫框架 2018年到如今，我花精力比较多的一个开源项目算是Ruia了，这是一个基于Python3.6+的异步爬虫框架，当时也获得一些推荐，比如GithubTrendingPython语言榜单第二，目前Ruia还在开发中，Star数目不过700+，如果各位有兴趣，欢迎一起开发，来波star我也不会拒绝哈~ 什么是爬虫框架 说这个之前，得先说说什么是框架： 是实现业界标准......
109 天前 / wsgzao
前言爬虫就是请求网站并提取数据的自动化程序，其中请求，提取，自动化是爬虫的关键。Python作为一款出色的胶水语言自然成为了很多爬虫爱好者的首选，而使用Python开发的爬虫框架Scrapy当属目前最热门的解决方案之一。本文记录了目前网络上比较经典的Scrapy爬取豆瓣电影Top250榜单实践过程，作为Python爬虫框架Scrapy的入门案例。 Python爬虫框架Scrapy入门与实践之爬取豆瓣电影Top250榜单 更新历史2019年03月02日 - 初稿 阅读原文 - https://wsgzao.github.io/post/scrapy/ 扩展阅读 Scrapy - https://scrapy.org/ 什么是爬虫？网络爬虫（又......