16 天前 / 王下_邀月熊
首发于某熊的技术之路写文章Cendertron，动态爬虫的滑动验证码绕过策略王下邀月熊公众号：某熊的技术之路22 人赞同了该文章Cendertron，动态爬虫的滑动验证码绕过策略在 Cendertron安全动态爬虫系列中我们依次介绍了安全爬虫的设计、爬虫的集群搭建，本篇则是讨论有关于滑动验证码的绕过策略。 本文采用的策略与代码来自 How to bypass “slider CAPTCHA” with JS and Puppeteer一文。 爬虫中滑动验证的绕过验证是常见的反爬虫策略之一，在现在的很多站点中我们会引入滑动验证的方式，来校验访问者的真实性。譬如下面著名的 jQuery 滑动插件： ......
53 天前 / 王下_邀月熊
首发于某熊的技术之路写文章Cendertron，动态爬虫与敏感信息泄露检测王下邀月熊公众号：某熊的技术之路5 人赞同了该文章Cendertron，动态爬虫与敏感信息泄露检测Cendertron = Crawler + RendertronCendertron https://url.wx-coder.cn/HinPM是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler的通用爬虫、调度与缓存模型，新增了 Monkey Test 以及 Request Intercept 等特性，以期尽可能多地挖掘页面与请求。同时针对渗透测试的场景，Cendertron 内置了目录扫描、敏感文件扫描的能力，能够模拟用户实际在浏览器登录......
83 天前 / Tony沈哲
zookeeper.pngZooKeeper 是一个开源的分布式协调服务，ZooKeeper框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。 后来，Apache ZooKeeper成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。 例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper 通常用于：命名服务、配置管理、集群管理、分布式协调/通知、分布式锁和分布式队列等等。 各个爬虫......
87 天前 / 王下_邀月熊
写文章ServerlessNode.js Puppeteer 渗透测试爬虫实践王下邀月熊公众号：某熊的技术之路22 人赞同了该文章本文归纳于微服务与云原生 https://github.com/wx-chevalier/Backend-Series系列文章，其相关的参考资料声明于 Awesome Serverless List。ServerlessNode.js Puppeteer 渗透测试爬虫实践参考 CNCF 的定义，Serverless 是指构建和运行不需要服务器管理的应用程序的概念；而 AWS 官方对于 Serverless 的介绍是：服务器架构是基于互联网的系统，其中应用开发不使用常规的服务进程。相反，它们仅依赖于第三方服务（例如 AWS Lambda 服务），客户......
92 天前 / Tony沈哲
spider.jpg一. 前言NetDiscovery是本人开发的一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架。它包含了丰富的特性。 二. 多线程的使用NetDiscovery虽然借助了 RxJava 2 来实现线程的切换，仍然有大量使用多线程的场景。本文列举一些爬虫框架常见的多线程使用场景。 2.1 爬虫的暂停、恢复暂停和恢复是最常见的爬虫使用场景，这里借助 CountDownLatch 类实现。 CountDownLatch是一个同步工具类，它允许一个或多个线程一直等待，直到其他线程的操作执行完后再执行。 暂停方法会初始化一个 CountDownLatch 类 pauseCountDown，并设置它的计数......
132 天前 / u517836
项目实战 静态网页实战 本节我们将为大家展现一个完整爬虫的大致过程，此次项目内容为提取猫眼电影TOP100榜中的所有电影信息并存储至CSV文件中，其首页地址为http://maoyan.com/board/4，在3.2.2中我们已经获取过第一页中的所有电影名了，但是如何获取第二页、第三页的数据呢，即获取第二页第三页对应的URL，那么我们可以在浏览器中不断翻页寻找地址栏中URL的变化规律： 第二页： http://maoyan.com/board/4offset=10 第三页： http://maoyan.com/board/4offset=20 第四页： http://maoyan.com/board/4offset=30 ...... 我们看见U......
132 天前 / sergiojune
注意：目前pdd已经需要登陆，这篇文章是在未更改之前写的，如果需要实践需要先登陆pdd再进行操作即可 上周的pdd很多人说看了还不会找，都找我要写一篇来教教如何扣代码的，那就应大家要求，今天来写一篇详细的扣代码过程，完全从零到一，如果对你有帮助，还望大力分享，这样我会越写越多。 代码都放在我的Github上，还没有star的感觉star了，哈哈，可能今周会更新别的网站，由于网站太强给推迟了，还得需要时间，为了爬虫可谓掉光了头发。 Github：https://github.com/SergioJune/Spider-Crack-JS 其他不多说了，直接开始今天的......
134 天前 / u517836
前言 本文可能篇幅较长，但是绝对干货满满，提供了大量的学习资源和途径。达到让读者独立自主的编写基础网络爬虫的目标，这也是本文的主旨，输出有价值能够真正帮助到读者的知识，即授人以鱼不如授人以渔，让我们直接立刻开始吧，本文包含以下内容： Python环境搭建与基础知识 爬虫原理概述 爬虫技术概览 猫眼电影排行数据抓取 Ajax数据爬取猫眼电影票房 更多进阶，代理、模拟登陆、APP 爬取等….. Python环境搭建与基础知识 Python环境搭建 Anaconda安装 此处笔者并不会介绍Python软件的安装，有读者可能会疑问Python都不安装......