9 天前 / vivo互联网技术
vivo 互联网安全团队 - Xie Peng 互联网的大数据时代的来临，网络爬虫也成了互联网中一个重要行业，它是一种自动获取网页数据信息的爬虫程序，是网站搜索引擎的重要组成部分。通过爬虫，可以获取自己想要的相关数据信息，让爬虫协助自己的工作，进而降低成本，提高业务成功率和提高业务效率。 本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。
19 天前 / 钢铁侠的知识库
钢铁知识库，一个学习 python 爬虫、数据分析的知识库。人生苦短，快用 python。 之前我们使用 requests 库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘 / 内存 IO、网络 IO 的任务，大部分时间是 CPU 在等待的操作，就叫 IO 密集型任务。对于这种情况有没有优化方案呢，当然有，那就是使用 aiohttp 库实现异步爬虫。 aiohttp 是什么我们在使用 requests 请求时，只能等一个请求先出去再回来，才会发送下一个请求。
23 天前 / 博文视点Broadview
互联网是一个巨大的资源库，只要方法适当，就可以从中找到我们所需的数据。对于少量的数据，可以人工去找。但是对于大量的数据，如果在获取数据之后还要进行分析，则靠人工无法完成任务，这时就需要通过计算机程序帮助我们完成任务，这种程序就叫作网络爬虫（又叫作网页蜘蛛、网络机器人)。 “虫子”的第 1 阶段工作——爬取数据 爬取数据一般指从指定的网址爬取网页中的 HTML 代码，爬取数据的核心是网络通信，可以使用 Python 官方提供的 urllib.request 模块实现，代码如下： # coding=utf-8# 代码文件：code/chapter6/6.1.1.py# 爬取数据 import urll...
36 天前 / 钢铁侠的知识库
钢铁知识库，一个学习 python 爬虫、数据分析的知识库。人生苦短，快用 python。 上一章我们讲解针对结构化的 html、xml 数据，使用 Xpath 实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理的唯一标准，话不多说直接上号开搞验证。 Beautiful Soup 简介首先说说 BeautifulSoup 是什么。简单来说，这是 Python 的一个 HTML 或 XML 的解析库，我们可以用它方便从网页中提取数据...
44 天前 / 钢铁侠的知识库
---- 钢铁侠的知识库 2022.08.15 我们在写 Python 爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的 Xpath 表达式。 Xpath 是什么 XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。
96 天前 / 白露未晞
导语 前段时间有事，加上不是特别舒服就没更新，今天感觉轻松舒适了很多，上来小更一下，顺便预告一下明天继续更新深度学习系列。众所周知，B 站上有很多歌单合集，正巧最近歌荒，想着能不能直接把这些合集里的视频爬下来然后转 mp3，这样就可以每天在本地慢慢听了，说干就干，废话不多说，让我们愉快地开始吧~ 相关文件 本期所有内容的完整源代码都会在正文里直接给出，不过还是希望大家关注一下微信公众号"Charles 的皮卡丘"。 开发工具 Python 版本：3.7.8 相关模块： DecryptLoginExamples 模块； DecryptLogin 模块； moviepy 模块； 以及一些 python...
115 天前 / 趣编程
1.公众号：铭毅天下 Elasticsearch——中国最大的 Elastic 非官方技术公众号 2.博客：elastic.blog.csdn.net——访问量 550 万 + 3.知识星球：死磕 Elasticsearch（中国 Elastic 认证工程师的半壁江山都出自本星球）——http://t.cn/RmwM3N9 4.VX：elastic6，欢迎留言交流！ 5.B 站：https://space.bilibili.com/471049389
137 天前 / 白露未晞
近期文章回顾 从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 科学净化自己的微博，带大家写个批量拉黑微博机器人的小工具咯~ 给大家整个小说下载器，一起"欢度"五一~ 之前的论文下载器支持百度文库下载啦~ 导语 其实我不是一个喜欢炒冷饭的人，以前发过一遍的东西再发一次真的很没意思，不过为了避免公众号代码频繁被盗用售卖的问题，我还是重新整理了一下之前模拟登录系列相关的 20 多个爬虫实战案例，通过 python 包的方式发布到了 pypi，这样大家想要运行测试的话可以直接安装调用对应的程序就行了...
175 天前 / 白露未晞
导 语 勤快的博主我又来更新啦～老粉肯定都知道公众号之前开源过一款音乐下载器，原文链接在这： 哇，公众号发布的音乐下载器又全新升级啦~ 很多小伙伴陆陆续续留言问我是怎么拿到这些 API 的，包括公众号之前出的一些爬虫教程，也经常有小伙伴留言咨询，并想让博主详细讲讲其中的原理，( 为了让大家帮我多多转发涨粉)为了让大家真的能学到一些知识，而不是日常 ( 白嫖)看不懂，我决定多写点有详细抓包过程的爬虫教程，比如今天的百度音乐接口的抓包分析。
244 天前 / 浪客书心
前言今天，我们将使用 TS 这门语言搭建一款爬虫工具。目标网址是什么呢？我们去上网一搜，经过几番排查之后，我们选定了这一个网站。 https://www.hanju.run/ 一个视频网站，我们的目的主要是爬取这个网站上视频的播放链接。下面，我们就开始进行第一步。 第一步俗话说，万事开头难。不过对于这个项目而言，恰恰相反。你需要做以下几个事情： 我们需要创建一个项目文件夹 键入命令，初始化项目 npminit-y 局部安装 typescriptnpminstalltypescript-D 接着键入命令，生成 ts 配置文件tsc--init 局部安装 ts-node...
276 天前 / MarvinZhang
前言 Crawlab[1] 是开源分布式爬虫管理平台，近期发布了 v0.6 beta 版本，在性能、稳定性、易用性等方面做了大量的优化。它相对于之前的 v0.5 版本有什么区别？其中主要优化的部分主要是什么？作为 Crawlab 用户我是否应该迁移到新版本上？本篇文章将从新版本的新特性出发，介绍新老版本的主要区别，以及如何安装使用新版本，让对 Crawlab v0.6 新版本感兴趣的小伙伴更容易上手。 新特性介绍众所周知，v0.6 新版本做了大量的底层优化，不过作者不打算介绍底层原理，我们将在之后的文章中详细介绍。这个小节将从使用方面主要介绍新版本的主要新功能和特性。
428 天前 / 叫我阿柒啊
前言我们身处大数据时代，数据趋于透明化、公开化，我们是否就可以拿着数据为所欲为？几年前很多人向往着"车厘子自由"，同样在也有很多人也追求着技术自由。时至今日，我们可以在合法的范围内自由应用技术，那么对于爬虫的合法化，到底有哪些的法律可以来界定？ 在很长的一段时间内，很多人谈爬虫色变，同时很多调侃爬虫的段子也应运而生。 因为兴趣学习了爬虫，后来也承担下了爬虫开发的工作。我也是被调侃大军中一员，甚至有一段时间我也都有点不敢开发爬虫了，现在想想，有点盲目了。
434 天前 / 叫我阿柒啊
前言上一篇文章主要讲了如何解析网页，本篇文章主要来写一下如何发起请求。可能看过前两篇文章的人就开始疑惑了，请求？你不是说一行代码就可以搞定了么。的确，一行代码就能搞定。但是请求部分既然扮演着浏览器的角色，我们是不是应该尽量让它变得和浏览器一样。而我在第一篇文章中也讲到，爬虫是模拟人的行为去获取数据。那么我们就需要知道，一个人去访问网站有什么样的行为？爬虫怎么去模拟人的行为？ 请求头当一个人打开浏览器输入网址敲下回车，会发起一个 HTTP 请求，即 Request，来访问网站服务端，服务端接收请求并返回响应内容，即 Response。
438 天前 / 叫我阿柒啊
前言上一篇文章讲了爬虫的概念，本篇文章主要来讲述一下如何来解析爬虫请求的网页内容。 一个简单的爬虫程序主要分为两个部分，请求部分和解析部分。请求部分基本一行代码就可以搞定，所以主要来讲述一下解析部分。对于解析，最常用的就是 xpath 和 css 选择器，偶尔也会使用正则表达式。 不论是 xpah 还是 css，都是通过 html 元素或者其中某些属性来选中符合条件的元素节点。 以斗罗大陆的部分 html 为例。
447 天前 / 叫我阿柒啊
序章 18 年初，还在实习期的我因为工作需求开始接触 Java 爬虫，从一个网站爬取了 163W 条 poi 数据，这是我人生中写的第一个爬虫，也是唯一的一个 Java 爬虫。后来这些 poi 数据也成了我毕业设计中的一部分。后来开始学习 Python 爬虫以及爬虫框架 Scrapy，尤其是 Scrapy，前前后后研究了一个多月，并利用 Scrapy 构建了千万级数据的 ICA( 互联网内容识别)资源库。 写爬虫系列的目的主要是想记录一下自己学习爬虫的经历，以及遇到的一些问题，也希望能够给爬虫初学者带来一些启示。