4 天前 / 白露未晞
导语 前段时间有事，加上不是特别舒服就没更新，今天感觉轻松舒适了很多，上来小更一下，顺便预告一下明天继续更新深度学习系列。众所周知，B 站上有很多歌单合集，正巧最近歌荒，想着能不能直接把这些合集里的视频爬下来然后转 mp3，这样就可以每天在本地慢慢听了，说干就干，废话不多说，让我们愉快地开始吧~ 相关文件 本期所有内容的完整源代码都会在正文里直接给出，不过还是希望大家关注一下微信公众号"Charles 的皮卡丘"。 开发工具 Python 版本：3.7.8 相关模块： DecryptLoginExamples 模块； DecryptLogin 模块； moviepy 模块； 以及一些 python...
22 天前 / 趣编程
1.公众号：铭毅天下 Elasticsearch——中国最大的 Elastic 非官方技术公众号 2.博客：elastic.blog.csdn.net——访问量 550 万 + 3.知识星球：死磕 Elasticsearch（中国 Elastic 认证工程师的半壁江山都出自本星球）——http://t.cn/RmwM3N9 4.VX：elastic6，欢迎留言交流！ 5.B 站：https://space.bilibili.com/471049389
45 天前 / 白露未晞
近期文章回顾 从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 科学净化自己的微博，带大家写个批量拉黑微博机器人的小工具咯~ 给大家整个小说下载器，一起"欢度"五一~ 之前的论文下载器支持百度文库下载啦~ 导语 其实我不是一个喜欢炒冷饭的人，以前发过一遍的东西再发一次真的很没意思，不过为了避免公众号代码频繁被盗用售卖的问题，我还是重新整理了一下之前模拟登录系列相关的 20 多个爬虫实战案例，通过 python 包的方式发布到了 pypi，这样大家想要运行测试的话可以直接安装调用对应的程序就行了...
83 天前 / 白露未晞
导 语 勤快的博主我又来更新啦～老粉肯定都知道公众号之前开源过一款音乐下载器，原文链接在这： 哇，公众号发布的音乐下载器又全新升级啦~ 很多小伙伴陆陆续续留言问我是怎么拿到这些 API 的，包括公众号之前出的一些爬虫教程，也经常有小伙伴留言咨询，并想让博主详细讲讲其中的原理，( 为了让大家帮我多多转发涨粉)为了让大家真的能学到一些知识，而不是日常 ( 白嫖)看不懂，我决定多写点有详细抓包过程的爬虫教程，比如今天的百度音乐接口的抓包分析。
152 天前 / 浪客书心
前言今天，我们将使用 TS 这门语言搭建一款爬虫工具。目标网址是什么呢？我们去上网一搜，经过几番排查之后，我们选定了这一个网站。 https://www.hanju.run/ 一个视频网站，我们的目的主要是爬取这个网站上视频的播放链接。下面，我们就开始进行第一步。 第一步俗话说，万事开头难。不过对于这个项目而言，恰恰相反。你需要做以下几个事情： 我们需要创建一个项目文件夹 键入命令，初始化项目 npminit-y 局部安装 typescriptnpminstalltypescript-D 接着键入命令，生成 ts 配置文件tsc--init 局部安装 ts-node...
184 天前 / MarvinZhang
前言 Crawlab[1] 是开源分布式爬虫管理平台，近期发布了 v0.6 beta 版本，在性能、稳定性、易用性等方面做了大量的优化。它相对于之前的 v0.5 版本有什么区别？其中主要优化的部分主要是什么？作为 Crawlab 用户我是否应该迁移到新版本上？本篇文章将从新版本的新特性出发，介绍新老版本的主要区别，以及如何安装使用新版本，让对 Crawlab v0.6 新版本感兴趣的小伙伴更容易上手。 新特性介绍众所周知，v0.6 新版本做了大量的底层优化，不过作者不打算介绍底层原理，我们将在之后的文章中详细介绍。这个小节将从使用方面主要介绍新版本的主要新功能和特性。
336 天前 / 叫我阿柒啊
前言我们身处大数据时代，数据趋于透明化、公开化，我们是否就可以拿着数据为所欲为？几年前很多人向往着"车厘子自由"，同样在也有很多人也追求着技术自由。时至今日，我们可以在合法的范围内自由应用技术，那么对于爬虫的合法化，到底有哪些的法律可以来界定？ 在很长的一段时间内，很多人谈爬虫色变，同时很多调侃爬虫的段子也应运而生。 因为兴趣学习了爬虫，后来也承担下了爬虫开发的工作。我也是被调侃大军中一员，甚至有一段时间我也都有点不敢开发爬虫了，现在想想，有点盲目了。
342 天前 / 叫我阿柒啊
前言上一篇文章主要讲了如何解析网页，本篇文章主要来写一下如何发起请求。可能看过前两篇文章的人就开始疑惑了，请求？你不是说一行代码就可以搞定了么。的确，一行代码就能搞定。但是请求部分既然扮演着浏览器的角色，我们是不是应该尽量让它变得和浏览器一样。而我在第一篇文章中也讲到，爬虫是模拟人的行为去获取数据。那么我们就需要知道，一个人去访问网站有什么样的行为？爬虫怎么去模拟人的行为？ 请求头当一个人打开浏览器输入网址敲下回车，会发起一个 HTTP 请求，即 Request，来访问网站服务端，服务端接收请求并返回响应内容，即 Response。
346 天前 / 叫我阿柒啊
前言上一篇文章讲了爬虫的概念，本篇文章主要来讲述一下如何来解析爬虫请求的网页内容。 一个简单的爬虫程序主要分为两个部分，请求部分和解析部分。请求部分基本一行代码就可以搞定，所以主要来讲述一下解析部分。对于解析，最常用的就是 xpath 和 css 选择器，偶尔也会使用正则表达式。 不论是 xpah 还是 css，都是通过 html 元素或者其中某些属性来选中符合条件的元素节点。 以斗罗大陆的部分 html 为例。
355 天前 / 叫我阿柒啊
序章 18 年初，还在实习期的我因为工作需求开始接触 Java 爬虫，从一个网站爬取了 163W 条 poi 数据，这是我人生中写的第一个爬虫，也是唯一的一个 Java 爬虫。后来这些 poi 数据也成了我毕业设计中的一部分。后来开始学习 Python 爬虫以及爬虫框架 Scrapy，尤其是 Scrapy，前前后后研究了一个多月，并利用 Scrapy 构建了千万级数据的 ICA( 互联网内容识别)资源库。 写爬虫系列的目的主要是想记录一下自己学习爬虫的经历，以及遇到的一些问题，也希望能够给爬虫初学者带来一些启示。
358 天前 / Inputing
之前我们了解了一些验证码的处理流程，比如图形验证码、滑块验证码、点选验证码等等，但是这些验证码都有一种共同的特点，那就是这些验证码的处理流程通常只需要在 PC 上完成即可，比如图形验证码如果在 PC 上出现，那么在 PC 上直接验证通过就好了，所有的识别、验证输入的流程都是在 PC 上完成的。 但还有一种验证码和此种情况不同，那就是手机验证码，比如 PC 上需要输入手机号，然后短信验证码需要发到手机上，然后再在 PC 上把收到的验证码输入即可通过验证。
432 天前 / 开发者头条
大家好，我是周刊菌。 牛年行牛运！加入「码农周刊 VIP 会员」，一起牛起来！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 码农周刊是什么？ 码农周刊是一份专为广大程序员、编程爱好者们打造的 IT 技术周刊。每周发送。 2013 年 9 月 12 日创刊至今，已发送 300 多期，订阅用户超 20 万。 专业、简单、有用，是我们一直坚持的办刊宗旨。一路走来，我们见证了不少订阅用户从编程新手进阶成了高级程序员、架构师、CTO…… 2020 年 4 月，为了给用户提供更优质的服务，我们推出了「码农周刊 VIP 会员」服务。
448 天前 / Python集中营
点击上方“蓝字”，设为星标。 在一些网站服务中，除了对 user-agent 的身份信息进行检测、也对客户端的 ip 地址做了限制，如果是同一个客户端访问此网站服务器的次数过多就会将其识别为爬虫，因而，限制其客户端 ip 的访问。这样的限制给我们的爬虫带来了麻烦，所以使用代理 ip 在爬虫中是非常有必要的。 要使用代理 ip 进行爬虫就面临两个问题，一是怎么使用、这个就相对简单，另一个是怎么获取这么多的代理 ip。
454 天前 / Python集中营
点击上方【Python 集中营】，设为星标、发现更多精彩。 URL 管理器是爬虫过程中重要的一环，使用它来管理在爬虫过程中众多的 URL 地址以免造成重复获取爬虫地址、爬虫 陷入死循环等情况的发生。比如，我们要根据 baidu.com 来进行爬虫，如果在爬虫的子页面中也包含 baidu.com 不做处理的话就会陷入循环，所以说，在爬虫过程中对 URL 进行很好的维护是非常重要的。 1、创建 url 管理对象及属性定义 1#导入队列 2fromcollectionsimportdeque 3 4#定义url管理器类 5classurl_queue(): 6def__init__(self): 7#定义待爬取的队列 8self.queue=deque() ...