5 天前 / 吳YH堅
免责的废话 都说爬虫写得好，牢饭吃到饱，本来不想写爬虫的，毕竟风险有点高，但是作为一个搞搜索的人，怎么能不了解一下爬虫呢，怎么能不自己深入了解一下爬虫的原理呢，而且，知道了爬虫的一般性原理和一些开源的爬虫框架以后，写出一个自己的小爬虫并不是一件很难的事情，而一个自己的小爬虫，有时候还是很有用的，比如....又比如....，只要发挥你的想象，爬虫也能做很多事情。 当今的互联网世界，本质上是个数据的世界，谁掌握了数据谁就能独步天下，但是，对于我们这种互联网上小喽啰，数据肯定是不会来主动找我们为我们所用的，那么......
9 天前 / ytao
由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的爬虫技术，通过爬虫技术我们可以快速获取我们需要的数据。但是在这爬虫过程中，信息拥有方会对爬虫进行反爬处理，我们就需要对这些困难进行逐个击破。 刚好前段时间做了爬虫相关的工作，这里就记录下一些相关的心得。 本文案例代码地址https://github.com/yangtao9502/ytaoCrawl 这里我是使用的 Scrapy 框架进行爬虫，开发环境相关版本号： Scrapy : ......
54 天前 / 纯洁的微笑
“一个程序员写了个爬虫程序，整个公司200多人被端了。”“不可能吧！”刚从朋友听到这个消息的时候，我有点不太相信，做为一名程序员来讲，谁还没有写过几段爬虫呢？只因写爬虫程序就被端有点夸张了吧。朋友说，消息很确认并且已经进入审判阶段了。01.对消息进一步确认朋友认识几个律师朋友，和他们有一些业务来往，得知他们想尝试把业务扩展到程序员这个群体。那段时间我刚好离职也有时间，在朋友的安排下一起聊聊看看有没有合作的机会。他们为什么想扩展人群到程序员这个行业呢？其实就是因为他们代理了这名程序员的官司，才发现很多程序员完全......
56 天前 / 非著名程序员
【公众号回复 “1024”，免费领取程序员赚钱实操经验】 之前介绍过一个买房相关的项目：程序员用 GitHub 分享买房指南 上边这个项目是作者的亲身体验，跑了不少盘，总结了很多经验，写的可以说是面面俱到。 但在信息飞速更新的今天，跑盘能获取的信息可能有些滞后，这就需要发挥我们程序员的优势了。 今天推荐的这个项目是：lianjia-scrawler，是一个链家网全国房源爬虫工具，不仅可以爬取链家二手房、租房在线数据，存量房交易服务平台数据，还可以爬取我爱我家成交房源库。 该项目的实现和相关说明如下： 该项目数据存储目前支持 Mysql、......
59 天前 / 极客挖掘机1
1. 前言首先自我介绍一下，我是一个做 Java 的开发人员，从今年下半年开始，一直在各大技术博客网站发表自己的一些技术文章，差不多有几个月了，之前在 cnblog 博客园 加了网站统计代码，看到每天的访问量逐渐多了起来，国庆节期间正好事情不多，就想着写一个爬虫，看下具体阅读量增加了多少，这也就成了本文的由来。 2. 技术选型爬虫这个功能，我个人理解是什么语言都能写的，只要能正常发送 HTTP 请求，将响应回来的静态页面模版 HTML 上把我们所需要的数据提取出来就可以了，原理很简单，这个东西当然可以手动去统计收集，但是网络平台毕......
83 天前 / 开发者头条
点击上方蓝字，关注21君~ 走进经济生活里的一切 导读：近日，多家通过爬虫技术开展大数据信贷风控的公司被查。 某国内大型P2P平台风控主管坦言，当前互联网消费金融行业正呈现两极分化趋势。 来 源丨21世纪经济报道（ID：jjbd21） 记 者丨陈植 编 辑丨李伊琳 “城门失火，殃及池鱼。”一位互联网消费金融平台风控总监李诚（化名）感慨。 随着近日多家通过爬虫技术开展大数据信贷风控的公司被查，他所在的平台迅速决定暂停与外部大数据信贷风控公司的所有合作，以免“惹祸上身”。 然而，平台为此付出的代价也......
99 天前 / gansteed
Golang(Go语言)爬虫框架colly简明教程及源码阅读与分析使用了一下colly这个爬虫框架，发现非常的好用，它的设计还是值得学习一下的，API设计的非常简洁。不过首先我们要看看这玩意儿咋用。 colly的安装和使用首先如果我们在项目里引用，就要先安装一下： $ go get -u github.com/gocolly/colly/...我们看个简单的demo： package mainimport ("fmt""github.com/gocolly/colly")func main() {c := colly.NewCollector(colly.AllowedDomains("httpbin.org"), // 要限定域名，否则就把全网都爬下来了)extensions.RandomUserAgent(c) // 使用随机的Us......
129 天前 / 王下_邀月熊
首发于某熊的技术之路写文章Cendertron，动态爬虫的滑动验证码绕过策略王下邀月熊公众号：某熊的技术之路22 人赞同了该文章Cendertron，动态爬虫的滑动验证码绕过策略在 Cendertron安全动态爬虫系列中我们依次介绍了安全爬虫的设计、爬虫的集群搭建，本篇则是讨论有关于滑动验证码的绕过策略。 本文采用的策略与代码来自 How to bypass “slider CAPTCHA” with JS and Puppeteer一文。 爬虫中滑动验证的绕过验证是常见的反爬虫策略之一，在现在的很多站点中我们会引入滑动验证的方式，来校验访问者的真实性。譬如下面著名的 jQuery 滑动插件： ......
166 天前 / 王下_邀月熊
首发于某熊的技术之路写文章Cendertron，动态爬虫与敏感信息泄露检测王下邀月熊公众号：某熊的技术之路5 人赞同了该文章Cendertron，动态爬虫与敏感信息泄露检测Cendertron = Crawler + RendertronCendertron https://url.wx-coder.cn/HinPM是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler的通用爬虫、调度与缓存模型，新增了 Monkey Test 以及 Request Intercept 等特性，以期尽可能多地挖掘页面与请求。同时针对渗透测试的场景，Cendertron 内置了目录扫描、敏感文件扫描的能力，能够模拟用户实际在浏览器登录......