usedlife / 8 小时前
Spark vs. Flink：核心技术点
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 ......
Thinkgamer / 8 小时前
线性模型篇之 SVM 数学公式推导
“支持向量机（Support Vector Machine，SVM）是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性，因此广泛使用在很多任务上，并表现出了很强优势。。 ” 介绍给定一个两分类数据集D={(x^n, y^n)}，n属于N，其中y_n 属于{+1,-1}，如果两类样本是线性可分的，即存在一个超平面（公式-1） 将两类样本分开，那么对于每个样本都有 数据集D中的每个样本x^n 到分隔超平面的距离为： 我们定......
sjf0115 / 8 小时前
[译] 理解 Apache Pulsar 工作原理
译者： 李鹏辉 在这篇文章中，我们将介绍Apache Pulsar的设计，这篇文章不适合想要了解如何使用Apache Pulsar的读者，适合想要了解Apache Pulsar是如何工作的读者。 设计核心保证不丢失消息(使用正确的配置且不是整个数据中心故障) 强顺序性保证 可预测的读写延迟 Apache Pulsar选择一致性而不是可用性就像BookKeeper和Zookeeper一样。Apache Pulsar尽一切努力保持一致性。 这篇文章中不会介绍......
zZhao / 14 小时前
苏宁采购平台架构演进之路
“在“智慧零售大开发”的战略驱动下，2018 年苏宁新开门店超过 8000 家，目前各类门店总数已经超过 1.1 万家，在线下形成了“两大两小多专”的智慧零售业态群。 同时构建了以苏宁超市、苏宁拼购为代表的线上平台。从而形成了线上多平台、线下场景多业态互联网化，不断打造跨线上线下全场景的消费环境和空间。 随之而来的是新增各式各样的业态带来的业务链路的多样化，以及适应行业的急速发展带来业......
噶牛爱尚 / 14 小时前
VSCodium：VS Code 的开源版本
崴～～～ / 14 小时前
Spark SQL 在 HBase 的查询性能优化
云湖湖导读： Spark与HBase是当今非常火的两个大数据开源项目，一个负责数据的分析处理，一个负责数据的存储。 近年来，Spark on HBase尤其是Spark SQL on HBase成为许多企业云上大数据与AI解决方案的首选。两者的结合，不仅兼顾了计算与存储，还兼顾了易用与性能。本文将会通过以下几点来分享： 1、什么是HBase 2、华为云DLI在Spark SQL on HBase的项目实践 3、查询性能优化思路 4、深度优化：Rowkey的区......
逗逗 / 14 小时前
Spark Streaming 如何解决小文件问题
使用sparkstreaming时，如果实时计算结果要写入到HDFS，那么不可避免的会遇到一个问题，那就是在默认情况下会产生非常多的小文件，这是由sparkstreaming的微批处理模式和DStream(RDD)的分布式(partition)特性导致的，sparkstreaming为每个partition启动一个独立的线程来处理数据，一旦文件输出到HDFS，那么这个文件流就关闭了，再来一个batch的parttition任务，就再使用一个新的文件流，那么假设，一个batch为1......
InfoQ中文站 / 14 小时前
[译] 写给机器学习从业者的 12 条宝贵建议
猿天地 / 14 小时前
Spring Cloud Alibaba 整合 Sentinel 流控
前面我们都是直接通过集成sentinel的依赖，通过编码的方式配置规则等。对于集成到Spring Cloud中阿里已经有了一套开源框架spring-cloud-alibaba，就是用于将一系列的框架成功的整合到Spring Cloud中。
我这边Spring Cloud的版本是Finchley.SR2，Spring Boot的版本是2.0.6.RELEASE，下面开始集成步骤。
1. 整合步骤1.1添加Maven依赖
usedlife / 14 小时前
Spark vs. Flink -- 核心技术点
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 ......
kbsc13 / 14 小时前
如果你还不了解 GBDT，不妨看看这篇文章
作者：Freemanzxp 简介：中科大研二在读，目前在微软亚洲研究院实习，主要研究方向是机器学习。 原文：https://blog.csdn.net/zpalyq110/article/details/79527653 Github：https://github.com/Freemanzxp/GBDT_Simple_Tutorial 本文已授权，未经原作者允许，不得二次转载 这是来自读者的一篇投稿，因为公众号对 Latex 公式支持不是很好，所以可以点击文末 “阅读原文“ 进行阅读。同时也希望觉得有......
漫话编程 / 14 小时前
漫话：如何给女朋友解释什么是单例模式？
周末了，临近五一劳动节，女朋友还没有想好要去哪里玩，还在看着各种攻略。我则在旁边一边看书默默的心疼着我的钱包。突然女朋友开始发问： 什么是单例单例模式，也叫单子模式，是一种常用的软件设计模式。在应用这个模式时，单例对象的类必须保证只有一个实例存在。 许多时候整个系统只需要拥有一个的全局对象，这样有利于我们协调系统整体的行为。比如在某个服务器程序中，该服务器的配置......
pqpo / 14 小时前
Android 端图像多风格迁移
《A Neural Algorithm of Artistic Style》：第一代风格迁移网络风格化的过程是一个训练过程，输入风格图片与内容图像经过训练生成风格迁移图片。经过训练降低内容损失与风格损失，从而得到一张即保证内容又拥有特定风格的图片。缺点显而易见，速度慢！但是确奠定了之后风格迁移的基础。 《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》：之后是称为快速风格迁移的网络，在上一代的基......
黑夜探路人 / 14 小时前
文科生 Python 与数据科学入门教材推荐
需求最近读者数量增长了不少。有许多新读者留言，说自己想入门 Python 与数据科学，希望我能够推荐一些教材书籍。 老读者们都知道，我经常会在教程末尾的“资源”或者“小结”章节，推荐相关的书目。我推荐的书籍，有个特点，就是写得简明易懂，适合文科生阅读。 那种一打开，公式便随处可见的书，也许内容质量非常高，但确实不适合文科生的入门级阅读。许多人就是这样被吓跑，然后干脆放弃了的。 所以，如果......
雇个城管打天下 / 14 小时前
当 Python 遇上你的微信好友
临近毕业，慢慢的也感伤起来，回想大学这几年，除了技术的成长，最值得庆幸的就是结交了一帮志同道合的好友。后期自己做了公众号，微信好友的数量也越来越多，身边人所扮演的角色也越来越丰富，有早已结婚生子为人父母的同学，有沉迷科研学术的教师，当然也少不了一众还在996的程序猿。事实上，你所处圈子的质量很大程度上就决定了你的人生质量，那么今天我们就来看看当 Python 遇到了你的微信好友后能擦出怎样......
pshu / 14 小时前
少年，point-free 了解下吧
注意：阅读本文需要一点函数式编程和JavasScript基础知识。如果你知道"什么是柯力化（currying）”和"组合函数 compose是做什么的”，那么请继续阅读；如果你不全知道，不妨先去了解下再来，pshu 等你！ 这真的是 point-free 吗？ 最近看了一个关于函数式编程的视频教材 《Just Enough Functional Programming in JavaScript》（翻译下就是：《Javascript中恰如其分的函数式编程》），里面提到一个概念 point-f......
Tamic / 14 小时前
客户端转 Web 前端后，这半年我的一些思考
点击上方“开发者技术前线”，选择“星标” 13：21 在看 真爱 作者: 老穆（阿里巴巴专家）| 来自：土豆他爸爸 责编：可可 杭州 背景 今天要说的这个人，阿里专家老穆，工作8年，一个有4年 Android应用开发经验，Android转前端的IT“搬砖工人”，大学毕业后，老穆参与经历过互联网行业，做过在线旅行、电子商务、互联网金融的产品，现在开始做智能硬件iot相关产业，他感慨自己还是做一线的技术开发 没啥可......
HugoChen / 14 小时前
招人面试中的小技巧
“如果干得好，管理是最崇高的职业之一。没有哪一个职业能像管理一样为他人提供学习和成长的机会，让他们懂得承担责任并取得成绩，以及为团队的成功做出贡献” 《你要如何衡量你的人生》 Clayton M. Christensen 管理心得 最近在帮测试组招人，所以想聊聊面试相关的一些心得。 对于管理者来说，打造一支优秀的团队需要做的东西实在太多，而选好人是第一步，选人最好的方式当然是内部推荐和提......
崔秀龙 / 14 小时前
我参加了一个笔会
博文视点的张国霞编辑，跟我说杭州有个作者会的时候，我刚听完马未都的段子： 一堆作家都在一块。要怎么办呢，要互相恭维，挖坑。我原来说过啊，刘震云最会挖坑，挖王朔的坑：王老师，小说写得非常不错，王朔说不行，写不好写不好，过去了。每天吃中饭，因为吃饭都在，那时候做笔会嘛，都在那个食堂里吃，那时候食堂也没说像现在都是摆上席，就是一人一份端在一起。第二天同样的话还说，王老师确实我觉得你小说......
翟志军 / 14 小时前
使用 Jenkins + Ansible 实现自动化部署 Nginx
本文介绍如何使用 Jenkins + Ansible 实现对 Nginx 的自动化部署。最终达到的效果有如下几点： 只要你将 Nginx 的配置推送到 GitHub 中，Jenkins 就会自动执行部署，然后目标服务器的 Nginx 配置自动生效。这个过程是幂等（idempotent）的，只要代码不变，执行多少遍，最终效果不变。如果目标机器没有安装 Nginx，则会自动安装 Nginx。自动设置服务器防火墙规则。1. 实验环境介绍本次实验使用 Docker Compose 搭......