usedlife usedlife / 8 小时前

Spark vs. Flink:核心技术点

前言 Apache Spark 是一个统一的、快速的分布式计算引擎,能够同时支持批处理与流计算,充分利用内存做并行计算,官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架,Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎,能够提供基于数据流的有状态计算,被定义为下一代大数据处理引擎,发展十分迅速并且在行业内已有很多最佳实践。 ......

Spark Flink

Thinkgamer Thinkgamer / 8 小时前

线性模型篇之 SVM 数学公式推导

“支持向量机(Support Vector Machine,SVM)是一个经典两类分类算法,其找到的分割超平面具有更好的鲁棒性,因此广泛使用在很多任务上,并表现出了很强优势。。 ” 介绍给定一个两分类数据集D={(x^n, y^n)},n属于N,其中y_n 属于{+1,-1},如果两类样本是线性可分的,即存在一个超平面(公式-1) 将两类样本分开,那么对于每个样本都有 数据集D中的每个样本x^n 到分隔超平面的距离为: 我们定......

SVM 数学公式 线性模型

sjf0115 sjf0115 / 8 小时前

[译] 理解 Apache Pulsar 工作原理

译者: 李鹏辉 在这篇文章中,我们将介绍Apache Pulsar的设计,这篇文章不适合想要了解如何使用Apache Pulsar的读者,适合想要了解Apache Pulsar是如何工作的读者。 设计核心保证不丢失消息(使用正确的配置且不是整个数据中心故障) 强顺序性保证 可预测的读写延迟 Apache Pulsar选择一致性而不是可用性就像BookKeeper和Zookeeper一样。Apache Pulsar尽一切努力保持一致性。 这篇文章中不会介绍......

Apache Pulsar

zZhao zZhao / 14 小时前

苏宁采购平台架构演进之路

“在“智慧零售大开发”的战略驱动下,2018 年苏宁新开门店超过 8000 家,目前各类门店总数已经超过 1.1 万家,在线下形成了“两大两小多专”的智慧零售业态群。 同时构建了以苏宁超市、苏宁拼购为代表的线上平台。从而形成了线上多平台、线下场景多业态互联网化,不断打造跨线上线下全场景的消费环境和空间。 随之而来的是新增各式各样的业态带来的业务链路的多样化,以及适应行业的急速发展带来业......

架构 苏宁

噶牛爱尚 噶牛爱尚 / 14 小时前

VSCodium:VS Code 的开源版本

开源 VS Code

崴~~~ 崴~~~ / 14 小时前

Spark SQL 在 HBase 的查询性能优化

云湖湖导读: Spark与HBase是当今非常火的两个大数据开源项目,一个负责数据的分析处理,一个负责数据的存储。 近年来,Spark on HBase尤其是Spark SQL on HBase成为许多企业云上大数据与AI解决方案的首选。两者的结合,不仅兼顾了计算与存储,还兼顾了易用与性能。本文将会通过以下几点来分享: 1、什么是HBase 2、华为云DLI在Spark SQL on HBase的项目实践 3、查询性能优化思路 4、深度优化:Rowkey的区......

性能优化 HBase Spark 查询 Spark SQL

逗逗 逗逗 / 14 小时前

Spark Streaming 如何解决小文件问题

使用sparkstreaming时,如果实时计算结果要写入到HDFS,那么不可避免的会遇到一个问题,那就是在默认情况下会产生非常多的小文件,这是由sparkstreaming的微批处理模式和DStream(RDD)的分布式(partition)特性导致的,sparkstreaming为每个partition启动一个独立的线程来处理数据,一旦文件输出到HDFS,那么这个文件流就关闭了,再来一个batch的parttition任务,就再使用一个新的文件流,那么假设,一个batch为1......

Spark Spark Streaming 小文件

猿天地 猿天地 / 14 小时前

Spring Cloud Alibaba 整合 Sentinel 流控

前面我们都是直接通过集成sentinel的依赖,通过编码的方式配置规则等。对于集成到Spring Cloud中阿里已经有了一套开源框架spring-cloud-alibaba,就是用于将一系列的框架成功的整合到Spring Cloud中。 我这边Spring Cloud的版本是Finchley.SR2,Spring Boot的版本是2.0.6.RELEASE,下面开始集成步骤。 1. 整合步骤1.1添加Maven依赖 org.springframework.cloud

Java 流控 Spring Cloud sentinel Alibaba

usedlife usedlife / 14 小时前

Spark vs. Flink -- 核心技术点

前言 Apache Spark 是一个统一的、快速的分布式计算引擎,能够同时支持批处理与流计算,充分利用内存做并行计算,官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架,Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎,能够提供基于数据流的有状态计算,被定义为下一代大数据处理引擎,发展十分迅速并且在行业内已有很多最佳实践。 ......

Spark Flink

kbsc13 kbsc13 / 14 小时前

如果你还不了解 GBDT,不妨看看这篇文章

作者:Freemanzxp 简介:中科大研二在读,目前在微软亚洲研究院实习,主要研究方向是机器学习。 原文:https://blog.csdn.net/zpalyq110/article/details/79527653 Github:https://github.com/Freemanzxp/GBDT_Simple_Tutorial 本文已授权,未经原作者允许,不得二次转载 这是来自读者的一篇投稿,因为公众号对 Latex 公式支持不是很好,所以可以点击文末 “阅读原文“ 进行阅读。同时也希望觉得有......

算法 GBDT

漫话编程 漫话编程 / 14 小时前

漫话:如何给女朋友解释什么是单例模式?

周末了,临近五一劳动节,女朋友还没有想好要去哪里玩,还在看着各种攻略。我则在旁边一边看书默默的心疼着我的钱包。突然女朋友开始发问: 什么是单例单例模式,也叫单子模式,是一种常用的软件设计模式。在应用这个模式时,单例对象的类必须保证只有一个实例存在。 许多时候整个系统只需要拥有一个的全局对象,这样有利于我们协调系统整体的行为。比如在某个服务器程序中,该服务器的配置......

程序员 单例模式 女朋友

pqpo pqpo / 14 小时前

Android 端图像多风格迁移

《A Neural Algorithm of Artistic Style》:第一代风格迁移网络风格化的过程是一个训练过程,输入风格图片与内容图像经过训练生成风格迁移图片。经过训练降低内容损失与风格损失,从而得到一张即保证内容又拥有特定风格的图片。缺点显而易见,速度慢!但是确奠定了之后风格迁移的基础。 《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》:之后是称为快速风格迁移的网络,在上一代的基......

Android 机器学习 图像 风格迁移

黑夜探路人 黑夜探路人 / 14 小时前

文科生 Python 与数据科学入门教材推荐

需求最近读者数量增长了不少。有许多新读者留言,说自己想入门 Python 与数据科学,希望我能够推荐一些教材书籍。 老读者们都知道,我经常会在教程末尾的“资源”或者“小结”章节,推荐相关的书目。我推荐的书籍,有个特点,就是写得简明易懂,适合文科生阅读。 那种一打开,公式便随处可见的书,也许内容质量非常高,但确实不适合文科生的入门级阅读。许多人就是这样被吓跑,然后干脆放弃了的。 所以,如果......

Python 数据科学 入门

雇个城管打天下 雇个城管打天下 / 14 小时前

当 Python 遇上你的微信好友

临近毕业,慢慢的也感伤起来,回想大学这几年,除了技术的成长,最值得庆幸的就是结交了一帮志同道合的好友。后期自己做了公众号,微信好友的数量也越来越多,身边人所扮演的角色也越来越丰富,有早已结婚生子为人父母的同学,有沉迷科研学术的教师,当然也少不了一众还在996的程序猿。事实上,你所处圈子的质量很大程度上就决定了你的人生质量,那么今天我们就来看看当 Python 遇到了你的微信好友后能擦出怎样......

Python 微信 好友

pshu pshu / 14 小时前

少年,point-free 了解下吧

注意:阅读本文需要一点函数式编程和JavasScript基础知识。如果你知道"什么是柯力化(currying)”和"组合函数 compose是做什么的”,那么请继续阅读;如果你不全知道,不妨先去了解下再来,pshu 等你! 这真的是 point-free 吗? 最近看了一个关于函数式编程的视频教材 《Just Enough Functional Programming in JavaScript》(翻译下就是:《Javascript中恰如其分的函数式编程》),里面提到一个概念 point-f......

JavaScript 前端 point-free

Tamic Tamic / 14 小时前

客户端转 Web 前端后,这半年我的一些思考

点击上方“开发者技术前线”,选择“星标” 13:21 在看 真爱 作者: 老穆(阿里巴巴专家)| 来自:土豆他爸爸 责编:可可 杭州 背景 今天要说的这个人,阿里专家老穆,工作8年,一个有4年 Android应用开发经验,Android转前端的IT“搬砖工人”,大学毕业后,老穆参与经历过互联网行业,做过在线旅行、电子商务、互联网金融的产品,现在开始做智能硬件iot相关产业,他感慨自己还是做一线的技术开发 没啥可......

前端 Web 客户端

HugoChen HugoChen / 14 小时前

招人面试中的小技巧

“如果干得好,管理是最崇高的职业之一。没有哪一个职业能像管理一样为他人提供学习和成长的机会,让他们懂得承担责任并取得成绩,以及为团队的成功做出贡献” 《你要如何衡量你的人生》 Clayton M. Christensen 管理心得 最近在帮测试组招人,所以想聊聊面试相关的一些心得。 对于管理者来说,打造一支优秀的团队需要做的东西实在太多,而选好人是第一步,选人最好的方式当然是内部推荐和提......

面试

崔秀龙 崔秀龙 / 14 小时前

我参加了一个笔会

博文视点的张国霞编辑,跟我说杭州有个作者会的时候,我刚听完马未都的段子: 一堆作家都在一块。要怎么办呢,要互相恭维,挖坑。我原来说过啊,刘震云最会挖坑,挖王朔的坑:王老师,小说写得非常不错,王朔说不行,写不好写不好,过去了。每天吃中饭,因为吃饭都在,那时候做笔会嘛,都在那个食堂里吃,那时候食堂也没说像现在都是摆上席,就是一人一份端在一起。第二天同样的话还说,王老师确实我觉得你小说......

笔会

翟志军 翟志军 / 14 小时前

使用 Jenkins + Ansible 实现自动化部署 Nginx

本文介绍如何使用 Jenkins + Ansible 实现对 Nginx 的自动化部署。最终达到的效果有如下几点: 只要你将 Nginx 的配置推送到 GitHub 中,Jenkins 就会自动执行部署,然后目标服务器的 Nginx 配置自动生效。这个过程是幂等(idempotent)的,只要代码不变,执行多少遍,最终效果不变。如果目标机器没有安装 Nginx,则会自动安装 Nginx。自动设置服务器防火墙规则。1. 实验环境介绍本次实验使用 Docker Compose 搭......

Nginx Ansible 部署 自动化 Jenkins

为了减少您的阅读压力,首页仅提供最新的 10 页文章列表,如需查阅更多内容请点击对应的文章标签。

Top