浪尖 浪尖 / 2 天前

Spark driver 端得到 Executor 返回值的方法

有人说spark的代码不优雅,这个浪尖就忍不了了。实际上,说spark代码不优雅的主要是对scala不熟悉,spark代码我觉得还是很赞的,最值得阅读的大数据框架之一。 今天这篇文章不是为了争辩Spark 代码优雅与否,主要是讲一下理解了spark源码之后我们能使用的一些小技巧吧。 spark 使用的时候,总有些需求比较另类吧,比如有球友问过这样一个需求: 浪尖,我想要在driver端获取executor执行task返回的结果,比......

Spark Executor

Hutool Hutool / 2 天前

使用 Hutool 发送工作日报

为什么80%的码农都做不了架构师?>>> 需求来源某一天Hutool群中有美女(也可能是抠脚大汉)抱怨领导,说让ta每天写工作日报,说明今天做了哪些工作,每周还有周报。美女遇到问题嘛,本着能聊则聊,能帮则帮的原则,于是使用Hutool写了一个Demo。 使用到的模块和工具类cron模块,用于定时发送邮件extra模块,MailUtil,用于发送邮件poi模块,WordWriter,用于生成日报的wordDemo介绍Demo项目可以访问码云地址获......

Java Hutool

xF0rk xF0rk / 2 天前

自助安全扫描与代码审计系统架构实践

一、自动安检的需求背景 需求 公司如果有不同的业务线,各业务系统上线发布之前要进行基本的安全检查。业务在国内的其它城市,机房位置不定,发布时间不定,这时候就需要设计一套自动化机制,在业务上线新功能之前,进行自动安全扫描与代码审计。自助自动是在传统方式上的一种改变,是对即存安检查系统的重新组合使用。传统的扫描和代码审计有历史课题。 对于粗放型的安全扫描任务实施,可能会对业务造成伤害,......

架构 代码审计 安全扫描

DGuco DGuco / 2 天前

关于智能指针的一个疑问

c++中最大的问题就是内存管理问题也就是指针,当一个指针在程序中到处传的时候,经常会出现多次销毁,或者用到一个已经被释放的指针(野指针),特别是在多线程中这种情况更加难以处理,根本不知道什么时候会在哪个线程中被释放,虽然c++11中的智能指针有效的解决了这个问题,在很大程度上简化了内存管理的难度,但是使用不当还是会导致程序崩溃,比如你在使用的时候把一个智能指针reset或者把nullptr赋给了目标智......

C++ 指针

兜里有辣条 兜里有辣条 / 2 天前

多线程编程完全指南

多线程编程或者说范围更大的并发编程是一种非常复杂且容易出错的编程方式,但是我们为什么还要冒着风险艰辛地学习各种多线程编程技术、解决各种并发问题呢? 因为并发是整个分布式集群的基础,通过分布式集群不仅可以大大降低同等负载能力的价格,还能使整体可扩展到的负载能力上限大大提升。低廉的服务成本使互联网行业的创意井喷,任何一个人都有能力创建并维持一个服务于成百上千甚至数万人的应用服务;而极......

多线程

u467912 u467912 / 2 天前

关于 Spring Boot 你不得不知道的事:Spring Boot 的基本操作

1 Pom文件1.1 spring-boot-starter-parent表示当前pom文件从spring-boot-starter-parent继承下来,在spring-boot-starter-parent中提供了很多默认配置,可以简化我们的开发。 org.springframework.boot spring-boot-starter-parent 2.1.4.RELEASE Java版本和编码方式

Spring Boot

zZhao zZhao / 2 天前

缓冲池 (buffer pool),这次彻底懂了

应用系统分层架构,为了加速数据访问,会把最常访问的数据,放在缓存(cache)里,避免每次都去访问数据库。 操作系统,会有缓冲池(buffer pool)机制,避免每次访问磁盘,以加速数据的访问。 MySQL作为一个存储系统,同样具有缓冲池(buffer pool)机制,以避免每次查询数据都进行磁盘IO。 今天,和大家聊一聊InnoDB的缓冲池。 InnoDB的缓冲池缓存什么?有什么用? 缓存表数据与索引数据,把磁盘......

MySQL 缓冲池 buffer pool

吴朝晖 吴朝晖 / 2 天前

Flutter Scoped_Model 浅析

在前端开发中,我们经常能听到 redux 等状态管理的词汇。 但是对于我这种搞移动端出身的人,对这些词汇就不是很熟悉。 Flutter 作为借鉴了很多 React 思想的语言,自然也会有相对应的状态管理。 那什么是状态管理?为什么需要状态管理? 什么是状态管理?个人认为 状态管理解决的是组件之间的通讯以及状态集中管理和分发的问题 举个例子: 比如我多个页面同时使用了 User 对象,当我其中一个地方改了以后,......

Flutter

1点25 1点25 / 2 天前

String.intern() 使用总结

First Blood先看下面的代码: String s = new String("1"); String s1 = s.intern(); System.out.println(s == s1); 打印结果为: false对于new String("1"),会生成两个对象,一个是String类型对象,它将存储在Java Heap中,另一个是字符串常量对象"1",它将存储在字符串常量池中。s.intern()方法首先会去字符串常量池中查找是否存在字符串常量对象"1",如果存在则返回该对象的地址,如果不存在则在字符串......

Java String

星弟一直在 星弟一直在 / 2 天前

迁移学习 (transfer learning) 前沿方向

最新进展传递迁移学习在传递迁移学习框架中,我们需要通过一个或多个中间数据所拥有的知识,将两个不相关或是弱相关的源数据和目标数据联系在一起,形成一种知识的链式迁移。其针对的源数据和目标数据包括文本和图像数据,还包括属于同一类型但是语义完全不同的数据,通过联合矩阵分解或是深度神经网络等方法实现相互连接的具有弱相似性的知识迁移。目前已经有研究通过传递迁移学习实现了飞机图片和人脸图片这种......

深度学习 迁移学习

sjf0115 sjf0115 / 2 天前

如何在 Spark 里面使用窗口函数

在大数据分析中,窗口函数最常见的应用场景就是对数据进行分组后,求组内数据topN的需求,如果没有窗口函数,实现这样一个需求还是比较复杂的,不过现在大多数标准SQL中都支持这样的功能,今天我们就来学习下如何在spark sql使用窗口函数来完成一个分组求TopN的需求。 思路分析: 在spark sql中有两种方式可以实现: (1)使用纯spark sql的方式。 (2)spark的编程api来实现。 虽然有两种形式,但底层原......

函数 Spark

kbsc13 kbsc13 / 2 天前

认知和规划,以及推荐几个入门教程 Github

图片来自Unsplash,作者:Rafael Saes 2019 年第 54 篇文章,总第 78 篇文章 本文大约 4600字,阅读大约需要 12分钟 前言本来预计每个周末一篇读后感,但从上次分享[周末阅读]如何培养你的自信和正确认识财富、创造财富,过了两周,才有时间写下第二篇,实在抱歉了,文末有抽奖,谢谢各位的支持! 至于为何相隔两周才有时间,第一还是懒,工作日回到家就想洗洗睡了,周末就想好好睡觉休息下;第二也是......

github

涯之叶 涯之叶 / 2 天前

Kippo:一款强大的 SSH 蜜罐工具

0x00 前言首先给大家介绍一下蜜罐,蜜罐最为重要的功能是对系统中所有操作和行为进行监视和记录,他可以帮助我们追踪溯源。简单的说蜜罐就是一个“假目标”,故意暴露一个网络中的弱点给攻击者,攻击者会对这个“假目标”发起攻击,在攻击的过程中殊不知自己的IP地址和操作等信息都被一一记录下来。过研究和分析这些信息,可以分析出攻击者采用的攻击工具、攻击手段、攻击目的和攻击水平等信息。在企业内部在不同......

SSH 蜜罐 Kippo

噶牛爱尚 噶牛爱尚 / 2 天前

精读《Optional chaining》

黄子毅前端开发话题的优秀回答者48 人赞同了该文章1. 引言备受开发者喜爱的特性 Optional chaining在 2019.6.5 进入了 stage2,让我们详细读一下草案,了解一下这个特性的用法以及讨论要点。 借着这次精读草案,让我们了解一下一个完整草案的标准文档结构是怎样的。 一个新特性的文档,首先要描述 起因 是什么,也就是为什么要增加这个特性,大家不会没有理由的就增加一个特性。其次是其他语言是否有现成的实现......

Optional Chaining

tlanyan tlanyan / 2 天前

PHP 的 self 关键字

ShadowsocksR/SSR 客户端关于我PHP的self关键字 By tlanyan| 2019年6月22日 0 CommentPHP群里有人询问self关键字的用法,答案是比较明显的:静态成员函数内不能用this调用非成员函数,但可以用self调用静态成员函数/变量/常量;其他成员函数可以用self调用静态成员函数以及非静态成员函数。随着讨论的深入,发现self并没有那么简单。鉴于此,本文先对几个关键字做对比和区分,再总结self的用法。 与parent、sta......

PHP self

小匠 小匠 / 2 天前

你是一直认为 count(1) 比 count(*) 效率高么?

点击上方蓝色字体,选择“设置星标” 优质文章,第一时间送达 MySQL count(1) 真的比 count(*) 快么 反正同事们都是这么说的,我也姑且觉得对吧,那么没有自己研究一下究竟?如果我告诉你他们一样,你信么? 有Where条件的count,会根据扫码结果count一下所有的行数,其性能更依赖于你的Where条件,所以文章我们仅针对没有Where的情况进行说明。 MyISAM 引擎会把一个表的总行数记录了下来,所以在执行cou......

MySQL

了不起的顾斯比 了不起的顾斯比 / 2 天前

Redis 选择 hash 还是 string 存储数据?

在stackoverflow 看到一个问题,Redis strings vs Redis hashes to represent JSON: efficiency内容如下: I want to store a JSON payload into redis. There's really 2 ways I can do this: One using a simple string keys and values. key:user, value:payload (the entire JSON blob which can be 100-200 KB) SET user:1 payload Using hashes HSET user:1 username "someone"HSET user:1 location ......

Redis 存储 String hash

田守枝 田守枝 / 2 天前

InnoDB MVCC 机制,看这篇就够了

作者:jiayangchen 来自:Young的博客(公众号) 提醒:喜欢记得右下角关注一波 本文详细的介绍了什么是MVCC?为什么要有MVCC?以及MVCC的内部实现原理:包括Undo Log的版本链是如何组织的,RR、RC两个级别下一致性读是如何实现的等。通过案例、插图,以最通俗易懂的方式,让你彻底掌握MVCC的来龙去脉。 1 什么是MVCC MVCC (Multiversion Concurrency Control)中文全称叫多版本并发控制,是现代数......

MVCC InnoDB

为了减少您的阅读压力,首页仅提供最新的 10 页文章列表,如需查阅更多内容请点击对应的文章标签。

Top