浪尖 浪尖 / 5 小时前

Spark SQL 的几个里程碑

本文讲讲Spark SQL的几个里程碑的更新升级。 1. spark 1.0.0诞生了Spark SQL 官方版本是spark 1.0.0引入的Spark SQL模块。当时这个模块的核心实际上就是一种新类型的RDD,叫做SchemaRDD。SchemaRDD就是类型为ROW的RDD,但同时又包含了一个描述每一列数据类型的schema信息。SchemRDD也可类似于传统数据库的一张表。SchemaRDD可以从已有的RDD创建,可以是Parquet文件,json数据集或则HiveQL生成。该版本引入是在2......

Spark Spark SQL

jackyrong jackyrong / 5 小时前

组织变革:PMO(项目管理办公室)是一种解决方案

你公司项目管理方面最突出的三个问题是什么? 你认为提升公司综合项目管理水平最有必要的一项措施是什么? 一切的问题都是组织的问题,提升项目管理水平,在组织内成立PMO是提升公司整体项目管理水平的手段之一,是组织管理不断成熟的有效途径。 为什么会这么说呢?下面从为什么要建PMO,什么是PMO以及如何建设PMO三个方面来说明一家公司成立PMO的必要性及可行性。 一、为什么要建立PMO 越来越多的公司和组......

项目管理 PMO

超人汪小建 超人汪小建 / 5 小时前

图论动态规划算法:Floyd 最短路径

前言推出一个新系列,《看图轻松理解数据结构和算法》,主要使用图片来描述常见的数据结构和算法,轻松阅读并理解掌握。本系列包括各种堆、各种队列、各种列表、各种树、各种图、各种排序等等几十篇的样子。 Floyd算法Floyd是一种经典的多源最短路径算法,它通过动态规划的思想来寻找给定加权图中的多源点之间的最短路径,算法时间复杂度是O(n3)。之所以叫Floyd是因为该算法发明人之一是Robert Floyd,他是1978......

算法 动态规划 最短路径

宜信技术学院 宜信技术学院 / 9 小时前

海量数据搜索:搜索引擎

搜索 数据 搜索引擎

老钱 老钱 / 9 小时前

Go 语言切片的三种特殊状态:90% 的开发者都忽视了

我们今天要来讲一个非常细节的小知识,这个知识被大多数 Go 语言的开发者无视了,它就是切片的三种特殊状态 —— 「零切片」、「空切片」和「nil 切片」。 图片 切片被视为 Go 语言中最为重要的基础数据结构,使用起来非常简单,有趣的内部结构让它成了 Go 语言面试中最为常见的考点。切片的底层是一个数组,切片的表层是一个包含三个变量的结构体,当我们将一个切片赋值给另一个切片时,本质上是对切片表层结......

go golang 切片

半亩方田 半亩方田 / 9 小时前

谈谈 JVM 的垃圾回收器

JVM的GC经过多年的发展,大家对Minor GC、major GC的理解并不完全一致,所以我不打算在本文中使用这个概念。我把GC大概分为一下4类: Young GC:只是负责回收年轻代对象的GC; Old GC:只是负责回收老年代对象的GC; Full GC:回收整个堆的对象,包括年轻代、老年代、持久带; Mixed GC:回收年轻代和部分老年代的GC (G1); 因为笔者目前使用G1还是比较少的,所以本文不打算将G1。 垃圾回收器算法 ......

Java JVM 垃圾回收

蚂蚁金服移动开发平台mPaaS 蚂蚁金服移动开发平台mPaaS / 9 小时前

支付宝 App 构建优化解析:Android 包大小极致压缩

1 前言 本章节我们将围绕《支付宝 App 构建优化解析》另启新系列,细分拆解客户端在“代码管理”、“证书管理”、“版本管理”、“构建打包”等维度的具体实现方案展开讨论,带领大家进一步了解支付宝在 App 构建模块下的持续优化。 本节将主要记录通过对支付宝 Android 包大小进行压缩,来改善运行效率和质量。 2 背景 包大小的重要性已经不需要多说,包大小直接影响用户的下载,留存,甚至部分厂商预......

app android 支付宝

DaoCloud DaoCloud / 9 小时前

企业规模化微服务分布式追踪落地实践

本文整理自「论道云原生之 Spring Cloud 中国技术沙龙」DaoCloud?微服务开发工程师谭建和 DaoCloud 前端工程师王垚带来的议题《企业规模化微服务分布式追踪落地实践》。 作者简介 ?谭建 DaoCloud 微服务开发工程师? 谭建,DaoCloud 微服务开发工程师,在 DaoCloud 参与微服务产品研发,现专注于公司微服务项目配置中心和链路追踪以及开源社区的建设。 ? 王垚 DaoCloud 前端工程师 王垚,Da......

分布式 微服务 追踪

叶锦鲤 叶锦鲤 / 9 小时前

积累:入行数据分析第二年

本文是作者在2018年10月16日众智汇社群分享的记录。由@kellie?记录整理。 作者:倪雪华,某互联网金融公司资深分析师。 2013年从985院校化学专业硕士毕业,进入化工厂成为实验员。2016年经过数月自学,转行成为互联网公司数据分析师。现在知名互联网金融公司,负责信用评分产品的建模工作。 雪华是我们众智汇社群从传统行业转行数据分析的成功范例! 之前曾分享转行经验,及入行第一......

数据分析

hateoonion hateoonion / 9 小时前

Deep In React(三):Internal Instance

Deep In React(三):Internal Instance (查看原文)从一次挂载说起如果你写过React代码,那么ReactDOM.render(, container)可能是你最熟悉的一段代码了。是一个React Ele... hateonion.me??

前端 React

aszx87410 aszx87410 / 9 小时前

我知道你懂 hoisting,可是你了解到多深?

前言這陣子我在忙一些教學相關的東西,稍微準備一些資料之後教了學生們 JavaScript 裡面的 hoisting,也就是「提升」這個觀念,例如說以下程式碼: 12console.log(a)var a = 10會輸出undefined而不是ReferenceError: a is not defined,這種現象就叫做 Hoisting,變數的宣告被「提升」到最上面去了。 如果你只想了解最基本的 hoisting,其實差不多就是這樣,但後來我還教了let跟const相關的一些知識,不過前一......

前端 JavaScirpt hoisting

懒人yp 懒人yp / 9 小时前

[译] 为什么要使用 Service Mesh?

作者:shiva译者:詹叶原文:https://medium.com/@tak2siva/why-is-service-mesh-8ebcd6ed9eb5 除非你长期与世隔绝,否则你应该听说过Kubernetes,他已经称为高速发展的互联网公司的一条准则。最近又有一个热门话题--Service Mesh(服务网格),它已经被这些高速发展公司用来解决一些特定的问题。所以如果你想了解什么是Service Mesh,接下来我可以给你一个更好的解释。 互联网应用的演进为了理解Sevice Mesh......

Service Mesh

lambeta lambeta / 9 小时前

架构整洁之道导读(二):续

关于组件聚合张力图的讨论周三的午休时间,我在ThoughtWorks北京办公室分享了一场《架构整洁之道导读》。当谈到分享组件聚合原则的时候,很多同事表示难以理解。究其缘由,是我们无法将组件违反原则的后果对应到真实项目的问题上,这就导致原则和实践之间的不一致。讨论的过程异常激烈,但是很遗憾地最终并没有得到一个服众的结论。所以为了进一步澄清这些争议点,我决定专门组织一场针对组件聚合原则张力图的讨......

架构

杉枫 杉枫 / 9 小时前

双 11 架构设计

双11购物节,会带来十倍级别流量提升,在技术上有很大挑战,应对挑战过程中能给我们带来更多技术提升,这种提升需要基于对问题不断深入理解,以及通过技术架构设计落地实现来完成。 这次备战花费了团队小伙伴们很多时间精力,每个人都应该详细总结下,总结过程能让我们有更多收获,不然更多是付出了很多辛苦,而没有收获,那会是很大浪费,也对机会是一种浪费。再有就是哪些将那些做的不好的,......

架构 双11

芋头 芋头 / 9 小时前

这一次,彻底解决 Java 的值传递和引用传递

点击上方△蓝字关注我们 带你征服编程和泡妞两座大山 本文旨在用最通俗的语言讲述最枯燥的基本知识 学过Java基础的人都知道:值传递和引用传递是初次接触Java时的一个难点,有时候记得了语法却记不得怎么实际运用,有时候会的了运用却解释不出原理,而且坊间讨论的话题又是充满争议:有的论坛帖子说Java只有值传递,有的博客说两者皆有;这让人有点摸不着头脑,下面我们就这个话题做一些探讨,对书籍、对论坛......

Java 引用传递 值传递

蓝天 蓝天 / 9 小时前

Redis 基本使用及百亿数据量中的使用技巧分享

作者:依乐祝 原文地址:https://www.cnblogs.com/yilezhu/p/9941208.html 作者:大石头 时间:2018-11-10 晚上20:00 地点:钉钉群(组织代码BKMV7685)QQ群:1600800 内容:Redis基本使用及百亿数据量中的使用技巧分享 记录人:依乐祝 热场准备熟悉的开场白,大家晚上好啊,今天给大家分享的是Redis在大数据中的使用,可能真正讲的是一些redis的使用技巧,Redis基本的一些东西。 首先给大家个地址,源......

数据库 大数据 Redis

zhishemg zhishemg / 9 小时前

从 0 到 1 学习 Flink:Data Source 介绍

前言Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。 Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个 Data Sources 就是数据的来源地。 Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFunction) 来为你的......

Flink

mnhkahn mnhkahn / 9 小时前

聊一聊我的大促经历

之前在某东待了3年半,经历了4个618,3个双十一。之前所在的团队是京东PC端三级列表页,关于我们项目的架构介绍,可以参考这篇文章。每年两次大促,每年也需要为这两次大促进行长达一个月的准备。 压测压测不光是要大促的时候压,平时每个月都会压。每个月压单机,压的链接是线上抓取的真实访问链接,我们线下找一台机器。压测单机会根据不同的并发进行压,一般从5并发开始,逐渐增加,直到TP99下降到不可接受为......

架构

crossoverJie crossoverJie / 9 小时前

不改一行代码定位线上性能问题

背景最近时运不佳,几乎天天被线上问题骚扰。前几天刚解决了一个 HashSet 的并发问题,周六又来了一个性能问题。 大致的现象是: 我们提供出去的一个 OpenAPI 反应时快时慢,快的时候几十毫秒,慢的时候几秒钟才响应。 尝试解决由于这种也不是业务问题,不能直接定位。所以尝试在测试环境复现,但遗憾的测试环境贼快。 没办法只能硬着头皮上了。 中途有抱着侥幸心里让运维查看了 Nginx 里 OpenAPI 的响应......

Java 性能

静逸秋水 静逸秋水 / 9 小时前

[译] Netflix 网页性能优化案例

原文地址: https://medium.com/dev-channel/a-netflix-web-performance-case-study-c0bcde26a9d9 由于自己最近一年半的事件都在做视频页面相关的,而且这次 Netflix 的技术栈也与我们相似,因此翻译这篇文章,希望大家一起学习。页面很多细节值得深入,但是整个分析下来其实给我们自己在做页面优化提供基本的思路。Netflix目前是全球非常非常出色的流媒体服务网站。自从 2016 年发布之后,Netflix 发现用户不仅......

性能优化 网页 Netflix

为了减少您的阅读压力,首页仅提供最新的 10 页文章列表,如需查阅更多内容请点击对应的文章标签。

Top