2 天前 / sjf0115
导语|本文实践了对于千万级别的用户，操作总数达万级别，每日几十亿操作流水的留存分析工具秒级别查询的数据构建方案。同时，除了留存分析，对于用户群分析，事件分析等也可以尝试用此方案来解决。 文章作者：陈璐，腾讯高级数据分析师 背景 你可能听说过 Growingio、神策等数据分析平台，本文主要介绍实现留存分析工具相关的内容。留存分析是一种用来分析用户参与情况 / 活跃程度的分析模型，可考查进行初始行为后的用户中，有多少人会进行后续行为，这是衡量产品对用户价值高低的重要指标。
6 天前 / 逗逗
导语 |Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介绍 Spark 的核心技术原理，希望与大家一同交流。文章作者：熊峰，腾讯大数据研发工程师。 一、Spark 介绍及生态 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。至于为什么我们要学习 Spark，可以总结为下面三点： 1. Spark 相对于 hadoop 的优势 （1）高性能 Spark 具有 hadoop MR 所有的优点...
7 天前 / 高飞
翻译：精致码农 - 王亮 原文：http://dwz.win/XnM .NET 5 旨在提供统一的运行时和框架，使其在各平台都有统一的运行时行为和开发体验。微软发布了与 .NET 协作的大数据（.NET for Spark）和机器学习（ML.NET）工具，这些工具共同提供了富有成效的端到端体验。在本文中，我们将介绍 .NET for Spark、大数据、ML.NET 和机器学习的基础知识，我们将研究其 API 和功能，向你展示如何开始构建和消费你自己的 Spark 作业和 ML.NET 模型。 什么是大数据 大数据是一个几乎不言自明的行业术语。
14 天前 / HueiFeng
本文根据包勇军老师在〖2020 DAMS 中国数据智能管理峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整 PPT） 讲师介绍 包勇军，目前在京东任职数据基础平台部、广告质量部、推荐研发部负责人，同时担任京东集团技术委员会委员、京东零售数据算法委员会会长。负责大数据平台基础架构的建设和产品开发、AI 算法平台建设、AI 算法在广告系统中的研发和应用，推荐策略、数据和推荐系统的研发工作。数据系统和算法等领域专家，精通数据算法和平台技术在电商业务数字化中的落地应用，对大数据底层架构设计及平台建设有丰富的实战经验。
14 天前 / 浪尖
一：资源配置 一般企业中，物理机器的 cpu:内存基本上都是 1:4+，比如机器 24core，一般有 128GB 及以上内存；48core，一般有 256GB 及以上内存。 减去系统及 hdfs 所需 core，2 个吧；减去系统的 2-4GB，减去存储 hdfs 的相关的假设 20GB 吧 (hbase 需要的更多点，但是一般 hbase 会有独立集群)。 24core，128GB 的机器应该还剩还有 20core，100GB。 这种情况下，很明显，你 1core 对应 5GB 内存才能最大化利用机器，否则往往 cpu 没了，内存还有大把，应用还容易出现 gc 问题。
15 天前 / 秦夏
这是《数据平台服务化建设》系列的第 4 篇，预计会写 10 篇左右。通过这个系列，我希望和大家分享下数据平台怎么去做服务化建设。扫描文末二维码，关注公众号，不再错过精彩。也欢迎转发朋友圈分享给更多人。 在整个数据使用链条上，第一步应该是把数据导进来。所以这篇文章，介绍下我在这块的服务化建设思路。 我们有个独立的 Web 系统来承载这块功能，叫做「数据接入平台」。 整个系统的目的，就是把外部的数据接入到数据平台，具体可以细分为几个类型： 离线数据，以文件的形式落地到 HDFS，再提供给 Hive、Spark 等批处理引擎， 实时数据...
16 天前 / reesunhuang
分享嘉宾：五羖 阿里文娱 技术专家 编辑整理：汤志敏 出品平台：DataFunTalk、AI 启蒙者 导读：数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领域中，Kylin、Druid、ES、ADB、GreenPlum、ODPS 这些眼花缭乱的名字，它们之间又要什么区别和联系、企业如何进行选型？本文将为揭晓答案。
18 天前 / CodeSheep
磨拳擦掌！说数据是一个企业最核心的东西之一，我想大家应该都能基本认同吧，毕竟连 XXX 都说过，这是一个数据为王的时代，谁掌握了数据谁就掌握未来！ 怪不得咱这里的小伙伴们个个都磨拳擦掌，都嚷嚷着想从事大数据相关的开发工作，问能不能整一个大数据开发相关的技术学习路线和知识点大梳理。 得嘞，你们就负责冲，学习路线咱这里来安排！ 大数据开发基础学习编程语言往往是我们开启学习之路的第一大步。大数据领域的很多框架都是基于 Java 语言开发的，而且各种框架也都提供了 Java API 来提供使用和操作接口，所以 Java 语言的学习逃不掉。
23 天前 / 开发者头条
大家好，我是周刊菌。 「码农周刊 VIP 会员」推出 29 周啦！感谢亲们的大力支持！第 029 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。 告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」是什么？ 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 加入「码农周刊 VIP...
25 天前 / J_Zhang
QStreaming is a framework that simplifies writing and executing ETLs on top of Apache Spark It is based on a simple sql-like configuration file and runs on any Spark cluster Architecture QStreaming is built on top of Apache Sparkand is mainly made of following components: Pipeline DSL A configuration file defines the queries of the ETL Pipeline, it's made of by the input tables, metric statements, data quality check rules (optional ) and output tables Pipeline DSL Parser A parser parsing the Pipeline...
44 天前 / reesunhuang
文章作者：温正湖网易杭研 编辑整理：张博 出品平台：DataFunTalk 导读：网易大数据平台的底层数据查询引擎，选用了 Impala 作为 OLAP 查询引擎，不但支撑了网易大数据的交互式查询与自助分析，还为外部客户提供了商业化的产品与服务。今天将为大家分享下 Impala 在网易大数据的优化和实践。01Impala 的定位及优势 Impala 有哪些优势，让我们选择 Impala 作为网易内部的 OLAP 查询引擎？ 1.Impala 在数据处理中的角色 先来看一下 Impala 在数据处理中的角色。
46 天前 / algorithmdog
在我博士毕业的 2016 年，我就关注到了一个比较小众的算法工程方向——深度学习和大数据系统的融合。具体来说，就是将深度学习放在大数据系统上（当时主要指 Spark），从而实现分布式深度学习。当时我觉得，这个方向会在未来工业应用中占有一席之地。 但是现在 2020 年来看，深度学习和大数据系统融合这个方向已经沉寂了。 一、红旗还能打多久？ 深度学习和大数据系统融合这个沉寂的辽原上，有一些零散的星火。 TensorFlow on Spark 2017 年 2 月 13 日，雅虎宣布开源 TensorFlowOnSpark (https://github.com/yahoo/TensorFlowOnSpark)。
66 天前 / 腾讯云原生
王玉君，腾讯云后台工程师，拥有多年大规模 Kubernetes 集群的开发运维经验。目前负责腾讯云 TKE 大规模 Kubernetes 集群的大数据应用托管服务。 谭春强，腾讯云后台工程师，拥有两年大数据 EMR 集群管控运维经验，目前负责腾讯云大数据 EMR 组件的容器化方向。 1.引言随着云原生概念的兴起，越来越多的企业投身于云原生转型的浪潮，以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。
67 天前 / Thinkgamer
点击标题下「搜索与推荐 Wiki」可快速关注▼精彩推荐▼1、特征工程｜文本特征处理的四大类主流方法 2、计算广告与推荐系统有哪些区别？使用的主流模型有哪些？3、独孤九剑：算法模型训练的一般流程 4、从 DSSM 语义匹配到 Google 的双塔深度模型召回和广告场景中的双塔模型思考 5、算法工程师的数学基础｜如何理解概率分布函数和概率密度函数 导读在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。