2 天前 / sjf0115
1 背景介绍 数据分析从上世纪 80 年代兴起以来，大体经历了企业数仓（EDW）、数据湖（Data Lake）、以及现在的云原生数仓、湖仓一体等过程。 企业数仓是数据仓库最原始的版本，主要用于企业内部的决策支持和商业分析（BI）。企业数仓的数据放置于集中式仓库当中，并以 schema-on-write（写时模式）的方式写入。从当前的视角来看，企业数仓存在着只能处理结构化数据、集中式的存储和计算、以及成本昂贵等缺点。 数据湖是伴随着数据爆炸式增长而出现的技术，它能够存储结构化以及非结构化的数据、拥有分布式的存储、以及经济的成本。
26 天前 / 知了一笑
一、Druid 概述 1、Druid 简介 Druid 是一款基于分布式架构的 OLAP 引擎，支持数据写入、低延时、高性能的数据分析，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。 与现在相对热门的 Clickhouse 引擎相比，Druid 对高并发的支持相对较好和稳定，但是 Clickhouse 在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。
27 天前 / 美团技术团队
总第 445 篇 2021 年 第 015 篇 数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核心能力，本文介绍了美团酒旅平台在数据治理方面的实践。一、背景 1. 为什么要做数据治理 2. 需要治理哪些问题 3. 美团酒旅数据现状 4. 治理目标 二、数据治理实践 1. 数据治理策略 2. 标准化和组织保障 3. 技术系统 4. 衡量指标 5. 治理...
31 天前 / 开发者头条
程序员真的是吃青春饭的吗？不少程序员认为编程只能干到 35 岁，事实果真如此吗？ 一篇基于 StackOverflow.com 上的用户数据分析做出的论文《Is Programming Knowledge Related To Age》，给出了一些答案。 论文地址：https://people.engr.ncsu.edu/ermurph3/papers/msr13.pdf 数据采样和清洗条件：1694981 位用户，平均年龄 30.3 岁。 我们来具体看下： 年龄分布图 我们可以看到程序员年龄的正态分布：高点在 25 岁左右，但是中点在 29 岁左右。
38 天前 / 知了一笑
一、Sqoop 概述 Sqoop 是一款开源的大数据组件，主要用来在 Hadoop(Hive、HBase 等)与传统的数据库 (mysql、postgresql、oracle 等)间进行数据的传递。 通常数据搬运的组件基本功能：导入与导出。 鉴于 Sqoop 是大数据技术体系的组件，所以关系型数据库导入 Hadoop 存储系统称为导入，反过来称为导出。 Sqoop 是一个命令行的组件工具，将导入或导出命令转换成 mapreduce 程序来实现。mapreduce 中主要是对 inputformat 和 outputformat 进行定制。 二、环境部署在测试 Sqoop 组件的时候，起码要具备 Hadoop 系列、关系型数据、JDK 等基础环境。
47 天前 / 携程技术
作者简介 数据猩猩，携程数据分析总监，关注分布式数据存储和实时数据分析。 实时数据分析一直是个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控，基础运维中的监控告警，实时大盘之外，AI 模型也需要消费更为实时的聚合结果来达到很好的预测效果。 实时数据分析如果讲的更加具体些，基本上会牵涉到数据聚合分析。 数据聚合分析在实时场景下，面临的新问题是什么，要解决的很好，大致有哪些方面的思路和框架可供使用，本文尝试做一下分析和厘清。
53 天前 / My-sunmy
进入主页，点击右上角“设为星标” 比别人更快接收好文章 此面试题来自牛客网友分享的美团优选一面，面试时长一小时。网友情况：海外水本，在某三线中厂工作 2 年。 参考答案由本公众号提供。如有错误，欢迎指正！ 以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向 自我介绍到北京工作的意愿 SQL 题，给一张城市和交易额表，一张城市对应省份表， 取出 省份 总 交易额大于 500 的 省份 的名字 SQL 题，基于刚才， 得出 省份 总 交易额 [0,500 ] , [500,1000 ] , [1000,+∞ ] 在以下三个区间的 省份 的 数量 SQL 题...
53 天前 / reesunhuang
网易有数大数据团队开源的 Kyuubi 和 Spark 社区的 Spark Thrift Server，都是通过纯 SQL 语言和JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入 HiveServer2 进行全面的分析。 1SparkThriftServer 介绍 Spark Thrift Server 是 Apache Spark 社区基于 HiveServer2 实现的一个 Thrift 服务，旨在无缝兼容 HiveServer2。它通过 JDBC 接口将 Spark SQL 的能力以纯 SQL 的方式提供给终端用户。
55 天前 / 彭老师的小助理
前言 刚夸完梅森同学，他就过来烦我了，让我回想当年在 arvato 的时候遇到的 CRM 数据质量问题，他要写方案。 这人都有！各位，你见过离职 7、8 年后还来找你事儿的同事么？不过看在钱的份上，我就不跟他计较了。今天就聊聊 CRM 数据质量管控的事。 场景 arvato 是全球顶尖的 CallCenter。我当年在 arvato 负责奔驰项目的数据管理工作，跟梅森是搭档。他的脑子里全是关系，我脑子里全是数据。所以他是输出，负责砍人；我是肉盾，负责硬抗、背锅，合作一直很融洽。 奔驰项目实际上就是一个呼叫中心项目。
79 天前 / hyper0x
↑↑↑关注后"星标"Datawhale 每日干货&每月组队学习，不错过Datawhale 干货 作者：牧小熊，华中农业大学，Datawhale 原创作者 0. 前言分布式并行编程可以大幅提高程序性能，实现高效的批量数据处理。分布式程序运行在大规模计算机集群上（廉价的服务器），可以并行执行大规模数据处理任务，从而获得海量的计算能力。因此目前常用的大数据软件都可以部署在分布式计算环境种。 关于大数据的概论，在前面的文章中已经详细讲解，这里就不再赘述。
97 天前 / u561252
前不久举办的 Kylin 五周年庆典中，热度最高的非这场“圆桌会谈”莫属。来自 Spark，Hudi，Clickhouse 以及 Kylin 等开源社区的大佬，来了一场跨越时差，跨越区域的“云”上对谈。 下一代云上数据分析产品的趋势都有哪些？他们都看好什么关键性技术呢？你想知道的都在本文啦！ 热点问题 湖仓一体和 Lakehouse 到底是什么？ 计算和存储分离已是大势所趋？ 到底是公有云，私有云还是混合云？ 数据上云，多云管理有何难点？ 数据治理，数据安全如何实现？ 一起来看看都有哪些大佬 主持人｜李扬：Kyligence CTO...
107 天前 / 逗逗
点击上方 "大数据肌肉猿"关注，星标一起成长 后台回复【加群】，进入高质量学习交流群 2021 年大数据肌肉猿公众号奖励制度 我们知道 YARN 是 Hadoop 资源管理器，无论是 MapReduce 应用还是 Spark 应用，应该都会用到 Yarn。我们学习 Yarn 不仅为了应对工作，面试中也是一个高频考点，无论是阿里、字节还是美团等一线大厂的一面，都喜欢问这个知识点。 今天我们就来聊聊 Yarn 的组成以及工作流程： 先介绍几个角色 ResourceManager 一个集群只有一个 RM，它是 YARN 的总指挥，负责协调集群上的计算资源...
110 天前 / 过往记忆大数据
2021 年 01 月 21 日，Apache 官方博客宣布 项目 Apache Superset 成为顶级项目。 Apache Superset 是一个现代化的大数据探索和可视化平台，它允许用户使用简单的无代码可视化构建器和最先进的 SQL 编辑器轻松快速地构建仪表盘（dashboards）。该项目于 2015 年在 Airbnb 启动，并于 2017 年 5 月进入 Apache 孵化器。说白了，其实 Apache Superset 算是一个大数据相关的 BI 可视化工具。