2 天前 / 白程序员的自习室
导读：在建设大数据数据仓库时，首先要进行充分的业务调研和需求分析，这是数据仓库建设的基石，业务调研和需求分析做得是否充分直接决定了数据仓库建设是否成功；其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵、抽象出业务过程和维度。再次对报表需求进行抽象整理出相关指标体系，使用 OneData 工具完成指标规范定义和模型设计。最后就是代码研发和运维。 点击关注｜设为星标｜干货速递 hello，大家好，我是大白，很高兴和大家分享阿里的 onedata 体系方法论。
8 天前 / sjf0115
开源大数据社区 & 阿里云 EMR 系列直播 十一期主题：Spark 大数据处理最佳实践 讲师：简锋，阿里云 EMR 数据开发平台 负责人 内容框架：大数据概览 如何摆脱技术小白 Spark SQL 学习框架 EMR Studio 上的大数据最佳实践 直播回放：扫描文章底部二维码加入钉群观看回放 1 大数据概览 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model) 2 如何摆脱技术小白 什么是技术小白？只懂表面，不懂本质 只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制...
13 天前 / sjf0115
什么是指标体系？为什么建设指标体系？如何使用 OSM 模型和 AARRR 模型搭建指标体系？本文将为大家带来网易传媒数据指标体系建设的实践分享。 1 什么是指标体系？ 百度百科的定义：指标体系是指由若干个反映社会经济现象总体数量特征的相对独立又相互联系的统计指标所组成的有机整体。 通俗讲，指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。完整的指标体系是由指标和维度组成的。
44 天前 / 虞大胆
文末有端午福利。 作者：jaydenwen，腾讯 PCG 后台开发工程师 在数据库或者存储的世界里，存储引擎的角色一直处于核心位置。往简单了说，存储引擎主要负责数据如何读写。往复杂了说，怎么快速、高效的完成数据的读写，一直是存储引擎要解决的关键问题。在绝大部分介绍、讲解存储引擎的书籍或者文章里，大家都默认了读多写少的磁盘存储引擎采用的就是 b+ 树，而极少有人来剖析选择 b+ 树作为索引结构的背后，到底有着怎样的思考和权衡？为了解答上述问题，本文尝试从一个新的视角和大家讨论： 在处理读多写少的场景下...
46 天前 / 闲鱼技术
引言闲鱼是一个以 C2C 为主的平台，区别于 B 端的用户，C 端卖家在发布商品时更倾向于图 + 描述的轻发布模式，对于补充商品的结构化信息往往执行力和专业程度都不高，这为我们的商品理解带来了很大的困难。为了能够在发布侧获得更多的商品结构化信息，我们开始尝试在原有图 + 文的极简发布模式中加入商品关键属性的补充选项，事实证明，适当的结构化属性选项并不会影响用户的发布体验，却能极大地提升我们对商品理解的能力。然而存在以下问题： 在设定结构化属性选项时，往往强依赖行业运营的经验，缺少实时的、多维度的数据分析手段。
48 天前 / MobTech袤博科技
▌Coder Park 为了增强开发者间的技术交流，促进企业间的技术和业务合作，MobTech 袤博科技将联动各知名企业、社区平台、技术协会、优秀技术专家等，共同打造一档线上技术直播分享栏目【Coder Park】。该系列直播将围绕各个技术领域展开，包括数据开发、算法、安全、客户端、运维、大前端、服务端、测试等系列技术模块，结合各企业的实际应用场景，通过线上直播的形式定期分享技术落地经验、成就和最优实践，传授实战经验，积极推动业内交流和技术布道。
49 天前 / 知了一笑
一、业务背景在系统业务开发的过程中，都会面临这样一个问题：面对业务的快速扩展，很多版本在当时没有时间去全局考虑，导致很多业务数据存储和管理并不规范，例如常见的问题： 地址采取输入的方式，而非三级联动；没有统一管理数据字典获取接口；数据存储的位置和结构设计不合理；不同服务的数据库之间存在同步通道；而分析业务通常都是要面对全局数据，如果出现大量的上述情况，就会导致数据在使用的时候难度非常大，随之也会带来很多问题：数据分散不规范，导致响应性能差，稳定性低，同时提高管理成本。
76 天前 / sjf0115
1 背景介绍 数据分析从上世纪 80 年代兴起以来，大体经历了企业数仓（EDW）、数据湖（Data Lake）、以及现在的云原生数仓、湖仓一体等过程。 企业数仓是数据仓库最原始的版本，主要用于企业内部的决策支持和商业分析（BI）。企业数仓的数据放置于集中式仓库当中，并以 schema-on-write（写时模式）的方式写入。从当前的视角来看，企业数仓存在着只能处理结构化数据、集中式的存储和计算、以及成本昂贵等缺点。 数据湖是伴随着数据爆炸式增长而出现的技术，它能够存储结构化以及非结构化的数据、拥有分布式的存储、以及经济的成本。
100 天前 / 知了一笑
一、Druid 概述 1、Druid 简介 Druid 是一款基于分布式架构的 OLAP 引擎，支持数据写入、低延时、高性能的数据分析，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。 与现在相对热门的 Clickhouse 引擎相比，Druid 对高并发的支持相对较好和稳定，但是 Clickhouse 在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。
101 天前 / 美团技术团队
总第 445 篇 2021 年 第 015 篇 数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核心能力，本文介绍了美团酒旅平台在数据治理方面的实践。一、背景 1. 为什么要做数据治理 2. 需要治理哪些问题 3. 美团酒旅数据现状 4. 治理目标 二、数据治理实践 1. 数据治理策略 2. 标准化和组织保障 3. 技术系统 4. 衡量指标 5. 治理...
104 天前 / 开发者头条
程序员真的是吃青春饭的吗？不少程序员认为编程只能干到 35 岁，事实果真如此吗？ 一篇基于 StackOverflow.com 上的用户数据分析做出的论文《Is Programming Knowledge Related To Age》，给出了一些答案。 论文地址：https://people.engr.ncsu.edu/ermurph3/papers/msr13.pdf 数据采样和清洗条件：1694981 位用户，平均年龄 30.3 岁。 我们来具体看下： 年龄分布图 我们可以看到程序员年龄的正态分布：高点在 25 岁左右，但是中点在 29 岁左右。
112 天前 / 知了一笑
一、Sqoop 概述 Sqoop 是一款开源的大数据组件，主要用来在 Hadoop(Hive、HBase 等)与传统的数据库 (mysql、postgresql、oracle 等)间进行数据的传递。 通常数据搬运的组件基本功能：导入与导出。 鉴于 Sqoop 是大数据技术体系的组件，所以关系型数据库导入 Hadoop 存储系统称为导入，反过来称为导出。 Sqoop 是一个命令行的组件工具，将导入或导出命令转换成 mapreduce 程序来实现。mapreduce 中主要是对 inputformat 和 outputformat 进行定制。 二、环境部署在测试 Sqoop 组件的时候，起码要具备 Hadoop 系列、关系型数据、JDK 等基础环境。
121 天前 / 携程技术
作者简介 数据猩猩，携程数据分析总监，关注分布式数据存储和实时数据分析。 实时数据分析一直是个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控，基础运维中的监控告警，实时大盘之外，AI 模型也需要消费更为实时的聚合结果来达到很好的预测效果。 实时数据分析如果讲的更加具体些，基本上会牵涉到数据聚合分析。 数据聚合分析在实时场景下，面临的新问题是什么，要解决的很好，大致有哪些方面的思路和框架可供使用，本文尝试做一下分析和厘清。
127 天前 / My-sunmy
进入主页，点击右上角“设为星标” 比别人更快接收好文章 此面试题来自牛客网友分享的美团优选一面，面试时长一小时。网友情况：海外水本，在某三线中厂工作 2 年。 参考答案由本公众号提供。如有错误，欢迎指正！ 以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向 自我介绍到北京工作的意愿 SQL 题，给一张城市和交易额表，一张城市对应省份表， 取出 省份 总 交易额大于 500 的 省份 的名字 SQL 题，基于刚才， 得出 省份 总 交易额 [0,500 ] , [500,1000 ] , [1000,+∞ ] 在以下三个区间的 省份 的 数量 SQL 题...
127 天前 / reesunhuang
网易有数大数据团队开源的 Kyuubi 和 Spark 社区的 Spark Thrift Server，都是通过纯 SQL 语言和JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入 HiveServer2 进行全面的分析。 1SparkThriftServer 介绍 Spark Thrift Server 是 Apache Spark 社区基于 HiveServer2 实现的一个 Thrift 服务，旨在无缝兼容 HiveServer2。它通过 JDBC 接口将 Spark SQL 的能力以纯 SQL 的方式提供给终端用户。