18 天前 / sjf0115
网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发展，整体实时数仓已经初具规模，我们已有实时数仓表 300+，运行中的任务数有 1200+。其中 1000 左右的任务是 SQL 任务， Kafka 总出口流量达到到 18GB/S，总用户数达到了 200+。
21 天前 / u128287
分享嘉宾：赵辉度小满金融 架构师 编辑整理：蒋雯娟厦门大学嘉庚学院 出品平台：DataFunTalk 导读：大数据架构在金融场景下面临着诸多挑战，从架构上而言，业务对数据加工、存储和使用的全链路服务提出了更细致的管控需求；从使用上而言，用户并不想理解大数据架构的具体实现和管控的细节，用户只想以更低的门槛、更快的方式来使用产品；从管理上而言，公司希望能够对数据加工、处理过程中的相关经验做到有效传承。
22 天前 / sjf0115
- 背景 - 最近，在对公司容器云的日志方案进行设计的时候，发现主流的 ELK 或者 EFK 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上最终选择了 Grafana 开源的 Loki 日志系统，下面介绍下 Loki 的背景。 - 缘起 - 当我们的容器云运行的应用或者某个节点出现问题了，解决思路应该如下： 我们的监控使用的是基于 Prometheus 体系进行改造的，Prometheus 中比较重要的是 Metric 和 Alert，Metric 是来说明当前或者历史达到了某个值，Alert 设置 Metric 达到某个特定的基数触发了告警，但是这些信息明显是不够的。
24 天前 / 大数据左右手
数据发散 什么是数据发散在 join 的过程中，关联键出现一对多，或者多对多时候，造出结果存在重复。 数据发散症状症状（1）结果存在重复。 （2）数据量剧增。 （3）可能导致无法使用正常资源处理完成。 排查（1）出现这种原因就是 A left join B 的时候，使用主键的关联条件中，没有关联到表 B 的最小粒度。 （2）查找是否是这种原因 select 关联字段 from table group by 关联字段 having count（关联字段）>1 就可以判定是否有关联字段出现不唯一的发散情况。 避免或解决（1）如果右表关联字段有重复值则要去重，否则数据会发散。
27 天前 / 大数据左右手
前言 分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。 比如主从复制，主节点负责写，从节点负责读，提高读的性能。从节点定期通过心跳与主节点沟通，一旦主节点挂掉了，从节点马上接手主节点的任务。 但是主节点暂时失去响应，如瞬时负载过高，网络拥塞或者其他原因导致主节点暂时失去响应，超过响应超时时间，这个时候从节点启动，承担起 leader 的职责，但是原先的主节点又恢复了服务。
32 天前 / 猴哥说Java
大数据下 Redis 的应用 1、Redis 客户端区别 1.1 redis 常用客户端目前市面上比较流行的客户端有 jedis、lettuce、redisson jedis jedis 客户端连接方式是基于 TCP 阻塞方式 lettuce lettuce 内部是基于 netty 的多路复用异步非阻塞方式（目前业界解决高并发大数据的问题的思路） redisson 相对于上面两种使用得较少 在并发数量不大的情况下，两者性能可能差不多，jedis 的性能可能还优于 lettuce，但当并发量的提升，jedis 的超时错误会增加，但 lettuce 只是平均响应时间增加和最大响应时间会增加...
38 天前 / 携程技术
作者简介 cxzl25，携程软件技术专家，关注大数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣。 一、前言 Data lineage includes the data origin, what happens to it and where it moves over time. Data lineage gives visibility while greatly simplifying the ability to trace errors back to the root cause in a data analytics process. ──百科 Data lineage 大数据时代，数据的来源极其广泛，各种类型的数据在快速产生，数据也是爆发性增长。
76 天前 / 逗逗
前言 上周，产品架构群里一位老哥“郭同学”突然在群里发了一张这个图： 然后问：我在研究中台里说的数据地图到底长什么样子的，结果找来找去，就只能找到这个。是不是只有这种才叫数据地图？ 这下可炸了锅了，一群数据产品经理纷纷过来，要给他上一课 为此，我特意开了一个数据产品的研讨会，专门给大家聊聊，什么叫“数据地图”。文末还有非常干的资料哦~~ 数据地图在中台的位置既然郭同学问的是数据中台中的数据地图，那就先得看看数据地图在数据中台处于什么位置。
77 天前 / sjf0115
Tech 导读 物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约 2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过 HBase 在物流人资数据预处理平台中实践，讲解 HBase 集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用 HBase 注意事项。 01 背景 人资绩效数据预处理平台，负责接收所有上游业务量数据（工作内容数据），用于一线几十万员工薪资计算。平台单日接收量可达 2000w，月度数据超 5 亿。
83 天前 / 白程序员的自习室
导读：在建设大数据数据仓库时，首先要进行充分的业务调研和需求分析，这是数据仓库建设的基石，业务调研和需求分析做得是否充分直接决定了数据仓库建设是否成功；其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵、抽象出业务过程和维度。再次对报表需求进行抽象整理出相关指标体系，使用 OneData 工具完成指标规范定义和模型设计。最后就是代码研发和运维。 点击关注｜设为星标｜干货速递 hello，大家好，我是大白，很高兴和大家分享阿里的 onedata 体系方法论。
89 天前 / sjf0115
开源大数据社区 & 阿里云 EMR 系列直播 十一期主题：Spark 大数据处理最佳实践 讲师：简锋，阿里云 EMR 数据开发平台 负责人 内容框架：大数据概览 如何摆脱技术小白 Spark SQL 学习框架 EMR Studio 上的大数据最佳实践 直播回放：扫描文章底部二维码加入钉群观看回放 1 大数据概览 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model) 2 如何摆脱技术小白 什么是技术小白？只懂表面，不懂本质 只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制...
94 天前 / sjf0115
什么是指标体系？为什么建设指标体系？如何使用 OSM 模型和 AARRR 模型搭建指标体系？本文将为大家带来网易传媒数据指标体系建设的实践分享。 1 什么是指标体系？ 百度百科的定义：指标体系是指由若干个反映社会经济现象总体数量特征的相对独立又相互联系的统计指标所组成的有机整体。 通俗讲，指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。完整的指标体系是由指标和维度组成的。
126 天前 / 虞大胆
文末有端午福利。 作者：jaydenwen，腾讯 PCG 后台开发工程师 在数据库或者存储的世界里，存储引擎的角色一直处于核心位置。往简单了说，存储引擎主要负责数据如何读写。往复杂了说，怎么快速、高效的完成数据的读写，一直是存储引擎要解决的关键问题。在绝大部分介绍、讲解存储引擎的书籍或者文章里，大家都默认了读多写少的磁盘存储引擎采用的就是 b+ 树，而极少有人来剖析选择 b+ 树作为索引结构的背后，到底有着怎样的思考和权衡？为了解答上述问题，本文尝试从一个新的视角和大家讨论： 在处理读多写少的场景下...
128 天前 / 闲鱼技术
引言闲鱼是一个以 C2C 为主的平台，区别于 B 端的用户，C 端卖家在发布商品时更倾向于图 + 描述的轻发布模式，对于补充商品的结构化信息往往执行力和专业程度都不高，这为我们的商品理解带来了很大的困难。为了能够在发布侧获得更多的商品结构化信息，我们开始尝试在原有图 + 文的极简发布模式中加入商品关键属性的补充选项，事实证明，适当的结构化属性选项并不会影响用户的发布体验，却能极大地提升我们对商品理解的能力。然而存在以下问题： 在设定结构化属性选项时，往往强依赖行业运营的经验，缺少实时的、多维度的数据分析手段。
130 天前 / MobTech袤博科技
▌Coder Park 为了增强开发者间的技术交流，促进企业间的技术和业务合作，MobTech 袤博科技将联动各知名企业、社区平台、技术协会、优秀技术专家等，共同打造一档线上技术直播分享栏目【Coder Park】。该系列直播将围绕各个技术领域展开，包括数据开发、算法、安全、客户端、运维、大前端、服务端、测试等系列技术模块，结合各企业的实际应用场景，通过线上直播的形式定期分享技术落地经验、成就和最优实践，传授实战经验，积极推动业内交流和技术布道。