3 天前 / 逗逗
点击上图跳转：阿里大数据建设 OneData 体系架构。ppt 关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事 21 年的大佬写的文章分享，将这几者的本质和区别，结合自身经验，讲得偏僻入理，于是转来分享，希望对大家都有所感悟！ 导读：作者是 21 年 IT 工作经验，IT 老兵一枚，关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、数据仓库、系统架构、大中型项目管理、数据治理、数据分析、大数据方 面有一定研究。 参与移动集团经营分析系统 5.0、企业级大数据平台 1.0 相关规范的编写和审计，中移动集团大数据专家。
8 天前 / sjf0115
分享嘉宾：张长江 网易 大数据技术专家 编辑整理：黄乐平 出品平台：DataFunTalk 导读：网易大数据生态数量级巨大，且产品线丰富，覆盖用户娱乐、电商、教育等领域，并且 APP 活跃度高，积累了多维度的用户行为数据。通过集团数据资产构建全域用户画像，旨在服务于域内众多业务场景，同时也在探索外部商业化方案。今天借此机会，同大家分享下网易在大数据用户画像中的实战应用经验。今天的介绍会围绕下面三点展开： 网易生态数据介绍 用户画像中心分类 网易用户画像实战案例 01 网易生态数据介绍整个用户画像实践经验，都依赖于网易易数中台...
18 天前 / reesunhuang
桔妹导读：滴滴数据通道引擎承载着全公司的数据同步，为下游实时和离线场景提供了必不可少的源数据。随着任务量的不断增加，数据通道的整体架构也随之发生改变。本文介绍了滴滴数据通道的发展历程，遇到的问题以及今后的规划。 1.背景数据，对于任何一家互联网公司来说都是非常重要的资产，公司的大数据部门致力于解决如何更好的使用数据，挖掘数据价值，而数据通道服务作为“大数据”的前置链路，一直以来都在默默的为公司提供及时，完整的数据服务，这里我们对滴滴数据通道的演进做一个全面的介绍。
22 天前 / sjf0115
本文根据马金韬老师在〖deeplus 直播第 233 期〗线上分享演讲内容整理而成。（文末有获取本期 PPT& 回放的方式，不要错过） 马金韬 爱奇艺数据中台负责人 目前主要负责爱奇艺数据中台的规划和建设，对广告业务和大数据体系都有一定的了解； 北邮本硕毕业，先后在百度、阿里巴巴、墨迹和爱奇艺等多家公司从事广告和大数据方向的工作。 本次分享主要从以下部分展开： 数据中台的产生：数据工作的痛点、数据中台的产生、中台的实质； 爱奇艺数据中台的定义：理解数据中台、数据中台的发展历程、输出和定位； 爱奇艺数据中台的建设：中台建设、Pingback 体系、...
31 天前 / sjf0115
本文根据许振文老师在〖deeplus 直播第 232 期〗线上分享演讲内容整理而成。（文末有获取本期 PPT& 回放的方式，不要错过） 许振文 腾讯游戏 增值服务部后台开发组组长 从事游戏大数据相关领域 8 年多，负责游戏数据分析平台 iData 的架构设计和关键模块开发，为腾讯超过 400 款游戏提供高效快速的数据分析服务。 中国通信研究院发布的微服务行业标准和分布式消息队列技术标准的核心制定者之一，Linux 内核之旅开源社区的负责人，Istio 社区 Member。
69 天前 / sjf0115
前言适用于 即席查询 场景的开源查询引擎有很多，如：Elasticsearch、Druid、Presto、ClickHouse 等；每种系统各有利弊，有的擅长检索，有的擅长统计；实践证明，All In One 是行不通的，最好的方式是选取若干个（考虑运维成本，建议 1 ~ 3 个），每个都对应着自身最具优势的场景。 大多数的技术分享会从系统架构、功能扩展或性能优化角度进行讨论，本文不涉及这些内容。本文以 指标多维统计查询 为例，讨论多个查询引擎混合应用场景下的问题思考及相应的解决方案。
115 天前 / 小粥极客馆
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设，在给优秀的团队成员点赞的同时，也抽空整理了一下文档，那么今天就和大家来聊一下我们是如何结合 Kubernetes 实现数据采集与存储的，谈谈里面实现方案、原理和过程。这里笔者放一张我们前期设计时借鉴阿里的大数据架构图： 本文重点讲述的是上图中『数据采集』部分，暂不涉及『数据计算』和『数据服务』的过程。
117 天前 / 大数据技术架构
Parquet 是 Hadoop 生态圈中主流的列式存储格式，最早是由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 孵化器里毕业成为 Apache 顶级项目。 有这样一句话流传：如果说 HDFS 是大数据时代文件系统的事实标准，Parquet 就是大数据时代存储格式的事实标准。 01 整体介绍 先简单介绍下： Parquet 是一种支持嵌套结构的列式存储格式 非常适用于 OLAP 场景，按列存储和扫描 诸如 Parquet 这种列存的特点或优势主要体现在两方面。 1、更高的压缩比列存使得更容易对每个列使用高效的压缩和编码，降低磁盘空间。
118 天前 / 实时音视频A桑
在歌唱场景、语聊等场景中，用户已经不在满足于被听见、被听清、能互动，以及拥有高清的音质体验。他们有了更进一步的需求，希望不仅能有最佳的音质，还想要让自己的声音变得更动听、更有磁性。就像我们看高清视频、高清照时，第一感受是震撼，所有细节都能看清了，但皮肤的纹理、瑕疵也会暴露出来。所以会增加红润、磨皮、美颜等，让自己更好看。同样道理，高音质场景下，会使用高采样率（44.1kHz - 48kHz）的软件驱动采集，然后使用音频损伤较小的前处理算法（降噪、回声消除、自动增益等）对信号进行处理，并使用保真性能较好的 Codec 进行编码...
122 天前 / hyper0x
导读：本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。 作者：韩健来源：大数据 DT（ID：hzdashuju） 00为什么 QQ 要选择 InfluxDB？ 从 2016 年起，笔者在腾讯公司负责 QQ 后台的海量服务分布式组件的架构设计和研发工作，如微服务开发框架、名字路由、名字服务、配置中心等，做了大量分布式架构、高性能架构、海量服务、过载保护、柔性可用、负载均衡、容灾、水平扩展等方面的工作，以公共组件的形式支撑来自 QQ 后台和其他 BG 海量服务的海量流量。
126 天前 / 街道-书记撸代码
背景 HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。 在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 connector，但因为对象存储自身的局限性，功能和性能都非常有限，在数据增长到一定规模后这些问题更加突出。
132 天前 / 超人汪小建
大数据大数据这个词最早出现在上世纪 90 年代的美国，直到 2012 年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的 mapreduce 论文和 hadoop 开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能人工智能在 1956 年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。
132 天前 / 浪尖
本文也算是一个读书笔记吧，书名《数据产品经理》，作者梁旭鹏。五一期间，浪尖没事，就给大家整理些文章，以供大家在大数据的路上走的更明白，更通畅。本文摘自第一章，主要是讲大数据发展，数据产品，数据产品经理，数据产品经理的工作日常及数据产品经理应该具备的思维模式。 1.起源于大数据 人人都在说大数据，那么“大数据”这个词是从哪里来的呢？据资料记载，大数据一词最早出现在 1983 年著名未来学家托夫勒在其所著的《第三次浪潮》中，该书提出“如果 IBM 的主机拉开了信息化革命的大幕，那么‘大数据’才是第三次浪潮的华彩乐章”。
137 天前 / kafeidou
阿里妹导读：随着最近几年数据计算力与机器智能算法的兴起，基于大数据 AI 算法的应用愈来愈热，大数据应用在各个行业也不断涌现。测试技术作为工程技术的一部分，也随着时代的不断变化在同步演进，在当下 DT 时代，如何测试和保障一个基于大数据的应用的软件质量，成为测试界的一个难题。 本文通过系统性地介绍阿里巴巴 AI 中台的技术质量体系——搜索推荐广告应用的质量是如何测试的，来尝试回答一下这个问题，希望能给大家带来一些借鉴，欢迎斧正，以便改进。
140 天前 / 大数据技术架构
前言公司的 hbase 集群早先是基于社区 1.2.4 版本进行搭建的，在时延表现方面起初并不十分理想，受 GC 尖刺的影响非常严重，针对 P99 响应时延也只能给业务提供不高于 100 毫秒的 SLA 承诺，因此在公司层面接入 hbase 的业务普遍还是面向近线或者离线场景，而针对时延响应要求比较高的在线业务则没有办法提供能力支持。近期随着社区补丁的陆续合入，以及公司自研补丁的不断集成，hbase 在吞吐能力表现方面已经得到了非常巨大的改善，图计算场景下针对多跳查询已经可以达到 3～7 倍的能力提升，以下主要是在整个吞吐能力建设过程中...