94 天前 / u320498
本文的内容是我 4 月 13 日在 Doris Meetup 上的分享，我主要从技术选型，典型应用，平台化建设，功能改造 4 方面进行了分享。 技术选型背景在2017年年底，我们已经维护了 Kylin 和 Druid 两个开源 OLAP 系统，Kylin 主要满足离线固化多维分析的需求，Druid 主要满足实时多维分析的需求。 所谓的固化多维分析，指需要提前预定义维度和指标，然后查询时需要根据定义好的维度和指标进行查询，这样就无法满足即席的灵活多维分析需求，比如任意字段聚合，任意多表 Join。 还有一点就是 Kylin 和 Druid 都是基于预计算的系统，没有保留明细数据，无法......
282 天前 / sjf0115
Kylin是一个底层使用HBase作为存储引擎和查询引擎的的多维分析平台，并对外提供标准SQL查询功能。在超大规模数据集上，Kylin还能达到亚秒级的查询响应。 Kylin的架构： Kylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Cube构建引擎及存储引擎等，同时包括REST服务器以响应客户端请求。 元数据引擎：包括项目、Hive表、数据模型、Cube等元数据的管理； 存储引擎：构建的Cube数据最终以HFile的格式存储到HBase； 查询引擎：基于Calcite的SQL解析和HBase的Coprocessor并发查询能力； Cube构建引擎：使用MapReduc......
320 天前 / 黄军雷
作者 | 小米大数据如今的小米不仅是一家手机公司，更是一家大数据与人工智能公司。随着小米公司各项业务的快速发展，数据中的商业价值也愈发突显。而与此同时，各业务团队在数据查询、分析等方面的压力同样正在剧增。因此，为帮助公司各业务线解决这些数据方面的挑战，小米大数据团队不断地尝试通过不同的技术手段打造新的解决方案。 小米大数据，是一支以“融汇公司全景数据，通过数据驱动、AI 赋能公司核心业务”为使命的研发技术团队，目前主要负责设计、完善公司级数据仓库解决方案，提供完备及全链条的数据治理一站式平台，连通各业务线数......
502 天前 / 编程小梦
注：本文对SnappyData的描述仅基于对SnappyData论文和官方文档的阅读。1 Why SnappyDataSnappyData诞生的背景是当时没有一个单一系统可以同时满足Streaming Processing + OLTP + OLAP这3个需求。当时的常见解决方案如下：SQL On Hadoop（Hive, Impala/Kudu and S...
509 天前 / 编程小梦
OLTP是Online Transaction Processing的简称；OLAP是OnLine Analytical Processing的简称；HTAP是Hybrid Transactional/Analytical Processing的简称。Transaction是指形成一个逻辑单元，不可分割的一组读，写操作；Online一般指查询延迟在秒级或毫秒...
539 天前 / 编程小梦
What is Druid Why Druid Druid 架构 Column Segment Segment的存储格式 指标列的存储格式 String 维度的存储格式 Segment生成过程 Segment load过程 Segment Query过程 Druid的编码和压缩 总结 参考资料 本文主要介绍Druid Storage的原理，包括Druid S...
580 天前 / neoReMinD
本文主要介绍Hulu用户分析平台使用的OLAP引擎——Nesto（Nested Store），是一个提供近实时数据导入，嵌套结构、TB级数据量、秒级查询延迟的分布式OLAP解决方案，包括一个交互式查询引擎和数据处理基础设施。（万字长文，从这里出发，阅读大概需要15分钟）1. 项目背景Nesto起源于用户分析团队，业务上需要一个面向用户、分析型的产品，提供任意...
825 天前 / phperzone
本文根据谢麟炯老师在〖DAMS 2017中国数据资产管理峰会〗现场演讲内容整理而成。 （点击底部“阅读原文”获取谢麟炯演讲完整PPT） 讲师介绍 谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。 分...
907 天前 / lxw的大数据田地
Caravel(曾用名Panoramix)，是由知名在线房屋短租公司Airbnb开源的一款数据探索与可视化工具，该工具在可视化、易用性和交互性上非常有特色，用户可以轻松对数据进行可视化分析。官网地址为： http://airbnb.io/caravel/Caravel介绍Caravel底层使用Python开发，与SQLAlchemy深度整合，目前原生支持的数...
907 天前 / lxw的大数据田地
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Kylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求；支持额外...