10 天前 / zlt2000
点击上方“陶陶技术笔记”关注我 回复“资料”获取作者整理的大量学习资料！ 一、前言 ClickHouse 是一个用于联机分析 (OLAP)的列式数据库管理系统 (DBMS)；目前我们使用 CH 作为实时数仓用于统计分析，在做性能优化的时候使用了 物化视图 这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化 ClickHouse 的查询性能。 二、概念 数据库中的 视图 (View) 指的是通过一张或多张表查询出来的 「逻辑表」 ，本身只是一段 「SQL」 的封装并 「不存储数据」。
16 天前 / sjf0115
〇、背景 注：为简化表述，本文中将 clickhouse 简称为 ck, 将 zookeeper 简称为 zk。 我司从去年年底开始启动从香港到新加坡机房的迁移。目前 Clickhouse 集群所有实例都已经搬迁从香港搬迁到了新加坡机房，还剩下其依赖的 Zookeeper 集群在香港机房，因此我们近期准备将 Zookeeper 集群平滑搬迁到新加坡机房。 0.1 目标与挑战 0.1.1 zk 跨洲搬迁需对用户基本无感知 ck 集群发展到现在已经承载了整个公司的实时数据分析需求，还支持了许多在线服务。这要求 ck 集群不能够停机，在任何时候都是可用的。
18 天前 / u128287
供稿：王新春、王玉、王康、徐其民 唯品会大数据团队始终致力于赋能公司业务发展。目前我们在实时领域主要使用 Flink +ClickHouse 解决方案，覆盖业务场景主要包括实验平台、agamotto 监控、OLAP 查询日志等，整体响应 80% 在 5 秒内完成，大大提升了用户实时取数体验，推动业务快速迭代发展。 01 OLAP 在唯品会演进迭代 1.1 Presto/Kylin 在唯品会的使用 Presto 作为当前唯品会 OLAP 主力军，经历了数次架构和使用方式演进。
26 天前 / 雨后天空
2018 年，我写过一篇关于 Clickhouse 的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃： 上个月有 800 个合并的 PR ! 这难道没让你大吃一惊吗？或许需要一小时才能查看完这些变更日志和新功能描述，例如 2020 年：https://clickhouse.tech/docs/en/whats-new/changelog/2020/ 为了公平对比，ElasticSearch 仓库在同一个月有惊人的 1076 个合并 PR，同时在功能性方面，它的节奏也非常让人印象深刻！ 我们正在将 Clickhouse 用于 ApiRoad.net 项目（这是一个 API 市场...
38 天前 / reesunhuang
Flink 从入门到精通系列文章 基于 Apache Flink 的实时监控告警系统 关于数据中台的深度思考与总结（干干货） 日志收集 Agent，阴暗潮湿的地底世界 公众号 (zhisheng)里回复面经、ClickHouse、ES、Flink、Spring、Java、Kafka、监控等关键字可以查看更多关键字对应的文章。
67 天前 / sjf0115
春节前的最后一篇，在这里提前祝大家春节快乐 ClickHouse聚合函数的性能又提升了，相关PR 在此 : https://github.com/ClickHouse/ClickHouse/pull/19946 可以看到，这个 PR 在各种聚合函数中增加了 __restrict 修饰符，最终提升了 1.6 倍的聚合函数性能。 __restrict 是 C 语言中的关键字，它的作用是为编译器带来附加信息。当对指针增加 __restrict修饰之后，表示当前指针在存活期间是独占内存的，不会有其他指针指向这个地址。编译器在知道这个信息之后，就可以做出优化，从而提升性能。
69 天前 / u561252
前不久举办的 Kylin 五周年庆典中，热度最高的非这场“圆桌会谈”莫属。来自 Spark，Hudi，Clickhouse 以及 Kylin 等开源社区的大佬，来了一场跨越时差，跨越区域的“云”上对谈。 下一代云上数据分析产品的趋势都有哪些？他们都看好什么关键性技术呢？你想知道的都在本文啦！ 热点问题 湖仓一体和 Lakehouse 到底是什么？ 计算和存储分离已是大势所趋？ 到底是公有云，私有云还是混合云？ 数据上云，多云管理有何难点？ 数据治理，数据安全如何实现？ 一起来看看都有哪些大佬 主持人｜李扬：Kyligence CTO...
86 天前 / 逗逗
一 clickhouse 简介 1.1什么是 clickhouse ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的一个用于联机分析 (OLAP:Online Analytical Processing)的列式数据库管理系统 (DBMS:Database Management System)，简称 CH , 主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 ClickHouse 是一个完全的列式数据库管理系统，允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。
104 天前 / 陆道峰
简介批量写入又称为 bulk write，对于单表插入多条数据的场景，可以减少插入请求数量，提高吞吐量和效率。clickhouse 官方 Golang 驱动 clickhouse-go[1]支持该关键特性，但是文档的介绍不是很详细，只有一句： Bulkwritesupport:begin->prepare->(inloopexec)->commit 并没有详细介绍用法和原理，笔者在开发业务时使用的库是 sqlx[2]，sql 也支持 clickhouse-go 驱动。参考了官方样例代码 [3]： ... tx,err:=connect.Begin() checkErr(err) stmt,err:=tx.Prepare("INSERTINTOexample(country_code,os_id,browser_id,categories,action_day,action_time)V...
106 天前 / sjf0115
本文根据蔡岳毅老师在〖2020 Gdevops 全球敏捷运维峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整 PPT） 讲师介绍 蔡岳毅，携程旅行网酒店研发中心高级研发经理，资深架构师，负责酒店大住宿数据智能平台，商户端数据中心以及大数据的创新工作。 大家好，我是来自携程的蔡岳毅，今天给大家分享 ClickHouse 在我们大数据平台的应用，主要从应用的角度来介绍我们的高可用架构。其实这个百亿，我没太纠结，来之前我查了一下，现在我的平台上面是将近 700 亿数据，压缩前是 8T，存储是压缩后 1.8T。
112 天前 / sjf0115
在前一篇文章《ClickHouse 的运行指标监控可以怎么玩？》中，我介绍了怎么利用 ClickHouse 内置的 /metrics 服务，轻松与Prometheus和Grafana 集成。 所以今天就接着聊一聊，在 ClickHouse 中有哪些常用的监控指标。 在生产环境中，大部分操作都是围绕MergeTree 进行的，总的来说不外乎 INSERT、ALTER 、MERGE 和SELECT这么几类操作。 由于 ClickHouse 内部记录的指标非常多， 这里不可能列全，所以今天只能算是抛砖引玉，供大家参考。
121 天前 / sjf0115
导读 在数据量日益增长的当下，传统数据库的查询性能已满足不了我们的业务需求。而 Clickhouse 在 OLAP 领域的快速崛起引起了我们的注意，于是我们引入 Clickhouse 并不断优化系统性能，提供高可用集群环境。本文主要讲述如何通过 Clickhouse 结合大数据生态来定制一套完善的数据分析方案、如何打造完备的运维管理平台以降低维护成本，并结合具体案例说明 Clickhouse 的实践过程。 Clickhouse 简介 1.为什么选择 Clickhouse 目前企业用户行为日志每天百亿量级，虽然经过数仓的分层以及数据汇总层通用维度指标的预计算...
124 天前 / 陆道峰
简介我们需要存储结构化时序数据，时间间隔为 5 分钟或 1 分钟，计算 95 峰值、995 峰值、最值等指标，并且在网页中展示。 MySQL 项目开发初期，为了快速开发原型，验证产品，我们使用 MySQL 作为整个项目的存储。带来的问题是时序数据库范围分析查询耗时很长，计算 30 天的数据需要 30s+，到了无法容忍的地步，即便是创建索引、使用 BitInt 存储时间戳，几乎没有性能提升。 后来我们组其他同事说换 ClickHouse 来存储时序数据，于是我们就开始了替换之旅。
125 天前 / sjf0115
供稿 |eBay Ads Team 作者 | 吴寒思周路余何 编辑 | 顾欣怡本文 5272 字，预计阅读时间 17 分钟更多干货请关注“eBay 技术荟”公众号 导读INTRODUCTION 本文介绍 eBay 广告数据平台的基本情况，并对比分析了 ClickHouse 与 Druid 的使用特点。基于 ClickHouse 表现出的良好性能和扩展能力，本文介绍了如何将 eBay 广告系统从 Druid 迁移至 ClickHouse，希望能为同业人员带来一定的启发。 01 背景 eBay 广告数据平台为 eBay 第一方广告主（使用 Promoted Listing 服务的卖家）提供了广告流量、用户行为和效果数据分析功能。