561 天前 / sjf0115
供稿 |eBay Ads Team 作者 | 吴寒思周路余何 编辑 | 顾欣怡本文 5272 字，预计阅读时间 17 分钟更多干货请关注“eBay 技术荟”公众号 导读INTRODUCTION 本文介绍 eBay 广告数据平台的基本情况，并对比分析了 ClickHouse 与 Druid 的使用特点。基于 ClickHouse 表现出的良好性能和扩展能力，本文介绍了如何将 eBay 广告系统从 Druid 迁移至 ClickHouse，希望能为同业人员带来一定的启发。 01 背景 eBay 广告数据平台为 eBay 第一方广告主（使用 Promoted Listing 服务的卖家）提供了广告流量、用户行为和效果数据分析功能。
573 天前 / sjf0115
导语|本文实践了对于千万级别的用户，操作总数达万级别，每日几十亿操作流水的留存分析工具秒级别查询的数据构建方案。同时，除了留存分析，对于用户群分析，事件分析等也可以尝试用此方案来解决。 文章作者：陈璐，腾讯高级数据分析师 背景 你可能听说过 Growingio、神策等数据分析平台，本文主要介绍实现留存分析工具相关的内容。留存分析是一种用来分析用户参与情况 / 活跃程度的分析模型，可考查进行初始行为后的用户中，有多少人会进行后续行为，这是衡量产品对用户价值高低的重要指标。
577 天前 / sjf0115
作者简介 周耀，Kyligence 解决方案架构师，Apache Kylin、Apache Superset Contributor。 Apache Kylin 和 ClickHouse 都是目前市场流行的大数据 OLAP 引擎；Kylin 最初由 eBay 中国研发中心开发，2014 年开源并贡献给 Apache 软件基金会，凭借着亚秒级查询的能力和超高的并发查询能力，被许多大厂所采用，包括美团，滴滴，携程，贝壳找房，腾讯，58 同城等； OLAP 领域这两年炙手可热的 ClickHouse，由俄罗斯搜索巨头 Yandex 开发，于 2016 年开源，典型用户包括字节跳动、新浪、腾讯等知名企业。
613 天前 / sjf0115
导语 | 在百花齐放的交互式分析领域，ClickHouse 绝对是后起之秀，它虽然年轻，却有非常大的发展空间。本文将分享 PB 级分析型数据库 ClickHouse 的应用场景、整体架构、众多核心特性等，帮助理解 ClickHouse 如何实现极致性能的存储引擎，希望与大家一起交流。文章作者：姜国强，腾讯实时检索研发工程师。 一、交互式分析之 ClickHouse 1. 交互式分析简介 交互式分析，也称 OLAP（Online Analytical Processing），它赋予用户对海量数据进行多维度、交互式的统计分析能力，以充分利用数据的价值进行量化运营、辅助决策等，帮助用户提高生产效率。
646 天前 / -江边城外-
关注赞赏支持 clickhouse 数据模型之有序漏斗分析什么是有序漏斗，有序漏斗需要满足所有用户事件链上的操作都是逡巡时间先后关系的，且漏斗事件不能有断层，触达当前事件层的用户也需要经历前面的事件层 前言接上一章智能路径分析，假设我们已经得到了触达支付购买的路径有 “首页 ->详情页 ->购买页 ->支付“ 和 “搜索页 ->详情页 ->购买页 ->支付“ 两个主要路径，但是我们不清楚哪条路径转化率高，那么这个时候漏斗分析就派上用场了 漏斗模型是一个倒置的金字塔形状，主要用来分析页面与页面 功能模块之前的转化情况...
652 天前 / 后场技术
如果您紧跟数据库领域的最新发展，则可能对 ClickHouse 已经耳熟能详了，它是专为 OLAP 设计的列式数据库管理系统。ClickHouse 由 Yandex 开发，于 2016 年开源，这使其成为最新的列式数据库管理系统之一，当前被作为开源数据库被广泛应用。 因为 ClickHouse 支持实时，高速报告，所以它是一个功能强大的工具，特别是对于需要即时，快速和灵活的数据分析方式的现代 DevOps 团队而言。 但是，与大多数 DevOps 工具一样，ClickHouse 仅在受到正确管理和监控的情况下才能提供巨大的价值。
698 天前 / sjf0115
众所周知，MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。 为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。 在不久的将来，这一现状可能会发生改观。因为目前，编号 10851 的 PR 进入了 review 阶段。 (https://github.com/ClickHouse/ClickHouse/pull/10851) 该 PR 将为 ClickHouse 带来原生消费 binlog 日志的能力，是不是王炸功能？ 这次是新增了一个名为 MaterializeMySQL 的 database 引擎...
712 天前 / sjf0115
为了能够实时地了解线上业务数据，京东算法智能应用部打造了一款基于 Clickhouse 的实时计算分析引擎，给业务团队提供实时数据支持，并通过预警功能发现潜在的问题。 本文结合了引擎开发过程中对资源位数据进行聚合计算业务场景，对数据实时聚合计算实现秒级查询的技术方案进行概述。Clickhouse 是整个引擎的基础，故下文首先介绍了 Clickhouse 的相关特性和适合的业务场景，以及最基础的表引擎 MergeTree。
739 天前 / xF0rk
题外话： 因为人的因素，安全攻防对抗技术不断地变化，这看起来会给安全数据分析带来很大的挑战。 而安全数据的本质是不变的，基础的 TCP/IP 协议是不变的，恶意软件文件格式是不变的。掌握这些基础的，不变的特征，就能帮助我们分析绝大部分安全数据。 很多时候我们找不到一个恰当的应用场景，把先进的互联网技术应用到安全数据分析中去。我们不妨先去了解数据从何而来，尝试去模拟和解析网络协议，去捕获和运行恶意软件，去摸索和分析它们的行为规律。
751 天前 / php-v
导语 |OLAP（On-Line Analytical Processing），是数据仓库系统的主要应用形式，帮助分析人员多角度分析数据，挖掘数据价值。本文基于 QQ 音乐海量大数据实时分析场景，通过 QQ 音乐与腾讯云 EMR 产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。 一、背景介绍 QQ 音乐是腾讯音乐旗下一款领先的音乐流媒体产品，平台打造了“听、看、玩”的立体泛音乐娱乐生态圈，为累计注册数在 8 亿以上的用户提供多元化音乐生活体验，畅享平台上超过 3000 万首歌曲的海量曲库。
760 天前 / sjf0115
在日常的业务场景中，我们经常会遇到查询 TOP N 的需求。在 ClickHouse 中，一种常见的实现 TOP N 的 SQL 模板如下所示： SELECTA FROMtableGROUPBY AORDER BY COUNT() DESCLIMIT 10 简而言之，就是在排序后利用LIMIT 子句返回限定的前 N 行数据。 最近有一位热心的网友与我交流，描述了他在查询 TOP N 时遇到了 Deep Paging ( 深度分页) 问题。 我模拟了一段相似的 SQL 语句： SELECT type FROM test_table_all GROUP BY type ORDER BY COUNT() LIMIT10 数据表 test_table_all 是一张分布式表，使用了 Distributed 表引擎。
761 天前 / 知了一笑
一、列式库简介 ClickHouse 是俄罗斯的 Yandex 公司于 2016 年开源的列式存储数据库（DBMS），主要用于 OLAP 在线分析处理查询，能够使用 SQL 查询实时生成分析数据报告。 列式存储 行式存储和列式存储，数据在磁盘上的组织结构有着根本不同，数据分析计算时，行式存储需要遍历整表，列式存储只需要遍历单个列，所以列式库更适合做大宽表，用来做数据分析计算。 絮叨一句：注意这里比较的场景，是数据分析计算的场景。 二、集群配置 1、基础环境 ClickHouse 单服务默认已经安装完毕 Linux 下安装 ClickHouse 单机服务 SpringBoot 整合 ClickHouse 列式数据...
879 天前 / 携程技术
作者简介 Gavin Zhu，携程软件技术专家，负责监控系统运维开发、ES 系统运维及 Clickhouse 技术应用推广及运维工作。 ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎，携程用 ES 处理日志，目前服务器规模 500+，日均日志接入量大约 200TB。随着日志量不断增加，一些问题逐渐暴露出来：一方面 ES 服务器越来越多，投入的成本越来越高；另一方面用户的满意度不高，日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户；而从运维人员的角度看，ES 的运维成本较高，运维的压力越来越大。
909 天前 / sjf0115
今天笔者给大家带来 Grafana 在 ClickHouse 项目中的应用。为了内容的完整性，笔者会从 Grafana 讲起，简单普及一下，毕竟业界使用度已经非常高了。 GrafanaGrafana 是一种非常流行的工具，可用于根据时间序列数据创建交互式的仪表盘，也是每个数据库的分析和监控的解决方案。Grafana 允许用户查询、可视化、警报和了解指标。 Grafana 提供的很多很棒的特性： 可视化 从热图到直方图，常见图形到地理地图。Grafana 提供了大量的可视化选择，可帮助用户精美地理解数据。 监控报警 在接入数据时，根据业务需求定义阈值，无缝定义警报。
929 天前 / 知了一笑
一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 2、数据分析能力OLAP场景特征 大多数是读请求 数据总是以相当大的批(>1000rows)进行写入 不修改已添加的数据 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列 宽表...