2 天前 / u128287
9 月 26 日下午，爱奇艺技术产品团队举办了第 19 期“i 技术会沙龙”，本次 i 技术会的主题是“数据治理探索与应用”，来自快手、美团、快看的几位资深专家共同就相关技术议题进行了深入探讨。 爱奇艺研究员彭涛老师分享了题为《爱奇艺数据质量监控的探索和实践》的内容，主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。 福利！!!关注公众号，在后台回复关键词“数据治理”，就可以获得本次 i 技术会嘉宾分享 PPT 和录播视频。
3 天前 / yybbb
0 导语 本文属于用户行为数据领域入门级别文章，适合对用户行为数据略知一二但是对这个主题非常感兴趣的同学。 1 什么是用户行为数据？ “用户行为数据”，顾名思义就是用户在 APP、小程序、WEB 端等平台所做的行为（浏览、点击、滑动、长按等），通过数据埋点的方式上报至数据库，从而能够记录用户在一段时间内在不同平台上所做的动作。 2 采集与分析用户行为数据的意义 公司内部存储的数据一般被分为业务数据和用户行为数据，其中业务数据是与公司业务本身相关的数据...
9 天前 / 俞凡
这是 Airbnb Minerva 系列文章的第三篇，主要介绍 Minerva 如何为不同用户量身定制多功能的数据消费体验。原文：How Airbnb Enables Consistent Data Consumption at Scale[1] Minerva -- Airbnb 的大规模数据指标系统 Part 1 Minerva -- Airbnb 的大规模数据指标系统 Part 2 简介在本系列的第一篇文章中，我们介绍了 Minerva 在改善 Airbnb 数据分析工作方面所起的作用。在第二篇文章中，我们深入探讨了 Minerva 的核心计算基础设施，并介绍了我们如何保证数据集和团队数据的一致性。
24 天前 / Thoughtworks
浅谈数据流水线 2021 年 9 月 9 日 by 徐进 Leave a Comment 当下我们听过很多热门的技术名词，例如：机器学习模型、推荐系统、高管驾驶舱、BI 等等，在这些技术背后一个关键的角色就是：数据。这些数据通常不是单一的，原始的数据，而是需要从多个数据源获取，并经过复杂的提取、清洗、处理、加工等过程才能最终提供真正的价值。 我们常说“数据是未来的石油”，其实也就是在说，数据并不是“开采”出来就可以直接提供价值的，而是要经过若干流程的“加工”和“提纯”才可以产生价值。
28 天前 / sjf0115
关注我 获取大数据资讯 导 引 好的数据指标体系可以助力快速解构业务、理解业务、发现业务问题、快速定位原因并且找到最合适的解决方案。 搭建一个好的数据指标体系数据是助力业务决策的灵魂。 本文源自钱英男老师在『快手大数据｜数据内容建设交流会』上的演讲，相关视频回放可用快手 APP 搜索“快手大数据”观看。 本文包括五部分： - 为什么需要好的数据指标体系 - 好的数据指标体系是什么样 - 如何进行建设好的数据指标体系 - 春节战役指标体系实战 - 总结 全文共 7080 字，预计阅读时长 22 分钟。
64 天前 / 俞凡
数据是驱动业务、提供市场洞见的关键。这是 Airbnb Minerva 系列文章的第一篇，介绍了 Airbnb 的数据指标平台 Minerva 的诞生背景、基本功能。原文链接：[How Airbnb Achieved Metric Consistency at Scale][https://medium.com/airbnb-engineering/how-airbnb-achieved-metric-consistency-at-scale-f23cc53dea70] 数据反映了用户的心声，在 2019 新冠病毒病大流行期间，我们看到使用 Airbnb 旅行已经变得极端本地化 简介 Airbnb 依靠数据做出关键决策，通过随机对照实验验证产品想法，严格跟踪业务表现，以确保为利益相关者实现价值最大化。
78 天前 / 博文视点Broadview
当前，数据不仅是企业的核心资产和重要战略资源，也是重要的生产要素。数据资产已日益成为企业抢占未来发展主动权的前提和保障，做好数据治理、学会用数据赋能企业、驱动增长势在必行。 当一个时代来临的时候，最怕的是我们看不懂。 所以，为了帮大家看懂这个数智驱动的时代，博文菌为大家精心挑选了 8 本与数据赋能企业相关的权威经典书，希望帮助大家了解未来商业新形态的思考与实践，全面认识企业数智化转型，找到驱动企业持续增长的新力量，成为企业不可或缺的新势力人才！ 01《数智驱动新增长》肖利华，田野，洪东盈，杨文雅...
92 天前 / 开发者头条
大家好，我是周刊菌。 加入「码农周刊 VIP 会员」，一起牛起来！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。码农周刊是什么？码农周刊是一份专为广大程序员、编程爱好者们打造的 IT 技术周刊。每周发送。 2013 年 9 月 12 日创刊至今，已发送 300 多期，订阅用户超 20 万。 专业、简单、有用，是我们一直坚持的办刊宗旨。一路走来，我们见证了不少订阅用户从编程新手进阶成了高级程序员、架构师、CTO…… 2020 年 4 月，为了给用户提供更优质的服务，我们推出了「码农周刊 VIP 会员」服务。
93 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 4348 字 题图 ssyer.com “效果广告后定向时代，虽有千般万难，我们一样还得解决定向智能的问题。” 需要提前说明的是，这一篇会涉及到本系列之前聊过的不少相关话题，可能需要一定的前置了解，才更好的对于本篇文章需要解决的问题做好的理解。 01 效果广告后定向时代 我们在上上一篇《数据与广告系列二十四：效果广告后定向时代如何逆流而上》中，有几个观点需要重新申明一下，偏于我们后续内容的开展。 效果广告的 oCPX 状态是一个中间过渡状态，一个广告平台与广告主相互妥协的一种“临时”解决方案。
121 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 4338 字 题图 ssyer.com “在效果广告的发展历程中，当前已经处于后定向时代，或者说是弱定向时代，我们是应该顺应潮流还是应该逆流而上？” 不管是顺应潮流还是逆流而上，很多时候我们看到的只是表象而已，我们先要理清楚要解决的问题。 01 效果广告后定向时代 什么是后定向时代？我发明的词，先不管，上图先。 这张图笔者（数据虫巢）在这个系列很早之前就发过，基本代表了效果广告的发展历程，而目前国内大的广告平台基本稳定处于 oCPX 阶段，而中小平台很多则处于 CPC 往 oCPX 过度的阶段。
135 天前 / sjf0115
之前文章有介绍过基础的 MergeTree 的物理存储结构，数据会按分区目录的形式保存到磁盘。本文着重介绍一些二进制文件的格式及内容。 首先按照如下规则创建表，用于后续数据的对照查询 #创建表 CREATETABLEdefault.ansel( `a` Int32, `b` Int32, `c` Int32, INDEX `idx_c` (c) TYPE minmax GRANULARITY 1)ENGINE = MergeTreePARTITION BY a ORDER BY bSETTINGS index_granularity=3, index_granularity_bytes = 0; #插入测试数据 insert into default.ansel(a,b,c) values(3,10,4),(3,9,5),(3,8,6),(3,7,7),(3,6,8),(3,5,9),(3,4,10);注意：设置...
195 天前 / hyper0x
通过数据解读商业报告，很多情况下，我们看到的都是图表的形式。有些同学们反馈希望再多介绍一些图表类型的解读，或者实例的解读。所以本期我们会讲条形图和曲线图的解读。 千万别以为条形图和曲线图很简单，里面也有不少学问哦。很多同学看图只是一个形式，并没有真正领会图中作者要表达的准确观点。还有部分同学基本不解读数据报告，他们只会坐等报告提供者送上结论来。 话说，求人不如求己。自己会读图这也是一门手艺啊，判断数据、理解数据、发现事实、产生见解这四个步骤，同样适合针对数据图表的解读。
213 天前 / Geekwolf
3 月 10 日欧洲最大云计算厂商 OVH 位于斯特拉斯堡的数据中心，发生历史上史无前例的灾难性事件，整个数据中心被大伙烧毁。3 月 11 日至今仍在努力恢复中。影响包括火爆全球的视频游戏制作公司 Rust、Deribit、英法波政府平台等在内的 360 万个网站。在云迅猛发展的今天，我们该如何应对不确定性带来的业务不可持续和数据安全灾难呢？ 01 OVHCloud 火灾事回顾 3 月 10 日 周三深夜，OVHcloud 位于斯特拉斯堡的 SBG2 数据中心被大伙烧毁，同时 SBG1 数据中心也部分受损，SBG3 和 SBG4 数据中心因受消防保护，被迫停服。360 万个站点处于离线状态。
233 天前 / djwang
本文最初发布于 DataStax 官方博客，经原作者授权由 InfoQ 中文站翻译并分享。本译文发布也已获得授权，较原文有调整。 译文链接：https://www.infoq.cn/article/t7S3mF1HSCJJDE8zsdOt 关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
253 天前 / ThoughtWorks
演进式架构支持跨多个维度的引导性增量变更。 ——《演进式架构》 这是《演进式架构》这本书第一章第一节对“演进式架构”的作用做出的简洁定义，也就是说演进式架构便是持续架构，因为在架构这件事上没有最终状态，它会随着软件开发体系的不断变化而演进，我们只能将时间和变化作为维度来定义、引导架构的走向。 《演进式架构》一书对于软件系统架构如何演进给出了相对明确的方向，但是对于数据领域来说，不但目前的基础设施相对落后，连数据系统构建相关的知识体系也异常匮乏...