56 天前 / 秦夏
这是《数据平台服务化建设》系列的第 2 篇，预计会写 10 篇左右。通过这个系列，我希望和大家分享下数据平台怎么去做服务化建设。扫描文末二维码，关注公众号，不再错过精彩。也欢迎转发朋友圈分享给更多人。 数据平台包含的模块和组件特别多，相关硬件资源又往往由于共用而显得紧张，再加上数据又是及其重要的资产，必然就会有很多需要申请权限的场合。 草创之初，大家都会直接钉钉 / 微信找管理员，或者发邮件走走流程。 而具体流程是什么样，即使有文档和规范写清楚，往往也很难执行准确。
61 天前 / 数据虫巢
作者·黄崇远 公众号 『数据虫巢』 全文 8968 字 题图 ssyer.com “人不够，系统给你凑。” 这个系列上一篇《数据与广告系列二十一：关于品牌广告，奔涌吧后浪》是五月底，这两个月时间倒不是停止了学习和前进，一直在进步从未停止过，只是确实没有通过公众号对外输出了，有点分身乏术。 一方面半年年关，项目要收尾，项目要回收数据，衡量产出，毕竟干了大半年不能当做白干。 另一方面新的半年开始，要做半年项目规划，前半年都熬过去了，可不能折在下半年。 性命（奖金）攸关，可不能大意。
93 天前 / 秦夏
这是《数据平台服务化建设》系列的引子，预计会写 10 篇左右。通过这个系列，我希望和大家分享下数据平台怎么去做服务化建设。扫描文末二维码，关注公众号，不再错过精彩。也欢迎转发朋友圈分享给更多人。 数据平台对一个以数据为核心资产的公司来说，实在太重要了。但作为基础设施技术部门，却很容易变成纯运维部门。 不是说运维不好，但是没有人会否定，纯运维部门，是得不到公司和合作部门的重视的，自己也很难有足够的成就感和回报。 要想找出路，服务化建设是不二选择。 这么说，不是要没事硬找事做，也不是奔着为了显得自己重要而去做。
115 天前 / xF0rk
我是正阳，很高兴能够通过文字认识你 考察一个人的判断力，主要考察他信息来源的多样性。无数的可怜人，长期生活在单一的信息里，而且是一种完全被扭曲、颠倒的信息，这是导致人们愚昧且自信的最大原因。 ——阿玛蒂亚。森（诺奖得主） 说明传统金融的风控主要利用了信用属性强大的金融数据，一般采用 20 个维度左右的数据，利用评分来识别客户的还款能力和还款意愿。信用相关程度强的数据维度大概在十个左右，包含年龄、职业、收入、学历、工作单位、借贷情况、房产，汽车、单位、还贷记录等；而互联网金融公司在利用大数据进行风控的同时...
123 天前 / Ccww
欢迎关注公众号【Ccww 技术博客】，原创技术文章第一时间推出前言 在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法： A 表记录利用 toad 或者 pl/sql 工具将其导出为一条条分号隔开的 insert 语句，然后再执行插入到 B 表中 建立数据库间的 dblink，然后使用 create table B as select * from A@dblink where...,或者 insert into B select * from A@dblink where... exp/expdp A 表，再 imp/impdp 到 B 表 那么除了上面的三种常用的方法，还有其他比较好的方法进行数据迁移吗...
125 天前 / 数据虫巢
作者·黄崇远 公号『数据虫巢』 全文 6378 字 题图 ssyer.com “看似大愚实为大智的品牌广告。” 哪怕是广告行业从合约时代稳定的步入到效果广告时代，甚至是现在已经逐步的往保成本的 oCPX 广告形态转换，品牌广告依然存在，并且还将会一直存在下去。 经久而不衰！ 01 滚滚长江东逝水 滚滚长江东逝水，浪花淘尽英雄。 是的，关于品牌广告，我们从这个“浪”开始讲起。 前几天，朋友圈一则视频刷爆了，那就是 B 站联合何冰老师制作的“后韭菜”，不对，是“后浪”。 言称，借着五四青年时节，送给新一代的人们，额，说的好像就是我。
131 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 3681 字 题图 ssyer.com “人口买卖的时代终究会过去的。” 这个系列上一篇是《数据与广告系列十九：推荐召回与广告 LookAlike，万物皆可 Embedding》，时间是 3 月中旬，不觉时间又过了 2 个月，从开始写这个系列都快一年了。 中间隔了几篇写个小朋友们的（初学者系列），今天我胡汉三又回来了。 今天要聊的广告话题是一个非常应景的话题，也非常时髦的话题，那就是在全民 oCPX 的大趋势下，常规定向模式该何去何从。
143 天前 / sjf0115
漫谈数据治理之二：思想上的体系化数据的滚雪球效应现代数仓体系中，数据数量的高速增长已经不是什么新鲜事了，在大数据的作用被业界所认知到后，几乎所有对于业务有价值的行为，都将以数据的形式被收集。虽然这些数据很有价值，但在体现数据的价值之前，数据存储的成本已经扛不住了。据可靠统计，大公司每年数据的存储量以 60% 的速度在增长，5 年后业界的数据规模就将达到今天的 10 倍，数据的滚雪球效应正在体现。
152 天前 / 技术小黑屋
能有什么用我们举一个简单的例子（非全部示例）来描述cut有什么用，可以做什么 简洁输出，去除干扰冗余信息比如这个日志，可能会出现折行，另外假设04-19 18:26:55.605 22750 22883 W这些列的信息属于干扰信息 12345678910111213141504-19 18:26:55.605 22750 22883 W System.err: java.lang.NoSuchFieldException04-19 18:26:55.605 22750 22883 W System.err: at com.xiaomi.push.au.a(Unknown Source:16)04-19 18:26:55.605 22750 22883 W System.err: at com.xiaomi.push.au.a(Unknown Source:4)04-19 18:26:55.605 22750 22883 W System.err: at...
152 天前 / sjf0115
漫谈数据治理之一：计算与存储压力背景概要做数据的同学都能够有体会，当我们做业务时间长了以后，数据表的数量就会变得庞大无比，很多过去的逻辑，如果负责的同学离职了，那么能再看懂它的人就很少了。久而久之，就造成了表一大堆，没人敢动的问题。等到计算或者存储遇到瓶颈了，回过头来再改，会让人痛不欲生。主要痛点只建表，不删表：绝大多数做数据工作的同学，都没有及时清理无用表的习惯。交接过程产生漏洞：由于业务的问题比较繁琐，理解起来有一定难度，因此在离职交接时通常不会交接的很好，埋下了坑。
182 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 1000 字 题图 ssyer.com “ 万物皆可 Embedding，开启全面数据化的时代。” 正式打算写 Embedding 相关话题之前，有突然想到 N 年前看过的《黑客帝国》，如果人或者其他事物只是一串数字或者一行代码，那的多虚幻。但难以想象的是，我们的世界离那种“境界”已经不是遥不可及了。 01 对事物描述方式的变迁 通常我们对一个事物的描述，都会从各个维度去描述它，并附带上其各种属性来描述它的唯一性。 比如，我们描述一辆车可能会从什么颜色，几座，价格，动力类型，品牌等维度去定义一辆汽车。
207 天前 / sjf0115
数据百问系列：DAU 为何会骤降？0x00 前言 本次讨论的主题是：DAU 骤降的分析思路有哪些？ 问题： 假设你在一家游戏公司做数据分析，现在发现从 8 月份开始公司运营的某款游戏出现了 DAU 骤降的现象，你该如何分析这个现象？ 分析： 本话题相对是一个发散性的话题，并没有限制太多的内容，主要是想和大家讨论遇到类似问题的分析思路。 另外，该问题在大部分公司中都会遇到，了解了该问题的分析思路必定会对你有所帮助，最后，你可以认为这是一个面试题。面试官和面试者都可以了解这个问题。
210 天前 / 开发者头条
尊敬的微盟商户： 截止到 3 月 1 日晚 8 点，在腾讯云团队协助下，经过 7*24 小时的努力，我们数据已经全面找回，由于此次数据量规模非常大，为了保证数据一致性和线上体验，我们将于 3 月 2 日凌晨 2 点进行系统上线演练，将于 3 月 3 日上午 9 点数据恢复正式上线。 此次事故给商家经营造成了严重的影响，公司管理层对此深感自责和愧疚，我们准备了 1.5 亿元人民币赔付拨备金，其中公司承担 1 亿元，管理层承担 5000 万元。在紧抓数据恢复的同时，也在同步研究商家赔付方案，我们拟定了现金赔付计划和流量赔付计划供商家选择。
227 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 2986 字 题图 ssyer.com “ 黑夜总是会过去的。” 01 前言 按 1 月 20 开始算，到现在疫情已经持续被关注 20 多天了，下面的是 9 号更新的全国疫情分布图。 但从 2 月 10 号了，虽然很多公司依然没有正式开工，但陆陆续续都开始了远程办公模式了。但实际上，我们从广告行业的角度来说，其实早在一周多前很多领域的广告投放就开始复苏了，并且极有疫情时期的特色。 理解广告投放的规律变化对于理解广告行业具有重大意义，而结合当前疫情时期的广告投放情况变化去理解，更是一个大好的深入学习了解的机会。
228 天前 / linjinhe
第四章主要介绍数据的序列化和反序列化，以及迭代升级过程中如何保证兼容性。 分布式系统滚动升级的过程中，新旧数据与代码是同时并存的。如果出现异常，可能还需要回退程序。因此，升级过程中需要保证： 向后兼容（Backward compatibility）：新代码要能正确读取旧数据。向前兼容（Forward compatibility）：旧代码要能正确读取新数据。数据在内存中的时候是一个个“对象”（objects）。 保存到外存或通过网络传输时，得先将这个内存中的对象转换成字节流——这个过程称之为序列化（Serialization）。