11 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 1000 字 题图 ssyer.com “ 万物皆可 Embedding，开启全面数据化的时代。” 正式打算写 Embedding 相关话题之前，有突然想到 N 年前看过的《黑客帝国》，如果人或者其他事物只是一串数字或者一行代码，那的多虚幻。但难以想象的是，我们的世界离那种“境界”已经不是遥不可及了。 01 对事物描述方式的变迁 通常我们对一个事物的描述，都会从各个维度去描述它，并附带上其各种属性来描述它的唯一性。 比如，我们描述一辆车可能会从什么颜色，几座，价格，动力类型，品牌等维度去定义一辆汽车。
36 天前 / sjf0115
数据百问系列：DAU 为何会骤降？0x00 前言 本次讨论的主题是：DAU 骤降的分析思路有哪些？ 问题： 假设你在一家游戏公司做数据分析，现在发现从 8 月份开始公司运营的某款游戏出现了 DAU 骤降的现象，你该如何分析这个现象？ 分析： 本话题相对是一个发散性的话题，并没有限制太多的内容，主要是想和大家讨论遇到类似问题的分析思路。 另外，该问题在大部分公司中都会遇到，了解了该问题的分析思路必定会对你有所帮助，最后，你可以认为这是一个面试题。面试官和面试者都可以了解这个问题。
39 天前 / 开发者头条
尊敬的微盟商户： 截止到 3 月 1 日晚 8 点，在腾讯云团队协助下，经过 7*24 小时的努力，我们数据已经全面找回，由于此次数据量规模非常大，为了保证数据一致性和线上体验，我们将于 3 月 2 日凌晨 2 点进行系统上线演练，将于 3 月 3 日上午 9 点数据恢复正式上线。 此次事故给商家经营造成了严重的影响，公司管理层对此深感自责和愧疚，我们准备了 1.5 亿元人民币赔付拨备金，其中公司承担 1 亿元，管理层承担 5000 万元。在紧抓数据恢复的同时，也在同步研究商家赔付方案，我们拟定了现金赔付计划和流量赔付计划供商家选择。
57 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 2986 字 题图 ssyer.com “ 黑夜总是会过去的。” 01 前言 按 1 月 20 开始算，到现在疫情已经持续被关注 20 多天了，下面的是 9 号更新的全国疫情分布图。 但从 2 月 10 号了，虽然很多公司依然没有正式开工，但陆陆续续都开始了远程办公模式了。但实际上，我们从广告行业的角度来说，其实早在一周多前很多领域的广告投放就开始复苏了，并且极有疫情时期的特色。 理解广告投放的规律变化对于理解广告行业具有重大意义，而结合当前疫情时期的广告投放情况变化去理解，更是一个大好的深入学习了解的机会。
58 天前 / linjinhe
第四章主要介绍数据的序列化和反序列化，以及迭代升级过程中如何保证兼容性。 分布式系统滚动升级的过程中，新旧数据与代码是同时并存的。如果出现异常，可能还需要回退程序。因此，升级过程中需要保证： 向后兼容（Backward compatibility）：新代码要能正确读取旧数据。向前兼容（Forward compatibility）：旧代码要能正确读取新数据。数据在内存中的时候是一个个“对象”（objects）。 保存到外存或通过网络传输时，得先将这个内存中的对象转换成字节流——这个过程称之为序列化（Serialization）。
63 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 8030 字 题图 ssyer.com “万年长青的 CTR 预估。” 本文将涉及广告的排序相关业务，以及 CTR 预估的模型发展，最后将给出 XGB+LR 的经典组合解决方案。 本文的示例项目，基于 Kaggle 上的开源 CTR 预估数据集，见 Github 地址（记得给 start 哈）： https://github.com/blogchong/data_and_advertisement 01 前言 在系列第 16 篇《数据与广告系列十六：广告与游戏》中，我们中断了机器学习广告应用场景的话题，今天我们继续第十五篇的节奏。
67 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 4023 字 题图 ssyer.com - 黎明前的黑夜 “ 游戏广告永远是广告领域中的关注大头。” 今年的年注定不会太好过，年前最后一天 A 股跌了 2 万亿，科比突然离我们而去的噩耗，活了 30 年第一次春节放假放了 10 天，从来没有如此冷清的年夜等等，当然还有全国坚守在一线围绕疫情奋斗的工作者们。 对于我个人来说，除了回乡下跟爸妈还有兄弟几个吃了年夜饭，基本就没有怎么出门，除了“全副武装”出去采购过一次物资（吃喝的），基本上猫在家里。 吃睡随心，手机不离手，昼夜稍微有点偏离，作息也些许混乱。
67 天前 / linjinhe
第三章主要介绍可持久化的数据索引——主流的可持久化数据索引有下面几种： Hash Index。LSM-Tree。B-Tree。B+Tree。书中没有提到 B+Tree，可能是因为它和 B-Tree 比较像。考虑到 B+Tree 作为世界上最流行的关系数据库 MySQL 的官方存储引擎 InnoDB 的索引结构，本文还是决定拿出来学习一下。Hash IndexHash Index 是一种相对简单的索引结构。几乎每一种程序设计语言都有提供内存数据结构 hash map/table 的标准库，比如 C++ 中的 std::unordered_map、Python 中的 dictionary、Golang 中的 map。
68 天前 / linjinhe
假期宅家，这两天在看一本书：Designing Data-Intensive Application，书名翻译成中文是设计数据密集型应用 —— 大部分互联网应用都属于数据密集型应用。 通读下来，这本书并没有教怎么设计一个应用（Application），而是介绍各种数据系统（Data System）背后的设计思想和技术 —— The Big Ideas Behind Reliable, Scalable and Maintainable Systems. 这本书的内容很“丰富”，写得算是通俗易懂，推荐对数据系统内部实现原理了解比较少的人阅读，有助于在做技术选型时进行合理的判断和取舍。
76 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 8210 字 题图 ssyer.com “ 聊聊商业兴趣标签建模，顺带学习下 kaggle 竞赛神器，快哉。” 01 前言 我们来回想下，早在第是一篇《数据与广告系列十一：从性别预测的 CASE 开始手撕机器学习代码》的时候，我们就通过一个简单性别标签预测的 CASE，帮助大家接触基于机器学习的简单应用。 后续在第十二篇《数据与广告系列十二：接上一篇，见习算法工程师教程》中更是把机器学习的基本流程结合数据集，特征处理，模型，参数调优，评估的流程给大家过了一道。
85 天前 / 曲奇泡芙
近几天的CES 2020上，NXP公司发布了新一代的S32G车载网络处理器。作为NXP S32系列最新的处理器，S32G将汽车行业整车EE架构往高性能，分域架构的现代设计落地进一步推进。 根据ABI研究的报告，目前路上跑着超过4千万的网联汽车，车辆每小时可以产生超4G的车辆数据。基于大规模的车辆数据服务可以为整车厂和车主带来新的机会和体验。大规模的车辆原始数据全量传输到云端处理在延时和带宽方面不能满足应用场景的要求，数据驱动的车载服务对车载数据处理能力提出了更高的要求。
94 天前 / 数据虫巢
作者|黄崇远（题图：ssyer.com，CCO协议）公号，数据虫巢(ID: blogchong) 01 前言 上一篇是《数据与广告系列十三：广告中的异常预测问题(PU学习&CostSensitiveClassification) 》，时间是2019年10月18号，现在都2020年了。时隔2个多月，我们又继续回来继续这个系列。 在上一篇里，我们从广告场景中的异常预测问题出发，但实际上重点是解决样本不平衡和典型正样本敏感的问题。
135 天前 / 编程一生
单机并发连接数 并发连接数英文缩写是SBC。 nginx在内核优化后可同时容纳10万并发连接数。注意这里面提到了内核优化后，因为nginx处理任务占用资源极少，它的性能瓶颈主要在linux的文件句柄限制。 Tomcat 默认配置的最大请求并发数为150。可以改大，但是有一定限制。瓶颈在于操作系统中对于进程中的线程数有限制：Windows 每个进程中的线程数不允许超过 2000，Linux 每个进程中的线程数不允许超过 1000。在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。 Jetty的并发量一般来说要优于Tomcat。
150 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 对于一些报表性的后台，有些会提供数据导出功能。如果查询维度过多又都是耗时操作，那就像是开了潘多拉盒子，会造成比较恶劣的后果。 数据的导出，下载，是和产品的定位息息相关的。许多产品就非常硬核，非常常用的导出功能都不给你提供，但你还是要屁颠屁颠的用着这些系统。因为人家牛X。 然鹅很多的产品，就比较软骨头。客户和老板需要什么，就提供什么，完全把做产品搞成了做项目。很可怜，也很可恨。 这是需求存在的根本。
160 天前 / hyper0x
－ 点击上方“中国统计网”订阅我吧！－ 文末更有惊喜福利~ 01为什么要实行数据化工作法 做商业分析，必须要“有数据思考、有数据说话”的思维模式，数据化可以告诉我们“从哪个问题着手”处理问题，同时可以指导我们要达到目标所需要实施的具体步骤。 数据化可以提高行动力的效果。在我们的日常工作中，五个关键数据，我们不可忽视：客户数量、客户单价、客户停留期（从成为客户到不再是客户的期间，越长越好）、客户获取成本和客户维系成本。