3 天前 / sjf0115
据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织和存储，那么在价值被发现前，也许数据成本灾难已经来临。它犹如堆积如山的垃圾，给我们企业带来的是极大的成本，而且非常难以消费和发掘价值，也许数据更可悲的命运是在价值发现之前它以死去。不得已的历史数据清理还在进行中吗 那么，企业大数据体......
4 天前 / 刘奇1993
有些小伙伴在实际使用中发现xgboost可以自动处理缺失值，而有些模型不可以。我想先从两个角度解答这个困惑： 工具包自动处理数据缺失不代表具体的算法可以处理缺失项对于有缺失的数据：以决策树为原型的模型优于依赖距离度量的模型回答中也会介绍树模型，如随机森林(Random Forest)和xgboost如何处理缺失值。文章最后总结了在有缺失值时选择模型的小建议。 1. 机器学习工具库开发的“哲学”首先你有这个困惑是因为你直接调用了工具库，比如Python的sklearn和xgboost等，所以你认为算法A可以自动处理缺失值而B不可以。 但真实情况是…开发者在封......
11 天前 / yybbb
今年年初，蚂蚁金服ATEC城市峰会在上海举办。金融智能专场分论坛上，蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分享。 演讲中，李俊华介绍了蚂蚁金服数据架构体系的免疫系统——数据质量治理体系，此外还着重介绍了数据质量实施的相关内容，以及蚂蚁的数据质量治理实践与所面对的实际挑战。 蚂蚁金服数据平台部高级数据技术专家李俊华 一、数据治理概况 近年来，蚂蚁金服不断在数据架构上进行升级改造，其目的在于解决蚂蚁所面临的数据物理孤岛问题。如今，蚂蚁以及......
15 天前 / 码代码的陈同学
名词解释：Lookup 指数据字典，常用于表示状态，应用中通常为枚举类，页面上可作为下拉框的数据源。 本文以一个小故事分享基础数据维护的一些事。 痛苦的原始生活晚上九点，程序在生产环境部署完成，小A终于歇了口气，开始按顺序把各种基础数据录入系统。 录入新菜单 录入新接口 录入Lookup …… 重复着 Control C/V ，小A回想起开发F功能时的场景，真是惨不忍睹。 “擦，功能简单至极，却有5个Lookup，每个Lookup居然有十几个项”，瞄完功能文档后，小A痛不欲生。 好吧！又能怎样呢？ 吭哧吭哧创建了5个枚举类，完成CRUD，痛苦的把L......
16 天前 / mr7
最近遇到一个数据查询接口性能低下的问题，需要进行优化，从解决方案的调研与梳理到方案的确定，再到最终方案的执行落地，我将优化的过程完整的记录了下来，与大家分享学习，希望能给大家有所帮助和启发。 PS：以下我所描述的所有表和字段都是虚拟的。 问题产生我们有很多上报的数据，数据量比较大。这些数据保存在 report_info 表中的，表结构如下所示： create table report_info ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `......
18 天前 / 苦叶子
本文开始逐步的降低公众号更文频率，提升文章质量，帮忙多点点文章末右下角的“好看”支持下，也可以将本文分享到朋友圈或你身边的朋友，谢谢 客观的讲，数据质量是质量保证的基石之一，我想没有哪个企业会不同意这一事实。 但我们如何去评估数据的质量？ 如何去辨别什么是好的数据质量呢？ 在中国大部分企业客观的讲，基本没有意识到数据质量的重要性，更没有专门的数据质量测试计划、团队、投入等。 下面从几个方面就数据质量的测试做些分享。 数据质量标准 对于特定的业务和功能，我们需要去定义好数......
27 天前 / Thinkgamer
“数据敏感性是指对某些数据具有一定的辨识能力，并且能针对这些数据看到一些别人意识不到的问题，或者别人意识不到的信息。各个行业都有各自的数据，所以这些敏感性也是对这些不同的数据而言的。” 01 — 判断题 2009年4月某地区某品牌销售同比增长32%，该地区的三个经销商分别完成销售23.8万、36.8万、27.0万，去年同期他们分别完成销售18.3万、28.8万、20.9万。（ ） A．正确 B.错误 C.不确定 江苏省统计局最新统计资料显示，前三季江苏实现进出口额3034.68亿美元，比去年下降0.7%，占全国比重为15.4%。在全......
28 天前 / 虞大胆
作者雅诺达（企业代号名），目前负责贝壳找房数据直通车项目。 1背景 随着线上平台业务快速发展，数据价值越来越高，使用越来越频繁，数据以多种形式散落在公司内部，如何将存在关联的数据，更方便的汇总、计算，并打通数据孤岛，让异构数据源快速跨平台集成显得非常重要。目前贝壳有近1000个数据库，业务数据表2万5千个，将这么大量的数据库表数据快速准确导入到指定源目的地显得尤为重要，接下来让我们一起探讨下这个问题。 2现状及痛点 2.1 数据获取周期长且滞后 业务方需要将某个业务数据库表信息建立到Hive离线数仓时，需要通过sqoop......
31 天前 / hyper0x
作者丨金立达，吴承霖 机构丨笨鸟社交 AI Lab 学校丨英国帝国理工学院 研究方向丨自然语言处理、知识图谱 在击败 11 个 NLP 任务的 State-of-the-art 结果之后，BERT 成为了 NLP 界新的里程碑， 同时打开了新的思路： 在未标注的数据上深入挖掘，可以极大地改善各种任务的效果。数据标注是昂贵的，而大量的未标注数据却很容易获得。 在分类中，标签表示训练示例所属的类; 在回归中，标签是对应于该示例的实值响应。 大多数成功的技术，例如深度学习，需要为大型训练数据集提供 ground truth 标签；然而，在许多任务中，由于数据......
31 天前 / 深广大数据Club
微信公众号：深广大数据Club 关注可了解更多大数据相关咨询。问题或建议，请公众号留言; 如果你觉得深广大数据Club对你有帮助，欢迎转发朋友圈推荐关注 现如今，实时计算开始火热，包括阿里对flink的大力支持，让实时计算成为了大家眼中的焦点。 我们可以将所要处理的数据分为有序数据和无序数据。无序数据不要求数据的顺序一致性，在做处理的时候可以根据自己对吞吐量的需求，加大并发度，例如网站日志；而有序数据一般属于对数据有严格要求的场景，必须保证数据的强时序性，例如银行交易义务。 在数据量较小以及满足业务需求的情况下，保......
32 天前 / 邓旭东
昨天做了一个德文数据的词频统计，发来的数据是word文件，如下 für mich ging es bei einem foto mit prsident erdogan nicht um politik oder um wahlen, sondern darum, das hchste amt des landes meiner familie zu respektieren.“deutsche fuball-fans hatten zil und gündogan das erdogan-foto übel genommen 一开始我以为他发错的数据有问题，不然怎么会 乱码呢！后来才知道，数据文件没错，德文的有些字符长得比较奇特。让我对word的德文文档做词频统计，按照流程顺序 读取docx文件的文本数据 对德文进行词频统计 输出到......
32 天前 / hyper0x
准确率高达 96.2% 的模型跑在真实数据上却可能完全无法使用。一个可能的原因是：你所使用的训练数据是不平衡数据集。本文介绍了解决不平衡类分类问题的多种方法。选自TowardsDataScience，作者：Baptiste Rocca，参与：贾伟、路。假设老板让你创建一个模型——基于可用的各种测量手段来预测产品是否有缺陷。你使用自己喜欢的分类器在数据上进行训练后，准确率达到了 96.2％！ 你的老板很惊讶，决定不再测试直接使用你的模型。几个星期后，他进入你的办公室，拍桌子告诉你你的模型完全没用，一个有缺陷的产品都没发现。 经过一番调查，你发现尽管......
34 天前 / 美团技术团队
总第333篇 2019年 第11篇 在大数据时代，数据已经成为公司的核心竞争力。此前，我们介绍了美团酒旅起源数据治理平台的建设与实践，主要是通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。 背景 近期，业内数据安全事件频发，给相关企业造成了无可挽回的损失，更为数据安全防护意识薄弱的企业敲响了警钟。如何对公司内部数据最为集中的数据分析、数据服务、数据治理等各种数据类产品进行权限管控，已经成为数据安全建设中最为重要的任务。 如果从控制力的角度来进行划分的话，权限管控可以分为功能级权限管控和数据级......
38 天前 / xF0rk
点击上方蓝字关注我们吧！ 引子：互联网的发展一日千里，安全技术随着互联网的发展，出现的新场景、新技术、新名称都越来越多；从GDPR到AI安全,从物联网安全到大数据安全；但对网络安全整个体系的阐述，基本还是沿用着最早的信息安全的理念，如CIA三要素来描述我们在网络空间的安全体系；但对于很多新型的网络安全问题，信息安全体系已有局限，我们如何来去思考未来的网络空间的体系呢？同时，这些新的变化带来挑战的同时也带来新的机会，作为安全从业人员，我们如何能看到未来安全的终局，洞悉这个快速变化的时代的方向？ 一、由信息安全......