1 天前 / 读芯术
全文共4898字，预计学习时长10分钟 实际上，数据科学家80％到90％的工作是数据清理，而这项工作的目的是为了执行其余10％的机器学习任务。没有什么比完成数据集分析后的收获更让人兴奋的了。如何减少清理数据的时间？如何为至关重要的10%的工作保留精力？ 根据很多专业人士的经验，对数据清理涉及的过程有充分的认知总是好的。了解流程、流程的重要性以及流程中可使用的技巧，将减少执行数据清理任务所需的时间。 良好数据的重要性 好的数据被定义为准确、完整、符合、一致、及时、独特且有效的数据。机器学......
1 天前 / mr7
优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。阿里数据技术专家门德亮给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。 大家好，我是门德亮，很荣幸，我正好见证了优酷从没有MaxCompute到有的，这样一个历程，我们正好是在快到5年的时候，做了从Hadoop到MaxCompute的这样一个升级。 2016年5月到2019年5月优酷的发展历程。整个用户......
11 天前 / hyper0x
前言随着数据通讯成本的急剧下降，以及各种传感技术和智能设备的出现，从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源源不断的产生海量的实时数据并发往云端。这些海量数据是社会和企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，帮助社会或企业进行科学决策、节约成本并创造新的价值。 Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家......
25 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
32 天前 / 苏鹭彬
在大数据领域的，Kafka作为消息发布订阅系统，为同学们所熟悉，它有非常好的扩展性。能够在大数据环境下实现高吞吐量和高可用。那么Kafka是如何保证数据的可靠性和一致性的呢？ 可靠性 可靠性方面，Kafka主要在Leader的选举、Broker的分布式部署、Partition的replication和Producer的acks三个方向进行保障。 Leader选举机制 Kafka Leader主要从维护的ISR（in-sync replicas）列表中选出，那么什么是ISR列表呢？我们来看下面一张图 这里我们可以发现Kafka的每一个partition都维护了一个ISR列表，这个ISR官方的解释是："isr" is ......
37 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议） 距上一篇《数据与广告系列七：广告与推荐系统技术架构》已经快有一个半月了。这一个月多里，确实很忙，五月底出去溜了一圈，六月初新的工作，新的环境，新的事情，确实事情比较多，不过也充实，趁机充电。 所以如约的围绕广告数据分析维度的文章没来，但今天我们可以来讨论另一个维度的话题，广告与电商，或者说更具体点--二类电商，一个广告维度很有特点的广告投放类型。 依然是高质量局，相信我，看完这篇文章，你对二类电商在广告上玩法肯定熟悉的溜溜的，说不定就辞职跑去当二类......
65 天前 / 宜信技术学院
活动关于我们流沙：宜信安全数据平台实践 作者：安全开发 高杨 浏览：905 日期：2019-06-12 前言OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目Hadoop，实时索引使用开源项目ElasticSearch，在线流分析使用著名的开源项目Storm。 宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构，相比于OpenSOC做......
68 天前 / 360技术
奇技指南 在万物互联的大数据时代，数据安全是个不容忽视的大问题。但企业往往缺乏未雨绸缪的意识，直到数据泄露等事件发生时才亡羊补牢，因此造成不可逆的损失和影响。此类事件在近年来频繁发生，而围观的我们是否应该反省自身，及时作出防御措施？ 360大数据中心技术总监徐皓接受dbaplus社群的专访，围绕「大数据平台安全设计和实践」这一话题展开了深度探讨。 本文首发于DBAplus社群。 徐 皓 现任奇虎360大数据中心技术总监，数据中心技术团队负责人，负责数据中心平台的规划和建设工作，主导并参与了数据中心全新一代平台的研发。曾就......
73 天前 / 开发者头条
【这是半佛仙人的第80篇原创】 0 这篇文章中涉及到的一些技术名词和多重逻辑嵌套的描述，可能对于部分读者的阅读体验不是很友好，但我觉得只有这么写才对的起各位长期以来的支持，该写硬核的内容还是要写的硬核。 我要把这件事情彻底写清楚，也希望可以让读者们意识到这件事情背后的恶心。 1 这一阵出现了一个很神奇的东西，叫做“原谅宝”，一时闹得整个微博沸沸扬扬的。 起因是一个身在德国的程序员在微博上公布了自己的一个发明，来龙去脉可以看一下这张图。 简而言之，就是这位程序员，利用技术，抓取......
75 天前 / mason32
数据批处理神器-Spring Batch(1)简介及使用场景tags： springbatch 1.引言最近使用 SpringBatch进行做数据迁移、数据同步、数据批处理等工作，感叹 SpringBatch设计之简洁，对批处理编程的抽象能力之强大。 众所周知，随着大数据技术发展，企业对数据越来越重视，如何把数据有效转化为信息，以帮助企业提供数据分析、商业决策、提高核心竞争力。而批处理则是实现这一目标的其中一个重要手段。通过批处理，可以完成数据加载、抽取、转换、验证、清洗等功能。这些工作具有数据量大、无需人工操作、与时间密切相关（如隔一段时间处理一次）等特点。......
80 天前 / 宜信技术学院
内容来源：宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 主讲人介绍 卢山巍：宜信数据中台平台团队负责人 字数：16895字 预计阅读时间：40min 导读：宜信于2017年推出了一系列大数据开源工具，包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等，在技术社区内得到了广泛关注和好评。这些工具是如何在宜信内部应用的？它们和宜信数据中台是怎样的关系？又是如何驱动各种日常数据业务场景的？ 本次分享对这些问题进行了回答，同时重点分享了宜信敏捷数据中台的设计、架构以及应用场景，提出一种敏捷数据中台的建设思路......
83 天前 / 智能大石头
NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netcore，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。 开源地址：https://github.com/NewLifeX/X（求star, 770+） 单对象缓存前文提到了以sql为key的数据层缓存，以及整表缓存的实体列表缓存，各自有其优缺点，适用于不同场合。 当单表数据较大（10万+）时，两者就无能为力了。天空一道巨响，对象字典缓存隆重登场！ 对象字典缓存：以......
85 天前 / 万向区块链
引言 5月18日至19日，由中国信息化百人会联合中国万向控股有限公司、杭州市萧山区人民政府共同举办的2019“数字化一带一路”国际高峰论坛在浙江杭州举行。万向区块链和PlatON云图首席经济学家邹传伟博士主持“新兴技术与数据治理国际研讨会暨中国信息化百人会数据治理论坛”并发表精彩演讲。 邹传伟博士发表《分布式经济与数据隐私》的主题演讲，从经济学视角出发，讨论数据隐私在形成市场时所面临的障碍，以及未来的方向性思考。 以下是万向区块链和PlatON首席经济学家邹传伟博士的演讲内容（有部分不改变原意的删改）。 邹传伟......
92 天前 / openio
写在开头的话 Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？ A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点： 1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上； 2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组织协同； 3）数据合规要求高：数据租户服务涉及到数据安全、用户隐私保护的合规要求高。 Q: 好吧，听起来，要搞定这样的集群，有难度呀！那何时要关注集群的治理呢？ A: 好问题！一般来说，当数据质量问题、数据交付及时性、数据......