136 天前 / 姬野
【作者：季石磊，程越强，韦韬】 1.引言 在大数据时代，数据带来了巨大价值的同时,也带来了用户隐私保护方面的难题，如何在大数据开发应用的过程中保护用户隐私和防止敏感信息泄露成为新的挑战。 我们的大数据隐私保护系列文章的第一篇[1]和第二篇[2]主要讲解了k-anonymity(k-匿名化),l-diversity(l-多样化),t-closeness和ε-d...
137 天前 / sjf0115
敏捷之歌 我抽数故我存在 |DBus 人人玩转流处理 |Wormhole 就当吾是数据库 |Moonbox 颜值最后十公里 |Davinci 导读：实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTD...
138 天前 / sjf0115
感谢阅读「美图数据技术团队」的第 7 篇文章，关注我们持续获取美图最新数据技术动态。 本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Stream 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长，建议先收藏～ / 编程模型对比 / 运行角色 Spark...
138 天前 / 核动力蜗牛
引言Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。一个Spark Application一般包括Driver和Executor两种JVM进程。Driver为主控进程，负责创建Context，提交Job，并将Job转换为T...
140 天前 / 我勒个去
在大数据时代下,衍生了一些新的工作职位,比如数据科学家、数据分析师。看着那诱人的薪资,恨不得能早日踏入这个行业。那么,今天我们来对数据挖掘进行一些基础性的了解和认识。在这里我们主要解决以下3个问题:什么是数据挖掘数据挖掘主要的方向或工作有哪些数据挖掘是怎样操作的上述的3个问题,分别对应着数据挖掘的定义、基本任务及建模的过程。下面我们分别来进行介绍。什么...
147 天前 / mr7
阿里妹导读：很多童鞋在后台留言，希望看到大数据相关的文章。因此，今天带来一篇阿里资深专家观滔在2017年云栖大会的精彩分享，为大家展示阿里大数据计算服务的进化演进、以及MaxCompute解读。 一、阿里云大数据计算服务概述 阿里巴巴大数据计算服务MaxCompute的前身叫做ODPS，是阿里巴巴内部统一的大数据平台，其实从ODPS到MaxCompute的转...
148 天前 / sjf0115
作者 | Kostas Tzoumas译者 | 陈守元（花名：巴真）编辑 | VincentAI 前线导读：本文主要翻译自《high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink》，作为 Flink 发明人以及 data-Artisan(Flink 背后...
149 天前 / hyper0x
文 | renhaichao on 测试 前言随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前...
154 天前 / realXuJiang
HDP 3.0.0 GA Hortonworks Data Platform 3.0.0版本，基本上集成Hadoop社区生态最新版本的强大功能特性，实现真正混合型数据平台。如图，HDP 3.0.0 版本核心功能特性。 我们上篇，其实就介绍了大数据数据平台发展的几个方向，而HDP做为一个资深玩家，当然引领了一个重要的发展方向，那就是完全基于HDFS和YARN发...
155 天前 / 小树叶大数据
一、简介 用户的生命周期大致划分4个阶段，拉新，活跃，留存付费，流失。目前互联网的人口红利也算是到了瓶颈期，怎样好好的留下自己的用户，防止用户的流失也是一个大的课题。对于算法来说不能改变产品本身的形态，但是我们可以利用数据，机器学习的方法来预测流失用户。通过历史的数据我们可以先验的知道产品本身的活跃留存情况，基本每个产品都有自己的数据指标体系（活跃，新增，留...
157 天前 / sjf0115
一.前言 MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。 二.Spark On HBase 1.可以解决的问题 Spark和HBase无缝对接意味着我们不再...
158 天前 / sjf0115
本文根据DBAplus社群第153期线上分享整理而成，文末还有好书送哦~ 讲师介绍王素梅 360大数据开发经理目前在360大数据中心担任大数据开发经理，拥有7年以上大数据行业从业经验，专注大数据处理、大数据平台开发，对大数据处理技术与场景有丰富的实战经验，尤其擅长实时数据计算场景的解决方案。 本次要分享的是360大数据中心数据处理平台Titan的架构演进，以...
158 天前 / 唯技术
1 风控与图 在大数据时代，社交关系趋于复杂化，越来越多的互联网项目都和社交关系联系起来。而对社交关系的良好契合，使得图数据库（Graph Database）在互联网领域迅速崛起。通过图数据库可以高效地进行社交关系查询、分析和数据挖掘，以发现有价值的信息。 近几年互联网金融发展火热，用户对消费分期、现金贷等需求也越来越高。然而机遇也意味着调挑战，相比传统金融...
159 天前 / ThoughtWorks
背景在近期的项目当中，我们为客户落地实施了数据资产平台。随后，在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析，来挖掘一些业务价值和业务创新点。当我们拿到数据开始进行一些初步探索的时候，发现导入平台的数据质量存在一定的问题：例如一些用于数据分析的关键字段的值为空、一些本应该有主从关系的数据对应不上、数据分...
159 天前 / NJSD
理解在分析存储于数据仓库的结构化大数据时Alluxio所带来的益处。使用配置来整合数据存储，而不是ETL在文件系统和对象存储之间统一大数据文件对重要和经常使用的数据提供按需快速本地访问，不保留永久副本通过删除数据副本和将数据迁移到商用存储来降低存储成本1. 摘要问题描述：对存储在不同仓库中的结构化大数据进行分析是大型企业面临的挑战许多大型企业都有结构化大数据...