330 天前 / sjf0115
作者 | Kostas Tzoumas译者 | 陈守元（花名：巴真）编辑 | VincentAI 前线导读：本文主要翻译自《high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink》，作为 Flink 发明人以及 data-Artisan(Flink 背后...
331 天前 / hyper0x
文 | renhaichao on 测试 前言随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前...
336 天前 / realXuJiang
HDP 3.0.0 GA Hortonworks Data Platform 3.0.0版本，基本上集成Hadoop社区生态最新版本的强大功能特性，实现真正混合型数据平台。如图，HDP 3.0.0 版本核心功能特性。 我们上篇，其实就介绍了大数据数据平台发展的几个方向，而HDP做为一个资深玩家，当然引领了一个重要的发展方向，那就是完全基于HDFS和YARN发...
337 天前 / 小树叶大数据
一、简介 用户的生命周期大致划分4个阶段，拉新，活跃，留存付费，流失。目前互联网的人口红利也算是到了瓶颈期，怎样好好的留下自己的用户，防止用户的流失也是一个大的课题。对于算法来说不能改变产品本身的形态，但是我们可以利用数据，机器学习的方法来预测流失用户。通过历史的数据我们可以先验的知道产品本身的活跃留存情况，基本每个产品都有自己的数据指标体系（活跃，新增，留...
339 天前 / sjf0115
一.前言 MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。 二.Spark On HBase 1.可以解决的问题 Spark和HBase无缝对接意味着我们不再...
340 天前 / sjf0115
本文根据DBAplus社群第153期线上分享整理而成，文末还有好书送哦~ 讲师介绍王素梅 360大数据开发经理目前在360大数据中心担任大数据开发经理，拥有7年以上大数据行业从业经验，专注大数据处理、大数据平台开发，对大数据处理技术与场景有丰富的实战经验，尤其擅长实时数据计算场景的解决方案。 本次要分享的是360大数据中心数据处理平台Titan的架构演进，以...
340 天前 / 唯技术
1 风控与图 在大数据时代，社交关系趋于复杂化，越来越多的互联网项目都和社交关系联系起来。而对社交关系的良好契合，使得图数据库（Graph Database）在互联网领域迅速崛起。通过图数据库可以高效地进行社交关系查询、分析和数据挖掘，以发现有价值的信息。 近几年互联网金融发展火热，用户对消费分期、现金贷等需求也越来越高。然而机遇也意味着调挑战，相比传统金融...
341 天前 / ThoughtWorks
背景在近期的项目当中，我们为客户落地实施了数据资产平台。随后，在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析，来挖掘一些业务价值和业务创新点。当我们拿到数据开始进行一些初步探索的时候，发现导入平台的数据质量存在一定的问题：例如一些用于数据分析的关键字段的值为空、一些本应该有主从关系的数据对应不上、数据分...
341 天前 / NJSD
理解在分析存储于数据仓库的结构化大数据时Alluxio所带来的益处。使用配置来整合数据存储，而不是ETL在文件系统和对象存储之间统一大数据文件对重要和经常使用的数据提供按需快速本地访问，不保留永久副本通过删除数据副本和将数据迁移到商用存储来降低存储成本1. 摘要问题描述：对存储在不同仓库中的结构化大数据进行分析是大型企业面临的挑战许多大型企业都有结构化大数据...
341 天前 / 博文视点Broadview
在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够...
349 天前 / Jieshan.Bi
在各色数据库系统百花齐放的今天，能让大家铭记的，往往是一个数据库所能带给大家的差异化能力。正如梁宁老师的产品思维课程中所讲到的，这是一个数据库系统所能带给产品使用者的”确定性”。 差异化能力通常需要从数据库底层开始构筑，而数据存储方式显得至关重要，因为它直接关乎数据写入与读取的效率。在一个系统中，这两方面的能力需要进行很好的权衡：如果设计有利于数据的快速写入...
364 天前 / 情情说
最近有个需求，要修改现有存储结构，涉及查询条件和查询效率的考量，看了几篇索引和HBase相关的文章，回忆了相关知识，结合项目需求，说说自己的理解和总结。 前几篇文章重点介绍MySQL索引相关的知识，从索引优点、索引结构演化过程，到SQL查询过程、执行计划，再到最后的索引优化，错过的朋友可以回顾下前几篇文章： 索引结构和数据定位过程 查询过程和高级查询 执行计...
367 天前 / 苦叶子
概述 在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。什么是BI？ BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或商业数据或业务数据等）进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。原始数据记录了企业...
368 天前 / 苦叶子
什么是大数据大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。对于大数据的测试则需要不同的工具、技术、框架来进行处理。大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。大数据测试策略大数据应用程序的测试更多的...
369 天前 / 秦小风啊
先看案例效果，再看心得与总结前段时间撸了一个演示平台，输入任一手机号，可追踪其行迹，类似《人民的名义》追踪丁义珍的效果，很明显涉密了，因此特意克隆了一个，并把后端阉割了，目前查询号码写死为我的号码，数据替换为静态的：演示地址(阉割后端) 效果预览 ↓↓↓ 动画效果总览：GIF 加载需要稍等一下 ↓↓↓ 常用效果的实现（最精简的代码）再漂亮的设计，也可...