11 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨凯凯连 编辑丨Zandy 导语 上一篇文章，我们简单讲解了数据仓库的概念，并介绍了它的分层架构设计，相信大家对数据仓库体系已经有一定的了解了。 那么，这篇文章，我们将再进一步探讨一下数据仓库治理的问题，一起探究下庞大的数据仓库体系是如何进行数据管理的。 1.什么是元数据中心？为什么要讲它？ 元数据中心是负责记录和管理数据仓库中数据的含义、格式、血缘关系等元数据的系统，它是数据治理环节最重要的组......
13 天前 / sjf0115
作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来越多，整体HIVE执行效率变低，本文从HIVE切入，分析HQL面临的问题和待优化部分，结合其他大数据框架来解决实际问题。以下内容没有针对业务代码提供优化建议. 常见的HQLselect型设置hive.fetch.task.conversion=none会以集群模式运行，无论是否有limit。在数据量小时建议使用hive.fetch.task.conversion=more......
16 天前 / sjf0115
"hive设计之初，就被定位一款离线数仓产品，虽然Hortonworks喊出了Make Apache Hive 100xFaster的牛逼口号，也在上面做了大量的优化，然而性能提升依旧不大。 而随着OPPO数据量一步步的增多，动辄运行几个小时的hive再也满足不了交互查询的需求，因此我们引入了presto，sql onhadoop阵营里的优秀代表。主要适用于即席查询。 然而事情往往木有那么简单，很多分析师用惯了hql，迁移的成本很大，所以本着业务方都是美丽的上帝的原则。为了使用户能平滑的将业务迁移到presto上，我们义无反顾跳入了presto兼容hive这个大坑中，接下来介绍......
16 天前 / mr7
供稿 |PADIStorage Team陈晓熹&黄志腾翻译&编辑 | 顾欣怡本文5269字，预计阅读时间16分钟更多干货请关注“eBay技术荟”公众号 导读 eBay存储团队致力于研发与应用业界最好的技术，以支撑最有挑战的业务的存储需求。本文从总体设计方案到具体实现细节，再到遇到的各种软硬件问题，详细描述了如何在生产环境中应用CephFS取代商业存储，支撑起eBay PB级别、每秒GB级别吞吐的集中式日志系统CAL 。希望能对同业人员有所启发。 CAL(Central Application Logging) 系统主要负责收集和处理eBay内部各个应用程序池的日志，日处理超过3PB的数据......
16 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......
16 天前 / zhishemg
前言在上一篇文章 你公司到底需不需要引入实时计算引擎？中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。 第一代：Hadoop 承载的 MapReduce 第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任务 第三代：支持 Job 内部的 DAG（有向无环图），以 Spark 为代表 第四代：大数据统一计算引擎，包括流处理、批处理、AI、Machine L......
17 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨斌迪、HappyMint编辑丨Zandy 导语 本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。 为什么考察Spark？ Spark作为大数据组件中的执行引擎，具备以下优势特性。 1.高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性能。 2.易用性。Spark支持Java、Python和......
17 天前 / Wpeace
Linkis是微众银行开源的一款数据中间件，用于解决前台各种工具、应用，和后台各种计算存储引擎间的连接、访问和复用问题。 一、引言Linkis Github repo: https://github.com/WeBankFinTech/Linkis Linkis，一个打通了多个计算存储引擎如Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。 Linkis基于微服务架构，提供了金融级多租户隔离、资源管控、权限隔离等企业级特性，支持统一变量、UDF、函数、用户资源文件管理，具备高并发、高性能、高可用的大数据......
24 天前 / php-v
达达-京东到家大数据平台是根据公司业务持续快速成长，而规划建设的一个可持续发展的平台。在建设过程中我们借鉴了很多公司实施大数据平台的经验，并因地制宜构建了我们自己的实施策略，确保在大方向上不会走偏，并且每一年都会有重大变化和质的成长。 建设回顾 图1 大数据平台建设历程 2016年——DRP平台建设 这个阶段数据仓库还是Mysql，所有工作几乎都是围绕着短、平、快实现重要核心报表而开展，DRP的成功实施大大减少了分析师的工作量，给公司数据驱动换上了新的引擎。 2017年——工具专业化建设 这个阶段数......
27 天前 / Thinkgamer
大数据背景下的推荐系统是极具挑战的，无论是用户数量，物品数量还是用户与物品的交互数据。在这种背景下挖掘用户的行为画像和物品画像只能借助于分布式计算进行。 ——文章概要 最常见的ItemCF在小数据量下表示不错，但是对于京东/淘宝这样的电商，去构建一个用户或者物品矩阵的话就很吃力了，那么此时他们是怎么做的呢？ 答案是：不做（很少做）。因为矩阵计算过程中涉及的资源和算力比较大，对于平台而言，是不均衡的，这个时候就会构建很多的底层模型来做Recall或者Match。当然如果要用协同算法的话是会进行纬度限制的，比如将其限制在......
27 天前 / 读芯术
全文共2409字，预计学习时长4分钟 图片来源：unsplash.com/@serjosoza 表弟，00后，刚上大学的青年才俊，21世纪电子产品消费主力军，新科技的狂热爱好者。 前两天华为mate 20 X 5G版首发，他联合全家七大姑八大姨帮抢新机。就算明年5G机铁定降价也挡不住他要“抢头柱香”的热情。 10：08，全家各大平台聚精会神拼手速，就那么老眼昏花般的一秒，全部售罄。 恍惚一下，回到了最初的2G时代，刚上大学我有了人生中第一部手机——诺基亚7650。至今也忘不了30W像素带来的震撼，还有滑动翻盖时的顺畅和奢华。 ......
28 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
31 天前 / 过往记忆大数据
今年是我创建这个微信公众号的第五年，五年来，收获了6.8万粉丝。这个数字，在自媒体圈子，属于十八线小规模的那种，但是在纯技术圈，还是不错的成绩，我很欣慰。 我花在这个号上面的时间挺多的。我平时下班比较晚，一般下班到家了，老婆带着孩子已经安睡了，我便轻手轻脚的拿出电脑，带上耳机，开始我一天的知识盘点。 我写文，一方面是对自身技术知识的记录和积累，另一方面也是希望得到一些正反馈。一篇文章写出来，阅读量很多，动力当然就更大了。 对于本号，我坚持初心，继续分享日常技术积累，为大家提供有价值的文章来。当然......
31 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨斌迪 编辑丨Zandy 导语 本篇文章为大家带来Hive面试指南，文内会有两种题型，问答题和代码题，题目一部分来自于网上，一部分来自平时工作的总结 精选题型 Hive可考察的内容有：基本概念、架构、数据类型、数据组织、DDL操作、函数、数据倾斜、SQL优化、数据仓库。面试数据分析工程师更多会考察DDL操作、函数、数据倾斜、Hive优化、数据仓库这些知识点。来看看具体问题吧。 基本概念 基本概念一般......
35 天前 / gongyouliu
导语 上一篇文章，我们简单介绍了数据收集的基础知识，那么数据收集到之后，我们该怎么去做下一步的处理呢？本篇文章，我们将来重点介绍下ETL工程的作用、原理和实现过程，期望能对大家理解数据分析体系架构有所帮助。 1. 为什么要讲ETL工程 ETL工程是数据分析处理中非常重要的一环，ETL工程的输入是各种数据源，输出是各种用于分析的表和数据文件，因此它直接决定了用来分析的数据是否易用、数据质量的好坏、数据是否完整、数据是否可信等关键性问题。可以说，ETL在数据分析工作中占据着非常重要的地位，所以在本......