21 小时前 / 数据叔
这是大数据入门常识第一篇，主要讨论大数据工作的方向问题。 后续还会把 “大数据实际工作中的职责”，“大数据需要学的内容”，“大数据如何学习” 这三个议题写成三篇文章展开来详细讨论，敬请期待，如果有其他感兴趣的问题也可以告诉我，我会给大家安排上。 言归正传，在我的第一期「定制学习」基础班，有不少刚入门的同学问了我类似这样的问题 看招聘网站上，大数据相关的方向好多，不知道自己适合哪个怎么办？ 关注我的同学应该有不少是刚入门的，所以我把内容好好地整理总结了发出来希望能帮到更多人。 另......
16 天前 / sjf0115
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink现状，Flink应用以及未来计划四部分分享。 一．平台架构 1、Flink 应用时间线 首先是平台的架构，2018年3月之前基本都是基于Storm和Spark Streaming来做的。目前，基本已经把Spark Streaming和Storm淘汰了，主要都是Flink SQL来做的。起初还比较传统，一般是接需求然后开发类似于Flink SQL的任务，基本是手工作坊操作模式。后来Flink SQL的任务逐渐多了起来，就开始考虑往平台化方向发展。大概在2018年10月份，我们开始搭建实时平台。当......
21 天前 / 冷星1024
背景58作为国内最大的生活信息服务平台，涵盖了本地服务，招聘，房产，二手车，二手物品等多条业务线。商业部门作为中台部门，其职能是服务各大业务线，辅助优化各业务线商业流量的变现效率，同时满足各业务线个性化，多元化的流量变现需求。 在不同的商业产品类型以及不同的场景下，业务线对于变现效率和用户体验存在不同的诉求。目前在listing模式下，当帖子候选数量较大时，排序对变现效率和用户体验的影响很大，满足业务线的多元化需求，在不同的商业产品提升变现效率的同时，兼顾用户体验，成为排序需要去解决的非常关键的问题。 本文主......
24 天前 / Wpeace
“Linkis是微众银行开源的一款数据中间件，用于解决前台各种工具、应用，和后台各种计算存储引擎间的连接、访问和复用问题。开源链接: https://github.com/WeBankFinTech/Linkis。” 01 — Linkis是什么？ Linkis，是一个打通了多个计算存储引擎如Spark、TiSpark、Hive、Python和HBase等，对外提供统一JDBC、REST、WebSocket、Java和Python等接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。Linkis基于微服务架构，提供了金融级多租户隔离、资源管控、权限隔离等企业级特性，支持统一变量、UDF、函数、用户资......
28 天前 / 迹_Jason
byJoshua FulleronUnsplash 以往是业务方主导，提需求给大数据平台，大数据更多的是做幕后工作，听之任之。有时候，想要抽取一些业务方的数据，还涉及与业务方扯皮，身心俱疲，大数据从业人员应该可以列入最先实现脱发队伍中去。 但数据中台时代，这方面发生了转变，数据中台作为一个企业级的战略，将得到全公司的资源支持和推动，数据将作为驱动业务发展的关键点。 数据中台是基于为更快的响应用户，虽然，网上有很多声音侧重说数据的复用性，我不觉得不正确，也不觉得正确，为什么这么说呢，中台确实是在做提高数据复用性这件......
35 天前 / u547646
过去的两年我在大树金融担任大数据团队负责人，打造了一套一体化无边界的大数据基础平台，其中的一些架构思路和做法值得分享一下。 何谓一体化无边界、它的架构要点、典型应用案例，这些是我接下来要讲的。 一体化无边界所谓一体化，指的是一套基础架构同时支撑 分析挖掘、线上业务 和流处理。所谓无边界，指的是同样的组件我们用客户也用、既可以平台/API嵌入业务系统也可以业务逻辑嵌入数据平台。 这是我们的基础架构及业务影响图，v2-ac08a2a3d6d36fe46613e41d79c15e89_hd.jpg720×455 60.8 KB 接下来讲下它的要点： 架构要点抽象点说，数......
39 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容 作者丨斌迪 HappyMint编辑丨Zandy 导语 本篇文章为大家带来ES面试指南，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案，希望对大家面试大数据分析师能够有所帮助。 为什么考察Elasticsearch？ Elasticsearch是一个近实时的搜索平台，在大数据生态系统中占据重要的地位。我们必须要了解其基本原理和概念，一方面可以对数据分析工作中排查问题有比较大的帮助，另一方面方便我们与他人沟通交流。 精......
58 天前 / 过往记忆大数据
很多人在学习大数据的时候比较迷茫，不知从何学起，也不能够比较系统、全面的了解大数据框架。为此，过往记忆花了一个周末的时间把 Awesome Big Data （https://github.com/onurakpolat/awesome-bigdata）里近 600 个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供大家查漏补缺，全面学习，强烈建议收藏。更多大数据技术知识学习，请持续关注【过往记忆大数据】微信公众号。 关系型数据库管理系统MySQL 世界上最流行的开源数据库。 PostgreSQL 世界上最先进的开源数据库。 Oracle Database - 对象关系数据库管理系统......
76 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨凯凯连 编辑丨Zandy 导语 上一篇文章，我们简单讲解了数据仓库的概念，并介绍了它的分层架构设计，相信大家对数据仓库体系已经有一定的了解了。 那么，这篇文章，我们将再进一步探讨一下数据仓库治理的问题，一起探究下庞大的数据仓库体系是如何进行数据管理的。 1.什么是元数据中心？为什么要讲它？ 元数据中心是负责记录和管理数据仓库中数据的含义、格式、血缘关系等元数据的系统，它是数据治理环节最重要的组......
78 天前 / sjf0115
作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来越多，整体HIVE执行效率变低，本文从HIVE切入，分析HQL面临的问题和待优化部分，结合其他大数据框架来解决实际问题。以下内容没有针对业务代码提供优化建议. 常见的HQLselect型设置hive.fetch.task.conversion=none会以集群模式运行，无论是否有limit。在数据量小时建议使用hive.fetch.task.conversion=more......
81 天前 / sjf0115
"hive设计之初，就被定位一款离线数仓产品，虽然Hortonworks喊出了Make Apache Hive 100xFaster的牛逼口号，也在上面做了大量的优化，然而性能提升依旧不大。 而随着OPPO数据量一步步的增多，动辄运行几个小时的hive再也满足不了交互查询的需求，因此我们引入了presto，sql onhadoop阵营里的优秀代表。主要适用于即席查询。 然而事情往往木有那么简单，很多分析师用惯了hql，迁移的成本很大，所以本着业务方都是美丽的上帝的原则。为了使用户能平滑的将业务迁移到presto上，我们义无反顾跳入了presto兼容hive这个大坑中，接下来介绍......
81 天前 / mr7
供稿 |PADIStorage Team陈晓熹&黄志腾翻译&编辑 | 顾欣怡本文5269字，预计阅读时间16分钟更多干货请关注“eBay技术荟”公众号 导读 eBay存储团队致力于研发与应用业界最好的技术，以支撑最有挑战的业务的存储需求。本文从总体设计方案到具体实现细节，再到遇到的各种软硬件问题，详细描述了如何在生产环境中应用CephFS取代商业存储，支撑起eBay PB级别、每秒GB级别吞吐的集中式日志系统CAL 。希望能对同业人员有所启发。 CAL(Central Application Logging) 系统主要负责收集和处理eBay内部各个应用程序池的日志，日处理超过3PB的数据......
81 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......
81 天前 / zhishemg
前言在上一篇文章 你公司到底需不需要引入实时计算引擎？中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。 第一代：Hadoop 承载的 MapReduce 第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任务 第三代：支持 Job 内部的 DAG（有向无环图），以 Spark 为代表 第四代：大数据统一计算引擎，包括流处理、批处理、AI、Machine L......
82 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨斌迪、HappyMint编辑丨Zandy 导语 本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。 为什么考察Spark？ Spark作为大数据组件中的执行引擎，具备以下优势特性。 1.高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性能。 2.易用性。Spark支持Java、Python和......