2 天前 / sjf0115
作者 ｜ 松子（李博源）策划 ｜ Tina 编者按：《透过数字化转型再谈数据中台》系列连载 6-8 篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI 知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。 在前面两篇 “关于数字化转型的几个见解 ”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以这一篇我会通过大数据架构发展的视角来总结与分享。
4 天前 / 逗逗
击上方"蓝色"关注，“星标”一起成长 点击上方卡片回复：666, 领取资料 数据资产管理服务工作，涵盖企业 IT 系统生命周期的不同阶段，协助企业建立适合自身特点的数据资产管理制度，提升企业对自身数据资产管理的能力，为后续数据挖掘变现提供可靠、有价值和高质量的数据，提供更好的产品和服务，降低开发和运维成本，控制风险，以及为企业提供更明智和更有效的决策数据支持。 数据资产管理平台实现数据资产的可视化、自动化和智能化运营，让数据资产管理团队从众多纷繁复杂的数据管理工作中解放出来，降低整体人员投入和成本投入。
13 天前 / sjf0115
时间过得真快，2021 年就过去了，又到了一年总结的时候了。本文将延续之前的惯例来总结一下过去一年大数据相关的项目顺利毕业成 Apache 顶级项目。在 2021 年一共有四个大数据相关项目顺利毕业成顶级项目，主要是 Apache DataSketches、Apache Gobblin、Apache DolphinScheduler 以及 Apache Pinot；同时有两个项目进入到 Apache 孵化器，主要是 Apache Kyuubi 以及 Apache SeaTunnel。值得关注的是，国内主导的 Apache 开源项目越来越多了，这个还是很不错的现象。
15 天前 / HueiFeng
作者 | 关涛 编辑 | 蔡芳芳 本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦大数据领域在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年大数据领域的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。
21 天前 / 逗逗
1 自我介绍控制在 4 分半以内，不超过 5 分钟 (1)个人基本信息 (2)工作履历 工作时间、公司名称、任职岗位、主要工作内容、工作业绩、离职原因 (3)深度沟通 ( 也叫压力面试) 刨根问底下沉式追问 ( 注意是下沉式，而不是发散式的) 基本技巧：往自己熟悉的方向说 2 你自己搭过大数据集群吗？那你说说搭建 hadoop 集群的 3 个 xml 文件 core-site.xml hdfs-site.xml mapred-site.xml 心想这简单，赶紧将 3 个 xml 说出来，并简单说了下里面都包括啥 3 正常的 hadoop 集群工作都会启动哪些进程？NameNode DataNode SecondaryNameNode 4 他们的作...
22 天前 / 码农UP2U
早期文章 HDFS 在 HA 模式集群下 JournalNode 节点的作用 大数据 | HDFS 元数据持久化笔记 大数据 | Java 操作 HDFS 常用 API 大数据 | HDFS 常用操作命令 为什么需要自动故障转移 在 HDFS 2.x 集群的 HA 模式下通常会有两个 NameNode 用来进行记录元数据，其中一个是主节点（Active），另外一个是备节点（Standby）。主备之间的数据同步通过 JournalNode 节点来充当中介，从而完成了主备节点之间数据的最终一致性。
27 天前 / 逗逗
点击上方卡片进入五分钟学大数据主页 然后点击右上角 “设为星标” 比别人更快接收好文章 本套 SQL 题的答案是由许多大佬共同贡献，1+1 的力量是远远大于 2 的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据 SQL 题不仅题目丰富多样，答案更是精彩绝伦！ 非常感谢五分钟学大数据读者群以下大佬的贡献：Mr.S、后会无期、我就是我、涛声依旧、徐明、 蛋白、只争朝夕、魏明、十六画生、John.Xiong、南无、。
33 天前 / 编程一生
不知道大家有没有这种经历：一个系统刚上线的时候是有完整的架构逻辑的，数据库表的设计也是经过精细推敲，以为可以经得起时间的考验。结果呢？上线之后各种新业务支持、新需求支持。不得不在原有的数据表中添加字段，一张表最后扩展到五六十个字段。甚至要建立几个 ext（扩展）字段，把用下划线分割或者干脆一个 json 对象塞进去，像极了自家的衣柜。 这时候，甚至让人产生怀疑：当时技术选型是不是选错了？使用了关系型数据库表建立了一套结构化数据，最终数据塞的太多，失去了意义。
34 天前 / 逗逗
全文总共包含 14个知识点和 1 个 LeetCode 代码 以下是面试被提问的问题： 自我介绍 + 项目介绍 数仓为什么要分层？ 数据仓库都分哪几层？ 简单介绍一下 Mapreduce 工作原理？ Hdfs 的读数据流程了解吗？ Hdfs 的写操作呢？ zookeeper 的选举过程 Spark 为什么比 MapReduce 快？ Spark 任务执行流程？ Spark 用过的解决数据倾斜的方案说一下？ Flink 的四大基石都有哪些？ watermark 的作用是啥？如何保证数据不丢失？ Flink 如何保证 Exactly Once 语义？ Flink 如何计算实时的 topN？ 写一个算法：删除排序链表中的重复元素_II Leetcode83 题 答案解析 ...
41 天前 / u128287
点击关注“有赞 coder” 获取更多技术干货哦～ 作者：刘乐 部门：业务中台 / 开发测试 前言 实时数据是指对规模巨大的数据利用大数据技术高效的快速完成统计，达到近似实时的效果。对于商家来说，它的最基础价值是体现店铺当天的营业、访问等情况，进一步价值是可以去支撑商家及时更新针对用户的营销策略，提高商品访问到成交的转化等等，它不仅能提升商家的 GMV，也能给用户带来好的体验，高效的买到自己心仪的商品，对此如何快速识别实时数据的质量问题，尽而快速止血，本文主要是从线上监控的质量方向来保障实时数据的质量。
41 天前 / sjf0115
爱奇艺基础数据平台主要是为了统一公司内部的基础数据交换规范，解决不同团队之间 ID 不统一问题（各团队都有自己独立的 ID）、数据定义不统一、数据更新不及时等问题。 随着公司业务发展，除了视频基础数据，还逐步对接了 UGC 视频、全网影视资料、资源位、直播、游戏、文学、电商等公司大部分业务方的基础数据，支持海量业务数据的存储、分发、在线查询、离线分析等服务。 目前已有近百张数据表，总数据量数十亿，数据日增长百万级，日消息量千万级，覆盖公司几十个业务团队。
48 天前 / BloomingRose
随着双 11 的开启，物流业也迎来了年度大考。2021 年双 11 期间，递四方作为物流仓储服务方，布局仓库和分拣点超 40+ 个，50w+ 平米作业场地，单日订单峰值达千万级别，海量购物订单由递四方配送到家，消费者由尾款人秒变收货人。 一 业务介绍 递四方成立于 2004 年，创业在深圳，是国内最早的国际物流和全球仓储服务物流供应链服务商，主要为从事跨境电商的客户、平台以及普通用户提供仓储物流服务，以 GPN( 直发订单)和 GFN( 海外仓储)两张网络为客户提供更好的全球跨境电商优质生态环境，致力于帮助中国企业走向全球，目前在全球超过 100+ 家分支机构...
50 天前 / 码农UP2U
早期文章 多线程 | Thread 和 Runnable 执行流程的差异 大数据 | Java 操作 HDFS 常用 API 大数据 | HDFS 常用操作命令 Redis | Redis 也会算距离 Spring Cloud Gateway 的简单搭建 服务注册、发现和远程调用 让 MongoDB 的 CRUD 有 JPA 的味道 使用 MongoTemplate 对 MongoDB 进行 CRUD 省内存的 Excel 导入导出库还是得了解下它。.. 后端程序员的 VUE 超简单入门笔记 后端程序员的 ES6 超简单入门笔记 看完即可上手 MyBatis-Plus 奇怪的函数调用 打造后台登录页面扫描工具 一道有趣的 Java 基础题 Spring 拦截器流程及多个拦截器的顺序 Docker 常用命令...
61 天前 / yybbb
取数是数据工作的一个基础内容，也是大多数“入门”级别数据工作人员（例如数据分析师）的基本职责，取数对于前期的数据概况和业务需求会是一个熟悉和渐进了解的过程，因此这个过程必不可少，特别是对于刚入职的新人。 但是，如果一个数据工作者长期从事取数工作（例如超过 2 年，这里的时间取决于企业的数据规模和复杂度），那么其价值确实会很小，为什么这么讲呢？ 这里，首先要谈谈取数这个工种的特点，就八个字：上不着天，下不着地。
64 天前 / 码农UP2U
早期文章 大数据 | HDFS 常用操作命令 Redis | Redis 也会算距离 Spring Cloud Gateway 的简单搭建 服务注册、发现和远程调用 让 MongoDB 的 CRUD 有 JPA 的味道 使用 MongoTemplate 对 MongoDB 进行 CRUD 省内存的 Excel 导入导出库还是得了解下它。.. 后端程序员的 VUE 超简单入门笔记 后端程序员的 ES6 超简单入门笔记 看完即可上手 MyBatis-Plus 奇怪的函数调用 打造后台登录页面扫描工具 一道有趣的 Java 基础题 Spring 拦截器流程及多个拦截器的顺序 Docker 常用命令 Docker 使用 MySQL JWT 库生成 Token 的使用与原理 Java 项目中几个必不可少的小...