4 天前 / Aceyclee～
其中，底层的大数据基础设施为挖掘数据价值夯实基础，帮助构建数据资产一体化： 云数据仓库 CDW 是腾讯云实时云数仓品牌，旗下涵盖 CDW ClickHouse、CDWPostgreSQL、CDW Doris 等多款实时数仓引擎，覆盖 MySQL、PostgreSQL 生态，可以对海量数据进行即时的多维分析透视和业务探索，帮助客户快速构建企业云上数据仓库。 数据湖计算 DLC 提供了敏捷高效的数据湖分析服务。基于存算分离的产品架构体系实现数据资产统一建设，用户可以敏捷、低成本地管理和分析海量数据，打通数据孤岛，最大化释放数据价值。
6 天前 / 数栈DTinsightu580540
7 月 28 日，在袋鼠云 2022 产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台 EasyMR」发布。 EasyMR 是袋鼠云自研的大数据基础平台，提供 Hadoop、Hive、Spark、Trino、HBase、Kafka 等组件，完全兼容 Apache 开源生态；支持企业级安全管控，一键开启 LDAP+Kerberos+Ranger 认证权限体系；提供一站式运维管理平台，帮助企业快速构建大数据平台，降低运维成本。
30 天前 / 逗逗
新书推荐，先看看正文介绍，文末赠书 2 本 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图 1 所示，分为以下 9 类，下面分别介绍。 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些有价值的内容。
48 天前 / 数栈DTinsightu580540
导读： 8 月 2 日晚，袋鼠云大数据运维专家海洋为大家带来了「ChengYing 部署 Hadoop 集群实战」的分享，我们将直播精华部分做了整理，带大家再次回顾内容，加深对技术细节的了解。 你能看到 Hadoop 集群部署准备 Hadoop 集群部署流程 Hadoop 集群使用与运维 Taier 对接 Hadoop 操作流程 Hadoop 集群近期规划 直播课件获取： 关注公众号“数栈研习社”，后台私信“ChengYing”获得直播课件 直播视频回看： https://www.bilibili.com/video/BV1SG4y1e7rBspm_id_from=333.999.0.0 演讲 / 海洋 整理 / 花夏 本期我们带大家回顾一下海洋同学的直播分享《...
52 天前 / yybbb
这是某公司使用的大数据平台架构图，大部分公司应该都差不多。从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。 —01—大数据采集 数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。
64 天前 / 逗逗
长按二维码关注 大数据领域必关注的公众号 71、Zookeeper 的典型应用场景有哪些？ 参考答案：Zookeeper 是一个典型的发布 / 订阅模式的分布式数据管理与协调框架，开发人员可以使用它来进行分布式数据的发布和订阅。 通过对 Zookeeper 中丰富的数据节点进行交叉使用，配合 Watcher 事件通知机制，可以非常方便的构建一系列分布式应用中年都会涉及的核心功能，如： 1.数据发布 / 订阅 2.负载均衡 3.命名服务 4.分布式协调 / 通知 5.集群管理 6.Master 选举 7.分布式锁 8.分布式队列 72、ZooKeeper 是什么？ 参考答案： ZooKeeper 是一个开放源码的分布式协调...
64 天前 / 浪客书心
这次跟大家分享一些优化神技，当你面试或者工作中你遇到如下问题，那就使出今天学到的绝招，一招定乾坤！ 如何用更少的内存保存更多的数据？ 我们应该从 Redis 是如何保存数据的原理展开，分析键值对的存储结构和原理。 从而继续延展出每种数据类型底层的数据结构，针对不同场景使用更恰当的数据结构和编码实现更少的内存占用。 为了保存数据， Redis 需要先申请内存，数据过期或者内存淘汰需要回收内存，从而拓展出内存碎片优化。
66 天前 / u128287
本期作者 邱亮 哔哩哔哩资深开发工程师 2020 年加入 B 站，Apache Spark contributor，Apache Kyuubi contributor。目前主要从事 Spark，Hive 和 Ranger 的研发工作。 杨洋 哔哩哔哩开发工程师 2021 年加入 B 站，专注于开源大数据技术，在团队中主要负责 Presto、Alluxio 组件的研发。 01 背景 随着云计算、大数据技术的日趋成熟，复杂多元、规模庞大的数据所蕴含的经济价值和社会价值逐步凸显，数据安全也是企业面临的巨大挑战，B 站一直致力于对用户隐私数据的保护。
74 天前 / 逗逗
「数仓宝贝库」，带你学数据！导读：基于数据驱动的业务必然会运用数据分析技术。本文主要介绍在线分析处理（Online Analytical Processing，OLAP）技术。 在线分析处理（Online Analytical Processing，OLAP）技术是大数据技术中快速解决多维分析问题的方法之一。由于 OLAP 需要快速读取大量数据，因此它对数据的读取吞吐量和计算效率有很高的要求。目前，基于大数据的 OLAP 技术一般从面向读的存储优化、预计算、支持灵活分析等方面不断提高，近几年出现了很多令人激动的产品。
87 天前 / u561252
今天我分享的主题是大数据开发 Studio，我们会使用 ApacheDolphinScheduler 和两款开源的 Notebook。我将介绍如何采用开源的 Apache Dolphin Scheduler 调度工具和 Apache Zeppelin 以及 Jupyter 两种交互式 Notebook 组成大数据开发 Studio，提供线上开发 / 调试能力，避免开发环境不一致造成的难以预测问题，从而极大提升大数据作业从编写到调度的开发效率和体验。 高楚枫 Github ID：EricGao888 阿里云基础平台开发工程师 毕业于上海交通大学，Purdue University。现任职于阿里云 EMR 数据开发团队。
97 天前 / 逗逗
点击上方公众号进入3 分钟秒懂大数据主页 然后点击右上角“设为标星” 比别人更快接收硬核文章 大家好，我是土哥。 今天给大家分享一波这十天录的视频的知识点，同时这十个知识点被拼多多、网易的面试官都考察过，出现的频率都很高，所以，没看完视频的小伙伴，可以看看文字，一块学习学习~ 1 Spark 的任务提交流程你熟悉吗？当面试官问你，Spark 的任务提交流程你熟悉吗？ 你应该这样回答他： 当在命令行执行 spark -submit --master xxx.jar 的命令后，会执行以下操作： 1、客户端向资源管理器 Master 发送注册和申请资源的请求。
109 天前 / 逗逗
“ 大家下午好，我是来自当贝网络科技大数据平台的基础开发工程师王昱翔，感谢社区的邀请来参与这次分享，关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。 本次演讲主要包含四个部分： 平台建设的背景 大数据平台重构 大数据调度平台建设 下一步规划 Apache DolphinScheduler 王昱翔 当贝大数据平台基础开发工程师 毕业于电子科技大学，主要是做大数据平台的构建、集成及组件的运维的工作。 01 背景 在当贝网络科技使用 Apache DolphinScheduler 作为大数据调度平台之前，我们在平台、测试环境和调度环境中都面临着不少问题需要解决。
126 天前 / sjf0115
本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责 B 站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据，比如调度任务信息，离线 hive 表，实时 topic，字段信息，存储信息，质量信息，热度信息等。在数据平台建设初期，这类数据主要散落于各种平台子系统的数据库中，例如 HiveMetaStore,调度系统 db 等，在这个时期数据平台主要以服务业务数据需求为主，平台也以管理表，写 ETL，配置调度这类功能性需求作为重点...
146 天前 / 逗逗
分享嘉宾：祝江华 网易 资深大数据工程师 编辑整理：陈凯翔亚厦股份 出品平台：DataFunTalk 导读：本文的主题是网易大数据 HDFS 的优化和实践，下面会从三个方面来介绍网易在大数据存储相关的工作和努力。 网易大数据平台 HDFS 在网易的实践及挑战 重点业务分享 01 网易大数据平台网易引入 Hadoop 十年有余。开源是大数据行业的发展趋势，网易也是本着开源开放的心态来做好大数据。 近年来随着业务的发展，网易实现了大数据跨云部署，跨云生产，为业务在生产效益上带来了很多益处。
146 天前 / 老白经
新粉请关注我的公众号 我很久没写大数据的东西了，最主要的原因是因为我不知道写啥。这个领域里面还在发生着很多事情，但是有深度的，有意义的事情不多，有趣的事情也不多。 最近看到了 Apache Kyuubi 这个项目，应该严格的说是 Apache Kyuubi（incubating）。项目还在孵化器中，并没有升级成为 Apache 的正式项目。 这是一个挺有趣的项目，所以我打算来写写。 我花了一点时间去了解这个项目的实际情况，发现这个项目是由网易开源的，还是有点吃惊。