35 天前 / 小粥极客馆
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设，在给优秀的团队成员点赞的同时，也抽空整理了一下文档，那么今天就和大家来聊一下我们是如何结合 Kubernetes 实现数据采集与存储的，谈谈里面实现方案、原理和过程。这里笔者放一张我们前期设计时借鉴阿里的大数据架构图： 本文重点讲述的是上图中『数据采集』部分，暂不涉及『数据计算』和『数据服务』的过程。
37 天前 / 大数据技术架构
Parquet 是 Hadoop 生态圈中主流的列式存储格式，最早是由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 孵化器里毕业成为 Apache 顶级项目。 有这样一句话流传：如果说 HDFS 是大数据时代文件系统的事实标准，Parquet 就是大数据时代存储格式的事实标准。 01 整体介绍 先简单介绍下： Parquet 是一种支持嵌套结构的列式存储格式 非常适用于 OLAP 场景，按列存储和扫描 诸如 Parquet 这种列存的特点或优势主要体现在两方面。 1、更高的压缩比列存使得更容易对每个列使用高效的压缩和编码，降低磁盘空间。
38 天前 / 实时音视频A桑
在歌唱场景、语聊等场景中，用户已经不在满足于被听见、被听清、能互动，以及拥有高清的音质体验。他们有了更进一步的需求，希望不仅能有最佳的音质，还想要让自己的声音变得更动听、更有磁性。就像我们看高清视频、高清照时，第一感受是震撼，所有细节都能看清了，但皮肤的纹理、瑕疵也会暴露出来。所以会增加红润、磨皮、美颜等，让自己更好看。同样道理，高音质场景下，会使用高采样率（44.1kHz - 48kHz）的软件驱动采集，然后使用音频损伤较小的前处理算法（降噪、回声消除、自动增益等）对信号进行处理，并使用保真性能较好的 Codec 进行编码...
42 天前 / hyper0x
导读：本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。 作者：韩健来源：大数据 DT（ID：hzdashuju） 00为什么 QQ 要选择 InfluxDB？ 从 2016 年起，笔者在腾讯公司负责 QQ 后台的海量服务分布式组件的架构设计和研发工作，如微服务开发框架、名字路由、名字服务、配置中心等，做了大量分布式架构、高性能架构、海量服务、过载保护、柔性可用、负载均衡、容灾、水平扩展等方面的工作，以公共组件的形式支撑来自 QQ 后台和其他 BG 海量服务的海量流量。
46 天前 / 街道-书记撸代码
背景 HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。 在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 connector，但因为对象存储自身的局限性，功能和性能都非常有限，在数据增长到一定规模后这些问题更加突出。
52 天前 / 超人汪小建
大数据大数据这个词最早出现在上世纪 90 年代的美国，直到 2012 年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的 mapreduce 论文和 hadoop 开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能人工智能在 1956 年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。
52 天前 / 浪尖
本文也算是一个读书笔记吧，书名《数据产品经理》，作者梁旭鹏。五一期间，浪尖没事，就给大家整理些文章，以供大家在大数据的路上走的更明白，更通畅。本文摘自第一章，主要是讲大数据发展，数据产品，数据产品经理，数据产品经理的工作日常及数据产品经理应该具备的思维模式。 1.起源于大数据 人人都在说大数据，那么“大数据”这个词是从哪里来的呢？据资料记载，大数据一词最早出现在 1983 年著名未来学家托夫勒在其所著的《第三次浪潮》中，该书提出“如果 IBM 的主机拉开了信息化革命的大幕，那么‘大数据’才是第三次浪潮的华彩乐章”。
57 天前 / kafeidou
阿里妹导读：随着最近几年数据计算力与机器智能算法的兴起，基于大数据 AI 算法的应用愈来愈热，大数据应用在各个行业也不断涌现。测试技术作为工程技术的一部分，也随着时代的不断变化在同步演进，在当下 DT 时代，如何测试和保障一个基于大数据的应用的软件质量，成为测试界的一个难题。 本文通过系统性地介绍阿里巴巴 AI 中台的技术质量体系——搜索推荐广告应用的质量是如何测试的，来尝试回答一下这个问题，希望能给大家带来一些借鉴，欢迎斧正，以便改进。
60 天前 / 大数据技术架构
前言公司的 hbase 集群早先是基于社区 1.2.4 版本进行搭建的，在时延表现方面起初并不十分理想，受 GC 尖刺的影响非常严重，针对 P99 响应时延也只能给业务提供不高于 100 毫秒的 SLA 承诺，因此在公司层面接入 hbase 的业务普遍还是面向近线或者离线场景，而针对时延响应要求比较高的在线业务则没有办法提供能力支持。近期随着社区补丁的陆续合入，以及公司自研补丁的不断集成，hbase 在吞吐能力表现方面已经得到了非常巨大的改善，图计算场景下针对多跳查询已经可以达到 3～7 倍的能力提升，以下主要是在整个吞吐能力建设过程中...
64 天前 / 美团技术团队
总第 391 篇 2020 年 第 14 篇 美团自研的 OCTO 数据中心（简称 Watt）日均处理万亿级数据量，该系统具备较好的扩展能力及实时性，千台实例集群周运维成本低于 10 分钟。 本文将详细阐述 Watt 计算引擎的演进历程及架构设计，同时详细介绍其全面提升计算能力、吞吐能力、降低运维成本所采用的各项技术方案。希望能给大家一些启发或者帮助。 一、OCTO 数据中心简介 1.1 系统介绍 1.1.1 OCTO 系统介绍 OCTO 是美团标准化的服务治理基础设施，目前几乎覆盖公司所有业务的治理与运营。
69 天前 / 科创人
与上千位科技创业者共同关注科创人的成长心路。 — 文| babayage 编辑 |馨 月 2016 年初，Kyligence 成立。这次创业，不只是一次追求商业成功的尝试，更承载着韩卿本人怀揣多年的信念：在国际基础软件领域立足并领导行业。 从中国来，到全球去 韩卿讲述了对自己产生了巨大影响的三段经历 一。 韩卿大学毕业后的第一份工作就职于浙大中控。浙大中控承载着一份重要的历史使命：彼时，中国石油石化、水泥、食品等诸流程行业的自动化流程控制领域几乎完全被国外垄断，“建一家石化厂，霍尼韦尔、西门子一报价就是几十亿随便开”。
100 天前 / 源码笔记
1，什么是大数据？ 什么是大数据？先来一组直观的数据感受下什么是大数据： 1）纽约证交所每天产生的交易数据大约是 4TB 到 5TB 之间； 2）截止到 2015 年 7 月，微信朋友圈每天的发表量（包括赞和评论）超过 10 亿，浏览量超过 100 亿； 3）微博每天 7500 万条微博发布，每条可输入 140 字，总共 105 亿字，1G 可存储 5 亿字，每天就需 21G 的空间； 4）百度网盘网盘用户数量达到 2 亿，每个人可有 2TB 的存储空间，可见存储数据量之大。 可见，大数据就是数据量非常大，大到一台计算机的容量无法存储。
105 天前 / 微微科技技术团队
前阵子老板安排了一个新任务，要建设一个商家商品搜索系统，能够为用户提供快速、准确的搜索能力，在用户输入搜索内容时，要能从商家名称和商品名称两个维度去搜索，搜索出来的结果，按照准确率排序，并按商家所属商品的关联关系，来组合数据结构，同时提供 API 给业务系统调用。 背景很简单，现实蛮复杂！我们面临以下几个难题：①商家数据库和商品数据库是多台不同的服务器，并且数据量达百万级，如何才能实现跨数据库的数据同步呢？ ②商家和商品的数据是有从属关系的，不然就会把肯德基的香辣鸡腿堡挂到麦当劳去...