1 天前 / xF0rk
两天前7月12号，我对外正式宣布TDengine,一款专为物联网定制打造的大数据平台软件，正式开源，将我和涛思数据团队两年多的时间写下的10多万行C语言代码放在GitHuB上，分享给全球的开发者。 开源的代码里，有我自己亲手写的3万多行C代码，包括我自己一直很得意的定时器,RPC, 内存管理等一系列工具类程序。更重要的是，我们将最核心的存储引擎、计算引擎完全开源出来。存储引擎是我亲手写的，是我仔细分析物联网数据特点后写出来的，因此具有超强的数据读写性能。计算引擎是团队里的廖博士写的，创新的解决了多表聚合的性能问题。宣布开源，而且是......
1 天前 / -江边城外-
背景其实早在去年我们就已经开始接触并研究clickhouse了，因为当时进行多表关联测试性能并不是特别优秀，所以并没有在线上大范围使用，当时研究的是分布式部署 （感觉分布式会比单机好一些）最后发现性能并不怎么样 而且分布式的sql也有很多限制，不支持单条删除和更新操作、不支持in和join（当时的版本，18.12.14之前），直到前几天看了携程一篇关于clickhouse的文章，将clickhouse的性能描述的神乎其神，再次勾起了我研究的欲望，附携程公众号文章 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用 测试开始之前我们先看结果： ......
1 天前 / gongyouliu
导语 通过前面12篇文章的学习，相信大家对于数据分析工作中所有可能用到的基础技能点有了一个较全面的了解。 日常工作中，需求一般分两种，一种是临时需求，比如为了评估某个特定功能的统计，可以理解为一次性需求。还有一种就是一些常规性的指标统计，业务方需要随时查看最新数据的需求，这样的需求就需要借助任务调度平台的帮助了。 本文将会给大家从如何使用的角度讲解任务调度平台Azkaban。 所谓任务调度平台，可以简单理解为，就是支持上传目标任务，支持设置定时，并按定时设置周期性运行统计任务的平台。......
2 天前 / sjf0115
阿里妹导读：互联网的飞速发展促进了很多新媒体的发展，不论是知名的大V，明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态，分享自己的所见所想，使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦，传播速度远超我们的想象，一则信息可以在短短数分钟内，有数万计转发，数百万的阅读。海量信息可以得到爆炸式的传播，那么如何实时把握信息并作出对应的处理呢？是不是真的难以应对？今天，阿里云智能事业群的宇珩来跟我们聊聊大数据舆情系统对数据存储和计算系统会有哪些需求，如何根据需求来进行系统设计。 工程......
2 天前 / 宜信技术学院
活动关于我们大数据虚拟混算平台Moonbox配置指南 作者：Moonbox 浏览：186 日期：2019-07-10 一、环境准备已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 各安装节点已经配置ssh免密登录 二、下载moonbox-0.3.0-beta下载：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta 三、解压tar -zxvf moonbox-assembly_2.11-0.3.0-beta-dist.tar.gz 四、修改配置文件配置文件位于conf目录下 step 1: 修改slaves mv slaves.example slaves vim slaves 将会看......
15 天前 / 网易云
导语：在数字化、智能化的时代，通过机器学习（Machine Learning）能够强有力的补充 Hadoop 大数据系统的数据处理能力，充分挖掘大数据的核心价值，一款好的算法开发平台能够让企业事半功倍，快速的进行算法实验和生产使用，Apache Zeppelin 就是这样一个兼具了 Hadoop 大数据处理和 机器学习／深度学习算法交互式开发的开源系统。 Apache Zeppelin 是一个可以进行大数据可视化分析的交互式开发系统，在 Zeppelin 中还可以完成机器学习的数据预处理、算法开发和调试、算法作业调度的工作，同时，Zeppelin 还提供了单机 Docker、分布式、K8s、Y......
16 天前 / gongyouliu
导语 前面9篇文章，我们介绍了各种基础理论知识，相信大家已经跃跃欲试，要开始动手实战了。那么本文将介绍下Linux的常用操作，学完本文知识点后，就可以真正把前面所学，应用在实践中了。 为什么讲Linux？ 目前互联网公司的技术架构基本都是基于Linux系统的，大数据的相关技术框架，也都是优先支持Linux，并且在Linux系统上运行得更稳定。 这主要是因为Linux系统是一个开源的系统，并且是经过大量测试和实践检验的，是非常稳定和可靠的。如果你在互联网公司工作，很大可能性会使用到Linux服务器，所以我们需要对......
17 天前 / sjf0115
数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。 最开始的时候，每个应用程序会产生、存储大量数据，而这些数据并不能被其他应用程序使用，这种状况导致 数据孤岛 的产生。随后数据集市应运而生，应用程序产生的数据存储在一个集中式的数据仓库中，可根据需要导出相关数据传输给企业内需要该数据的部门或个人。 然而数据集市只解决了部分问题。剩余问题，包括数据管理、数据所有权与访问控制等都亟须解决，因为企业寻求获得更高的使用有效......
23 天前 / gongyouliu
本文为《大数据分析师入门课程》系列的第9篇，在本系列的第8篇-Spark基础中，已经对Spark做了一个入门介绍，在此基础上本篇拎出Spark SQL，主要站在使用者的角度来进行讲解，需要注意的是本文中的例子的代码均使用Scala语言。 主要包括以下内容： 你该了解的Spark SQL 简单入门操作 不得不说的数据源 一 你该了解的Spark SQL 1.什么是Spark SQL？ Spark SQL是Spark专门用来处理结构化数据的模块，是Spark的核心组件，在1.0时发布。 SparkSQL替代的是HIVE的查询引擎，HIVE的默认引擎查询效率低......
23 天前 / xF0rk
背景前段时间，接入了公司部分日志流量，大约每分钟30万的请求日志。计划做一个恶意URL检测的系统，分2个阶段： 第一阶段：基于黑规则检测 第二阶段：基于机器学习检测 期间参考过很多文章，大部分都在讨论怎么去发现恶意请求，这无可厚非。但是实际环境中恶意请求的占比又是多少呢？观察我们的日志发现90%的请求都是正常请求，其中一些请求非常明显(一看就是没问题那种),例如： /1/api/new_gamesv=0.06540659188776337 /5tBARviOXjSbscQH9AzRiw==/109951164132869215.jpgparam=36y36 /Active_Page/js/vue.min.js /api.phpformat=json&t=1 ......
24 天前 / 闲鱼技术
01背景闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。 线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的系统需求就应用而生，而快速诊断的基础是一个高性能的实时数据处理系统。这个实时数据处理系统需要具备如下的能力： 1、数据实时采集、实时分析、复杂计算、分析结果持久化。 2、可以处理多种多样的数据。包含应用日志、主机性能监控......
28 天前 / gongyouliu
本文为《大数据分析师入门课程》系列的第8篇，主要讲解大数据分析师必须了解的Spark基础知识，前7篇分别是JAVA基础、SCALA基础、SQL基础、SQL进阶、HIVE基础、HIVE进阶、HDFS&YARN基础。 依照惯例，首先，我们就以下三个问题进行简单说明。 为什么讲Spark？ 本文的主要目标是什么？ 本文的讲解思路是什么？ 为什么讲Spark？ 随着并行数据分析变得越来越流行，各行各业的使用者们迫切需要更好的数据分析工具，Spark 应运而生。作为MapReduce的继任者，Spark具备以下优势特性。 1.高效性 内存计算下，Spar......
28 天前 / hyper0x
引言抖音短视频卖服装、淘宝直播卖服装，服装定制、一人一版等新的业务形态的出现，同时也有消费者看不见的服装行业营销、设计及制造流程的变革；服装行业正向营销服务化、产品个性化，生产定制化转变，也促进企业去构建服装企业新的信息数字化，业务网络化，生产智能化。 一项目背景 传统的批量化生产模式和人口密集型生产遇到了发展障碍。预测式的批量化生产与日益增长的个性化消费需求产生了无法逾越的鸿沟，服装库存就在所难免，交期和质量难以控制。巨大的库存和生产成本侵蚀服装行业的利润，行业变革在所难免。 国家层面的供给侧改革也......
32 天前 / gongyouliu
导语 HDFS和YARN是大数据生态的基础组件，不过，因为其处于数据分析架构体系的底层，通常我们很少能感受到它们的存在。 但是我们必须要了解它们，因为在某些场景下，我们依然会接触到它们。了解他们并熟悉怎么使用，是大数据分析师必备的技能之一。 首先，还是让我们来回答经典的三个问题： 为什么要讲HDFS和YARN？ 本节课程的目标是什么？ 本文的讲解思路是？ 为什么要讲HDFS和YARN？ 作为大数据生态的基石，HDFS和YARN支撑着所有上层的组件，其重要性不言而喻。HDFS作为分布式存储的基础解......
34 天前 / 360技术
奇技指南 在万物互联的大数据时代，数据安全是个不容忽视的大问题。但企业往往缺乏未雨绸缪的意识，直到数据泄露等事件发生时才亡羊补牢，因此造成不可逆的损失和影响。此类事件在近年来频繁发生，而围观的我们是否应该反省自身，及时作出防御措施？ 360大数据中心技术总监徐皓接受dbaplus社群的专访，围绕「大数据平台安全设计和实践」这一话题展开了深度探讨。 本文首发于DBAplus社群。 徐 皓 现任奇虎360大数据中心技术总监，数据中心技术团队负责人，负责数据中心平台的规划和建设工作，主导并参与了数据中心全新一代平台的研发。曾就......