227 天前 / 大叔据
【每日五分钟搞定大数据】系列，HBase第三篇聊完场景和数据模型我们来说下HBase的架构，在网上找了张比较清晰的图，我觉得这张图能说明很多问题，那这一篇我们就重点来解析下这张图角色与职责先介绍下上图中的几个角色和Ta们的职责：1.HMaster为Region server分配region;负责Region server的负载均衡;发现失效的Region s...
228 天前 / mantou
1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。近几年，在thehackernews等网站上总会时不时的看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在Hadoop1.0.0之前，Hadoop并不提供对安全的支持...
228 天前 / 逗逗
本次分享来自中国HBase技术社区第七届MeetUp成都站，分享嘉宾郑浩南 爱奇艺 资深研发工程师，专注于大数据领域，负责Hadoop服务的运维研究以及DevOps平台开发。分享主题：HBase在爱奇艺的应用实践 内容概要：随着大数据存储计算对延时吞吐要求越来越高，需求日益复杂化，HBase在爱奇艺中被广泛应用和实践以应对多样化的业务场景。本次演讲将介绍HB...
230 天前 / 逗逗
点击上方蓝字关注【 北邮郭大宝 】最近实习需要开发一套Spark Streaming的实时流处理项目，内心还是很期待的。说来惭愧，做大数据开发实习一年有余了，都是离线批处理的任务，还没亲自操刀部署上线一套流处理项目。正好有这样的机会，补一补自己的知识短板。Spark Streaming的基础知识在之前在公众号里有过介绍，是实习小伙伴沙利民同学总结的，写的很不...
230 天前 / 務急不僅
面试题在面试软件开发工程师时，经常会遇到海量数据排序和去重的面试题，特别是大数据岗位。例1：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，找出a、b文件共同的url首先我们最常想到的方法是读取文件a，建立哈希表，然后再读取文件b，遍历文件b中每个url，对于每个遍历，我们都执行查找hash表的操作，若hash表中搜索到了...
231 天前 / 宜信技术学院
前言 人工智能的诞生可以追溯到上世纪50年代，在达特茅斯会议上，麦卡锡提出了AI的概念，但在初期的热度过后，人工智能的发展经历了多次低谷，直到从90年代中末期开始至今的这近二十年的时间里，人工智能才真正迎来了黄金时期。尤其是在近10年来，各方面因素都推动其不断发展：理论上，机器学习，尤其是统计学习和神经网络理论不断突破，效果显著；外部环境上，软硬件技术的进步...
231 天前 / sjf0115
下面文字如代码错乱，可以点击下面的 阅读原文 即可进入原文阅读。https://www.iteblog.com/archives/2435.html背景随着 Apache HBase 在各个领域的广泛应用，在 HBase 运维或应用的过程中我们可能会遇到这样的问题：同一个 HBase 集群使用的用户越来越多，不同用户之间的读写或者不同表的 compactio...
231 天前 / backkoms
(题图：fromgithub) 三问海量数据处理：什么是海量数据处理，为什么出现这种需求？ 如何进行海量数据处理，常用的方法和技术有什么？ 如今分布式框架已经很成熟了，为什么还用学习海量数据处理的技术？ 什么是海量数据处理，为什么出现这种需求？如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面...
233 天前 / 大叔据
HBase作为数据库，搞清它的数据模型与操作是最基本的，这篇就讲这些比较基础的东西。文中会涉及到比较多的操作命令，建议收藏，用到时在拿出来查看。 这里有一张表，是用关系型数据库的思维画出来的表，这样比较易于理解： 概念Table（表格） 没啥说的，和关系型数据库一样，由多行组成Row（行） 包含一个key和一个或者多个列。行按照RowKey字典序存储在表格中...
234 天前 / 恒生技术君
脸书人工智能实验室（Facebook AI Research）表示：传统文本分类方法很深入，但是否太慢了？大数据时代，已有的文本分类方法限制了它们在大规模数据集上的广泛使用，已渐渐不能满足对信息处理的高速要求。文本的学习与图像的学习不同。图像学习中，机器临摹一个大师的画作，临摹次数越多会越接近原作，但一般情况下，文本学习并不需要过多隐藏层、过复杂的神经网络。...
235 天前 / 秦夏
没有碰到过 GC 问题的人生对写 Java 的人来说是不完整的。大数据生态圈的框架大都以 JVM 系语言开发（Java Scala 为主），毕竟生态成熟嘛要啥有啥。HDFS 作为大数据领域的默认分布式文件系统，其运作方式导致了非常容易碰到 GC 问题：大量的元数据需要保存在内存中，使得很容易就需要几十 G 甚至 100 多 G 的堆大量且高并发的文件读写操作...
240 天前 / 腾讯云加社区
作者：张国鹏 | 腾讯 运营开发工程师 一、前言 Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何快速掌握Spark以及DataMagic平台是如何使用好Spar...
241 天前 / 大叔的大数据
关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。（我是真的找不到那么多资料...）。所以，今天我们只聊面试官。作为一只老鸟，我的面试经验还算丰富，无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的，毕竟知己知彼，百战不殆，知道对方会从哪些方面问问题，从哪些方面考核，才能更好地提前做好准备...
242 天前 / sjf0115
1.概述 在进行数据传输中，批量加载数据到HBase集群有多种方式，比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式，在导入数据的过程中，如果数据量过大，可能耗时会比较严重或者占用HBase集群资源较多（如磁盘IO、HBase Handler数等）。今天这篇博客笔者将为大家分享...
243 天前 / 美团技术团队
总第291篇 2018年 第83篇 引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink 和 Storm 两个引擎的计...