99 天前 / 深广大数据Club
微信公众号：深广大数据Club 关注可了解更多的大数据相关资讯。问题或建议，请公众号留言; 如果你觉得深广大数据Club对你有帮助，欢迎赞赏[1] 随着新设备，传感器和技术的出现，数据增长率在不断加速，根据IBM最近的一份报告（https://www.mediapost.com/publications/article/291358/90-of-todays-data-created-in-two-years.html），当今全球90％的数据仅在过去两年内创建，每天创建2.5亿个字节的数据。 从技术上讲，这意味着我们的大数据处理世界将变得更加复杂和具有挑战性。许多用例（例如移动应用广告，欺诈检测，出租车预订，患者监控......
102 天前 / 蓝天
作者：依乐祝 原文地址：https://www.cnblogs.com/yilezhu/p/9941208.html 作者：大石头 时间：2018-11-10 晚上20：00 地点：钉钉群（组织代码BKMV7685）QQ群：1600800 内容：Redis基本使用及百亿数据量中的使用技巧分享 记录人：依乐祝 热场准备熟悉的开场白，大家晚上好啊，今天给大家分享的是Redis在大数据中的使用，可能真正讲的是一些redis的使用技巧，Redis基本的一些东西。 首先给大家个地址，源码以及实例都在里面，当然今天的分享也是按照里面的实例来进行的，大家可以先进行下载。 http://git.newlifex.com/NewLife/NewLife.Red......
102 天前 / Jieshan.Bi
如何确保多步操作的事务性？HBase 基础框架级特性 Procedure 解读 (查看原文)标题中提及"事务"可能会给大家带来误解，这篇文章不是在讨论HBase如何支持分布式事务能力的，而是介绍HBase用来处理内部事务操作的特性，这个特性被称之为Procedure V2... mp.weixin.qq.com
102 天前 / 蓝天
作者：依乐祝 原文地址：https://www.cnblogs.com/yilezhu/p/9941208.html 作者：大石头 时间：2018-11-10 晚上20：00 地点：钉钉群（组织代码BKMV7685）QQ群：1600800 内容：Redis基本使用及百亿数据量中的使用技巧分享 记录人：依乐祝 热场准备熟悉的开场白，大家晚上好啊，今天给大家分享的是Redis在大数据中的使用，可能真正讲的是一些redis的使用技巧，Redis基本的一些东西。 首先给大家个地址，源码以及实例都在里面，当然今天的分享也是按照里面的实例来进行的，大家可以先进行下载。 http://git.newlifex.com/NewLife/NewLife.Red......
103 天前 / Jieshan.Bi
如何确保多步操作的事务性？HBase 基础框架级特性 Procedure 解读 (查看原文)标题中提及"事务"可能会给大家带来误解，这篇文章不是在讨论HBase如何支持分布式事务能力的，而是介绍HBase用来处理内部事务操作的特性，这个特性被称之为Procedure V2... mp.weixin.qq.com
106 天前 / 大叔据
【每日五分钟搞定大数据】系列，HBase第四篇这一篇你可以知道，HFile的内部结构？HBase读文件细粒度的过程？HBase随机读写快除了MemStore之外的原因？上一篇中提到了Hbase的数据以HFile的形式存在HDFS， 物理存储路径是：NameSpace->Table->Region->CF->HFile这一篇我们来说下这个HFile，把路径从H...
109 天前 / 大叔据
【每日五分钟搞定大数据】系列，HBase第三篇聊完场景和数据模型我们来说下HBase的架构，在网上找了张比较清晰的图，我觉得这张图能说明很多问题，那这一篇我们就重点来解析下这张图角色与职责先介绍下上图中的几个角色和Ta们的职责：1.HMaster为Region server分配region;负责Region server的负载均衡;发现失效的Region s...
110 天前 / mantou
1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。近几年，在thehackernews等网站上总会时不时的看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在Hadoop1.0.0之前，Hadoop并不提供对安全的支持...
110 天前 / 逗逗
本次分享来自中国HBase技术社区第七届MeetUp成都站，分享嘉宾郑浩南 爱奇艺 资深研发工程师，专注于大数据领域，负责Hadoop服务的运维研究以及DevOps平台开发。分享主题：HBase在爱奇艺的应用实践 内容概要：随着大数据存储计算对延时吞吐要求越来越高，需求日益复杂化，HBase在爱奇艺中被广泛应用和实践以应对多样化的业务场景。本次演讲将介绍HB...
112 天前 / 逗逗
点击上方蓝字关注【 北邮郭大宝 】最近实习需要开发一套Spark Streaming的实时流处理项目，内心还是很期待的。说来惭愧，做大数据开发实习一年有余了，都是离线批处理的任务，还没亲自操刀部署上线一套流处理项目。正好有这样的机会，补一补自己的知识短板。Spark Streaming的基础知识在之前在公众号里有过介绍，是实习小伙伴沙利民同学总结的，写的很不...
113 天前 / 務急不僅
面试题在面试软件开发工程师时，经常会遇到海量数据排序和去重的面试题，特别是大数据岗位。例1：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，找出a、b文件共同的url首先我们最常想到的方法是读取文件a，建立哈希表，然后再读取文件b，遍历文件b中每个url，对于每个遍历，我们都执行查找hash表的操作，若hash表中搜索到了...
113 天前 / 宜信技术学院
前言 人工智能的诞生可以追溯到上世纪50年代，在达特茅斯会议上，麦卡锡提出了AI的概念，但在初期的热度过后，人工智能的发展经历了多次低谷，直到从90年代中末期开始至今的这近二十年的时间里，人工智能才真正迎来了黄金时期。尤其是在近10年来，各方面因素都推动其不断发展：理论上，机器学习，尤其是统计学习和神经网络理论不断突破，效果显著；外部环境上，软硬件技术的进步...
113 天前 / sjf0115
下面文字如代码错乱，可以点击下面的 阅读原文 即可进入原文阅读。https://www.iteblog.com/archives/2435.html背景随着 Apache HBase 在各个领域的广泛应用，在 HBase 运维或应用的过程中我们可能会遇到这样的问题：同一个 HBase 集群使用的用户越来越多，不同用户之间的读写或者不同表的 compactio...
113 天前 / backkoms
(题图：fromgithub) 三问海量数据处理：什么是海量数据处理，为什么出现这种需求？ 如何进行海量数据处理，常用的方法和技术有什么？ 如今分布式框架已经很成熟了，为什么还用学习海量数据处理的技术？ 什么是海量数据处理，为什么出现这种需求？如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面...
115 天前 / 大叔据
HBase作为数据库，搞清它的数据模型与操作是最基本的，这篇就讲这些比较基础的东西。文中会涉及到比较多的操作命令，建议收藏，用到时在拿出来查看。 这里有一张表，是用关系型数据库的思维画出来的表，这样比较易于理解： 概念Table（表格） 没啥说的，和关系型数据库一样，由多行组成Row（行） 包含一个key和一个或者多个列。行按照RowKey字典序存储在表格中...