16 天前 / 源码笔记
1，什么是大数据？ 什么是大数据？先来一组直观的数据感受下什么是大数据： 1）纽约证交所每天产生的交易数据大约是 4TB 到 5TB 之间； 2）截止到 2015 年 7 月，微信朋友圈每天的发表量（包括赞和评论）超过 10 亿，浏览量超过 100 亿； 3）微博每天 7500 万条微博发布，每条可输入 140 字，总共 105 亿字，1G 可存储 5 亿字，每天就需 21G 的空间； 4）百度网盘网盘用户数量达到 2 亿，每个人可有 2TB 的存储空间，可见存储数据量之大。 可见，大数据就是数据量非常大，大到一台计算机的容量无法存储。
21 天前 / 微微科技技术团队
前阵子老板安排了一个新任务，要建设一个商家商品搜索系统，能够为用户提供快速、准确的搜索能力，在用户输入搜索内容时，要能从商家名称和商品名称两个维度去搜索，搜索出来的结果，按照准确率排序，并按商家所属商品的关联关系，来组合数据结构，同时提供 API 给业务系统调用。 背景很简单，现实蛮复杂！我们面临以下几个难题：①商家数据库和商品数据库是多台不同的服务器，并且数据量达百万级，如何才能实现跨数据库的数据同步呢？ ②商家和商品的数据是有从属关系的，不然就会把肯德基的香辣鸡腿堡挂到麦当劳去...
43 天前 / sjf0115
1. 引入为在组织的数据环境中创造最大价值，传统的决策支持系统架构难以满足该需求。需要开发新的架构模式以释放数据的价值。为了充分利用大数据的价值，组织需要拥有灵活的数据架构，并能够从其数据生态系统中获取最大价值。 Data Lake 概念已经存在了一段时间。但是，我还是看到很多组织结构很难理解这个概念，因为他们对其的理解仍然禁锢在传统的企业数据仓库范式中。 本文将深入研究 Data Lake 架构模式的概念并设计一个架构模式。 2. 传统数仓 (DWH)架构 传统的企业 DWH 架构模式已经使用了很多年。
63 天前 / sjf0115
翻译自：https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html 1. 引入在 Databricks 的过去几年中，我们看到了一种新的数据管理范式，该范式出现在许多客户和案例中：LakeHouse。在这篇文章中，我们将描述这种新范式及其相对于先前方案的优势。 数据仓库技术自 1980 诞生以来一直在发展，其在决策支持和商业智能应用方面拥有悠久的历史，而 MPP 体系结构使得系统能够处理更大数据量。但是，虽然数据仓库非常适合结构化数据，但许多现代企业必须处理非结构化数据、半结构化数据以及具有高多样性，高速度和高容量的数据。
77 天前 / 开发者头条
资料来源：航班管家、百度迁徙、城市象限 物联网智库 整理发布 转载请注明来源和出处 导 读 在目前这种态势下，防止扩散和治疗患者同等重要，所以宏观掌握疫情动向十分必要。令人欣慰的是，现在各大互联网公司和运营商已经开始利用自己拥有的数据资源统计近期武汉人口的具体流向。 临近春节，全国人民关心的话题不再是猪肉、春晚、年夜饭，旅游。.....而是武汉疫情。 春运大潮的启动和春节走亲访友的传统习俗，成了这场高传染性病毒疫情的催化剂。
84 天前 / 美团技术团队
新年将至，年味渐浓。美团点评技术年货如期而至。从2013年12月4日发布第一篇文章，一直到今天，美团技术团队官方博客已经走过了6个春秋。截止目前，我们共发布376篇技术文章，微信公众号（meituantech）的关注者也超过20万。由衷地感谢大家一直以来对我们的鼓励和陪伴！2020年春节到来之际，我们精选美团技术博客几十篇技术干货以及数篇国际顶会论文，整理制作成一本厚达900多页的电子书，作为新年礼物赠送给大家。目录如下： 这本电子书内容覆盖前端、后台、算法、数据等多个领域，希望小伙伴们在新的一年里收获满满，成长多多。
90 天前 / xF0rk
在大数据应用普及以及信息安全上升为国家高度后，信息安全能力落地的挑战日益增多。一方面，企业内部的安全体系架构日益复杂，各式各样的安全数据越来越多，传统分析方法难以奏效。另一方面，传统分析方法无法有效的检测新型攻击手法。同时，在大数据时代下对威胁的判断以及响应有着更高的要求。为此，本文介绍如何通过开源组件搭建一个大数据安全分析平台，并且分享部分相关经验。本文主要从以下六个方面进行介绍： 1.平台框架 2.数据库设计 3.离线数据准备 4.Python2->3的升级 5.归一化注意事项 6.安全分析准备 一、平台框架 在日志管...
96 天前 / u128287
点击上方“马蜂窝技术”，关注订阅更多优质内容 Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。 Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。
99 天前 / u128287
本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容，和大家分享团队在基础架构发展和演进过程中的实践经验与教训，与各位技术同学一起交流成长。 作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文会从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。
104 天前 / vivo互联网技术
近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。
105 天前 / xF0rk
0x01 前言 关于企业安全威胁数据收集分析是一个系统工程，每天在我们网络环境中，都会产生各种形式的威胁数据。为了网络安全防护，会收集各种流量日志、审计日志、报警日志、上网设备日志，安防设备日志等等。很多公司都有自己的数据处理流程，大数据管理工具。我们根据过去的实践经验，总结出了一个威胁数据处理模型，因为引用增长黑客的模型的命名方式，我们称这种模式为：沙漏式威胁信息处理模型。
116 天前 / 开发者头条
年底了，各种年终报告年度总结层出不穷。可来自成人网站的年度报告，你看过没？ Pornhub是什么网站，相信老司机们应该都清楚，但你会去研究Pornhub发布的年度报告吗？ 成人网站的年度报告能说点啥？ 急躁的朋友别心急，老司机带你一探究竟。 Pornhub每年都会发布一份年度报告，对该网站的流量及内容进行及时总结。这跟大家各行各业职位上的年度总结是一个道理，以总结的形式来对内扬长避短，对外规划进步。
119 天前 / 宜信技术学院
文章来源：宜信技术学院 & 宜信支付结算团队技术分享第6期-宜信支付结算部支付研发团队高级工程师许赛赛《揭秘：“撩”大数据的正确姿势》 分享者：宜信支付结算部支付研发团队高级工程师许赛赛 （图片来源于网络） 我是我：“缘起于美丽，相识于邂逅，厮守到白头！” 众听众：“呃，难道今天是要分享如何作诗？！” 我是我：“大家不要误会，今天主要的分享不是如何作诗，而是《揭秘：‘撩’大数据的正确姿势》，下面进入正题。
120 天前 / 数据叔
大叔的原创专栏 << 点击 来源 | https://blog.marouni.fr/bidata-trends-analysis/作者 | Abbass MarouniI’ve been a loyal follower ofData Eng Weekly newsletter(formerly Hadoop Weekly) for the past 6 years, the newsletter is a great source for everything related to Big data and data engineering in general with a wide selection of technical articles along with product announcements and industry news. For this year’s holidays side project I decided to analyzeData Eng’s archives, that go back to January 2013, to try...