1 天前 / 开发者头条
资料来源：航班管家、百度迁徙、城市象限 物联网智库 整理发布 转载请注明来源和出处 导 读 在目前这种态势下，防止扩散和治疗患者同等重要，所以宏观掌握疫情动向十分必要。令人欣慰的是，现在各大互联网公司和运营商已经开始利用自己拥有的数据资源统计近期武汉人口的具体流向。 临近春节，全国人民关心的话题不再是猪肉、春晚、年夜饭，旅游。.....而是武汉疫情。 春运大潮的启动和春节走亲访友的传统习俗，成了这场高传染性病毒疫情的催化剂。随着事态的进一步升级，1 月 23 日，武汉市新型冠状病毒感染的肺炎疫情防控指挥部发布第 1 号通告，......
8 天前 / 美团技术团队
新年将至，年味渐浓。美团点评技术年货如期而至。从2013年12月4日发布第一篇文章，一直到今天，美团技术团队官方博客已经走过了6个春秋。截止目前，我们共发布376篇技术文章，微信公众号（meituantech）的关注者也超过20万。由衷地感谢大家一直以来对我们的鼓励和陪伴！2020年春节到来之际，我们精选美团技术博客几十篇技术干货以及数篇国际顶会论文，整理制作成一本厚达900多页的电子书，作为新年礼物赠送给大家。目录如下： 这本电子书内容覆盖前端、后台、算法、数据等多个领域，希望小伙伴们在新的一年里收获满满，成长多多。 也欢迎......
14 天前 / xF0rk
在大数据应用普及以及信息安全上升为国家高度后，信息安全能力落地的挑战日益增多。一方面，企业内部的安全体系架构日益复杂，各式各样的安全数据越来越多，传统分析方法难以奏效。另一方面，传统分析方法无法有效的检测新型攻击手法。同时，在大数据时代下对威胁的判断以及响应有着更高的要求。为此，本文介绍如何通过开源组件搭建一个大数据安全分析平台，并且分享部分相关经验。本文主要从以下六个方面进行介绍： 1.平台框架 2.数据库设计 3.离线数据准备 4.Python2->3的升级 5.归一化注意事项 6.安全分析准备 一、平台框架 ......
20 天前 / u128287
点击上方“马蜂窝技术”，关注订阅更多优质内容 Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。 Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。 Part.1 应用场景 从 Kafka 在大数据平台的应用场景来看，主要分为以下三类： 第一......
23 天前 / u128287
本文选自“字节跳动基础架构实践”系列文章。 “字节跳动基础架构实践”系列文章是由字节跳动基础架构部门各技术团队及专家倾力打造的技术干货内容，和大家分享团队在基础架构发展和演进过程中的实践经验与教训，与各位技术同学一起交流成长。 作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文会从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。 HDFS 简介因为 HDFS 这样一个系统已经存在了非常长的时间，应用的场景已经非常成熟了，所以这部分我们会比较简......
28 天前 / vivo互联网技术
近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。 本文主要包括以下几个章节: 本文第一部分介......
29 天前 / xF0rk
0x01 前言 关于企业安全威胁数据收集分析是一个系统工程，每天在我们网络环境中，都会产生各种形式的威胁数据。为了网络安全防护，会收集各种流量日志、审计日志、报警日志、上网设备日志，安防设备日志等等。很多公司都有自己的数据处理流程，大数据管理工具。我们根据过去的实践经验，总结出了一个威胁数据处理模型，因为引用增长黑客的模型的命名方式，我们称这种模式为：沙漏式威胁信息处理模型。 网络环境下构建的安全发现设备或服务，其主要的作用是，增加我方的防御厚度，减缓攻方的攻速，能通过足够厚的防御措施，在攻方攻破之前发现......
40 天前 / 开发者头条
年底了，各种年终报告年度总结层出不穷。可来自成人网站的年度报告，你看过没？ Pornhub是什么网站，相信老司机们应该都清楚，但你会去研究Pornhub发布的年度报告吗？ 成人网站的年度报告能说点啥？ 急躁的朋友别心急，老司机带你一探究竟。 Pornhub每年都会发布一份年度报告，对该网站的流量及内容进行及时总结。这跟大家各行各业职位上的年度总结是一个道理，以总结的形式来对内扬长避短，对外规划进步。 这份年终报告并非简单走个形式，Pornhub每年都会倾注大量心血研究数据来使公众了解该网站及其内......
43 天前 / 宜信技术学院
文章来源：宜信技术学院 & 宜信支付结算团队技术分享第6期-宜信支付结算部支付研发团队高级工程师许赛赛《揭秘：“撩”大数据的正确姿势》 分享者：宜信支付结算部支付研发团队高级工程师许赛赛 （图片来源于网络） 我是我：“缘起于美丽，相识于邂逅，厮守到白头！” 众听众：“呃，难道今天是要分享如何作诗？！” 我是我：“大家不要误会，今天主要的分享不是如何作诗，而是《揭秘：‘撩’大数据的正确姿势》，下面进入正题。” 话说当下技术圈的朋友，一起聚个会聊个天，如果不会点大数据的知识，感觉都融入不了圈子，为了以后聚会时......
44 天前 / 数据叔
大叔的原创专栏 << 点击 来源 | https://blog.marouni.fr/bidata-trends-analysis/作者 | Abbass MarouniI’ve been a loyal follower ofData Eng Weekly newsletter(formerly Hadoop Weekly) for the past 6 years, the newsletter is a great source for everything related to Big data and data engineering in general with a wide selection of technical articles along with product announcements and industry news. For this year’s holidays side project I decided to analyzeData Eng’s archives, that go back to January 2013,......
44 天前 / 大数据学徒
为了方便学习和开发，我写了一个 Dockerfile，把常见的大数据相关软件都装了进去并且做了基本的配置，目前各个组件都可以正常使用，欢迎大家使用和反馈，我会长期维护，觉得有用请 Star。 目前包含的组件有：Hadoop、Hive (on Tez)、Hue、Spark、Flink、Zookeeper、Kafka、MySQL 镜像 Docker Hub 地址：https://hub.docker.com/repository/docker/iamabug1128/bdp 项目 Github 地址：https://github.com/iamabug/BigDataParty 电脑端阅读：https://www.jianshu.com/p/026a9c810262 或 https://juejin.im/post/5def2b92f265da33e82bb4b8 内容......
51 天前 / 神策数据
在以“矩·变”为主题的神策 2019 数据驱动大会现场，神策数据业务咨询师成林松发表了名为《社交裂变的场景化分析》的主题演讲。以下内容根据其现场演讲整理所得。 温馨提示：文末点击阅读原文可下载 PPT。 本文将重点为你介绍： 社交裂变的价值 常见的裂变模式 社交裂变发生的原理及计算公式 社交裂变场景进行有效分析的框架 基于裂变的数据结构化采集方案 一、社交裂变的价值 众所周知，一切产品业务发生的前提是有用户，在此基础上才有转化流程，尤其在企业初创期，最核心的指标是用户增长。且在如今的市场环境下，增长不再......
65 天前 / 数据叔
这是大数据入门常识第一篇，主要讨论大数据工作的方向问题。 后续还会把 “大数据实际工作中的职责”，“大数据需要学的内容”，“大数据如何学习” 这三个议题写成三篇文章展开来详细讨论，敬请期待，如果有其他感兴趣的问题也可以告诉我，我会给大家安排上。 言归正传，在我的第一期「定制学习」基础班，有不少刚入门的同学问了我类似这样的问题 看招聘网站上，大数据相关的方向好多，不知道自己适合哪个怎么办？ 关注我的同学应该有不少是刚入门的，所以我把内容好好地整理总结了发出来希望能帮到更多人。 另......
80 天前 / sjf0115
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink现状，Flink应用以及未来计划四部分分享。 一．平台架构 1、Flink 应用时间线 首先是平台的架构，2018年3月之前基本都是基于Storm和Spark Streaming来做的。目前，基本已经把Spark Streaming和Storm淘汰了，主要都是Flink SQL来做的。起初还比较传统，一般是接需求然后开发类似于Flink SQL的任务，基本是手工作坊操作模式。后来Flink SQL的任务逐渐多了起来，就开始考虑往平台化方向发展。大概在2018年10月份，我们开始搭建实时平台。当......
85 天前 / 冷星1024
背景58作为国内最大的生活信息服务平台，涵盖了本地服务，招聘，房产，二手车，二手物品等多条业务线。商业部门作为中台部门，其职能是服务各大业务线，辅助优化各业务线商业流量的变现效率，同时满足各业务线个性化，多元化的流量变现需求。 在不同的商业产品类型以及不同的场景下，业务线对于变现效率和用户体验存在不同的诉求。目前在listing模式下，当帖子候选数量较大时，排序对变现效率和用户体验的影响很大，满足业务线的多元化需求，在不同的商业产品提升变现效率的同时，兼顾用户体验，成为排序需要去解决的非常关键的问题。 本文主......