10 天前 / 宜信技术学院
活动关于我们流沙：宜信安全数据平台实践 作者：安全开发 高杨 浏览：905 日期：2019-06-12 前言OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目Hadoop，实时索引使用开源项目ElasticSearch，在线流分析使用著名的开源项目Storm。 宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构，相比于OpenSOC做......
14 天前 / 360技术
奇技指南 在万物互联的大数据时代，数据安全是个不容忽视的大问题。但企业往往缺乏未雨绸缪的意识，直到数据泄露等事件发生时才亡羊补牢，因此造成不可逆的损失和影响。此类事件在近年来频繁发生，而围观的我们是否应该反省自身，及时作出防御措施？ 360大数据中心技术总监徐皓接受dbaplus社群的专访，围绕「大数据平台安全设计和实践」这一话题展开了深度探讨。 本文首发于DBAplus社群。 徐 皓 现任奇虎360大数据中心技术总监，数据中心技术团队负责人，负责数据中心平台的规划和建设工作，主导并参与了数据中心全新一代平台的研发。曾就......
18 天前 / 开发者头条
【这是半佛仙人的第80篇原创】 0 这篇文章中涉及到的一些技术名词和多重逻辑嵌套的描述，可能对于部分读者的阅读体验不是很友好，但我觉得只有这么写才对的起各位长期以来的支持，该写硬核的内容还是要写的硬核。 我要把这件事情彻底写清楚，也希望可以让读者们意识到这件事情背后的恶心。 1 这一阵出现了一个很神奇的东西，叫做“原谅宝”，一时闹得整个微博沸沸扬扬的。 起因是一个身在德国的程序员在微博上公布了自己的一个发明，来龙去脉可以看一下这张图。 简而言之，就是这位程序员，利用技术，抓取......
21 天前 / mason32
数据批处理神器-Spring Batch(1)简介及使用场景tags： springbatch 1.引言最近使用 SpringBatch进行做数据迁移、数据同步、数据批处理等工作，感叹 SpringBatch设计之简洁，对批处理编程的抽象能力之强大。 众所周知，随着大数据技术发展，企业对数据越来越重视，如何把数据有效转化为信息，以帮助企业提供数据分析、商业决策、提高核心竞争力。而批处理则是实现这一目标的其中一个重要手段。通过批处理，可以完成数据加载、抽取、转换、验证、清洗等功能。这些工作具有数据量大、无需人工操作、与时间密切相关（如隔一段时间处理一次）等特点。......
25 天前 / 宜信技术学院
内容来源：宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 主讲人介绍 卢山巍：宜信数据中台平台团队负责人 字数：16895字 预计阅读时间：40min 导读：宜信于2017年推出了一系列大数据开源工具，包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等，在技术社区内得到了广泛关注和好评。这些工具是如何在宜信内部应用的？它们和宜信数据中台是怎样的关系？又是如何驱动各种日常数据业务场景的？ 本次分享对这些问题进行了回答，同时重点分享了宜信敏捷数据中台的设计、架构以及应用场景，提出一种敏捷数据中台的建设思路......
28 天前 / 智能大石头
NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netcore，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。 开源地址：https://github.com/NewLifeX/X（求star, 770+） 单对象缓存前文提到了以sql为key的数据层缓存，以及整表缓存的实体列表缓存，各自有其优缺点，适用于不同场合。 当单表数据较大（10万+）时，两者就无能为力了。天空一道巨响，对象字典缓存隆重登场！ 对象字典缓存：以......
30 天前 / 万向区块链
引言 5月18日至19日，由中国信息化百人会联合中国万向控股有限公司、杭州市萧山区人民政府共同举办的2019“数字化一带一路”国际高峰论坛在浙江杭州举行。万向区块链和PlatON云图首席经济学家邹传伟博士主持“新兴技术与数据治理国际研讨会暨中国信息化百人会数据治理论坛”并发表精彩演讲。 邹传伟博士发表《分布式经济与数据隐私》的主题演讲，从经济学视角出发，讨论数据隐私在形成市场时所面临的障碍，以及未来的方向性思考。 以下是万向区块链和PlatON首席经济学家邹传伟博士的演讲内容（有部分不改变原意的删改）。 邹传伟......
37 天前 / openio
写在开头的话 Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？ A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点： 1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上； 2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组织协同； 3）数据合规要求高：数据租户服务涉及到数据安全、用户隐私保护的合规要求高。 Q: 好吧，听起来，要搞定这样的集群，有难度呀！那何时要关注集群的治理呢？ A: 好问题！一般来说，当数据质量问题、数据交付及时性、数据......
43 天前 / 江米小枣tonylua
原文： https://markus.oberlehner.net/blog/should-i-store-this-data-in-vuex/ 大多数人刚上手 Vuex 的时候，首先都想知道，应该往其中存放什么样的数据呢？在对这个问题给出答案的过程中，很多人（包括我）先是来到了“一股脑放进去”的阶段。但是在遭遇了首次障碍后，你很快就会领悟到：这可不是在 Vue.js 应用中管理数据的完美方案啊。 在本文中我将尝试回答诸如“Vuex 在何种情景下是个称手的解决方案”，以及“何时用其他方式更好些”的这类问题。 I. 首先，为何使用 Vuex ？Vue.js 为我们提供了响应式的data属性 -- 这是一种开箱即用的......
43 天前 / 杀死那个程序员
点击上方"张狗蛋的技术之路"，选择“置顶或者星标” 你的关注意义重大! 一致性哈希算法在分布式缓存领域的 MemCached，负载均衡领域的 Nginx 以及各类 RPC 框架中都有广泛的应用，它主要是为了解决传统哈希函数添加哈希表槽位数后要将关键字重新映射的问题。 本文会介绍一致性哈希算法的原理及其实现，并给出其不同哈希函数实现的性能数据对比，探讨Redis 集群的数据分片实现等，文末会给出实现的具体 github 地址。 Memcached 与客户端分布式缓存Memcached 是一个高性能的分布式缓存系统，然而服务端没有分布式功能，各个服务器不会......
45 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议） 01 接上篇文章《数据与广告系列五：广告生态的平衡与人群定向初探》，我们知道广告生态里有多个参与方，每个参与方的诉求也是不同的。 而为了满足他们之间的诉求，具体的交互过程，是由各种各样的在线广告产品以及系统平台关联起来的，承担着各种不同的职责。 当然，这些产品的出现也是经历了各种阶段的发展，最终形成了相对复杂的逻辑关系，由于市场足够大，而参与到在线广告游戏里的玩家也越来越多，不过这不是我们关注的重点，我们这篇的重点是理清楚所有参与到其中的产品逻辑关系......
46 天前 / 数据虫巢
作者 | 黄崇远（题图：pixabay.com，CCO协议） 01 在上一篇《数据与广告系列四：搜索广告来源和竞价策略》中，我们对于竞价机制我们大概有个了解了，但在实际的广告与流量匹配中，价高者得只是个相对结论，我们先来看看整体逻辑。 关于广告平台/流量平台（很多时候是一家，比如腾讯对应各个流量产品线和广告都是一家），广告主，以及用户之间的关系可以理解为如下，所以后续不管是广告模式的改变也好，竞价机制也好，其实核心都是围绕如下如图的香港诉求去优化，去平衡。 但实际上，如果我们要维持整个广告生态平衡，必须要考......
47 天前 / 数据虫巢
作者 | 黄崇远（题图：pixabay.com，CCO协议） 01 我们回顾一下上篇《数据与广告系列三：合约广告与与衍生的第三方广告数据监控》中提到的合约广告逻辑。对于广告主来说他希望得到的是广告位，广告位对应的曝光量，而他需要付出的是对应资源的价格，比如CPM中的CPM价格；对于广告平台方或者直接点流量平台方来说，他期望得到的是更高的价格，而付出的就是广告位以及承诺的曝光量。 那问题来了，之前我们有说到过广告就算是品牌广告最终其追求的核心本质都是转化，只不过路径长短而已，但是合约广告的模式平台方承担的只是量的保证，对......
53 天前 / AIOps智能运维
作者简介 运小羴 百度云高级研发工程师 负责百度云Noah智能监控产品数据采集子系统相关研发工作，在分布式监控系统架构、服务器客户端研发等方向有着较为广泛的实践经验。 干货概览 在百度云Noah智能监控产品中，我们提供了多维度数据聚合计算、智能异常检测、数据可视化、智能报警合并、逐级通告等丰富功能。今天，我们追根溯源，讲讲所有这些能力的基础，数据的来源，监控数据采集（入门篇）。 不同业务场景下都有着不同的监控需求，比如服务器的运行时信息、服务进程信息、日志信息、网络状态信息以及服务状态信息等。与之对......