19 天前 / u523325
下载APP测试数据生成工具datafaker叫我小名关注赞赏支持测试数据生成工具datafaker2019.03.27 13:14:03字数 1080阅读 584一、开源情况datafaker是一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，欢迎下载使用。github地址为： https://github.com/gangly/datafaker 文档同步更新在github 二、工具产生背景在软件开发测试过程，经常需要测试数据。这些场景包括： 后端开发新建表后，需要构造数据库测试数据，生成接口数据提供给前端使用。数据库性能测试生成大量测试数据，测试数据库性能流数据测试针对kafka流数据，需要......
21 天前 / 一猿小讲
【这是一猿小讲的第57篇原创分享】 大家应该都忙着给祖国庆生，根本无心上班，所以精心为各位打造一篇，一点都不用费脑的文章，一起聊聊数据及数据存储的那些事儿。敲黑板，讲重点，我们开始。 1.数据是啥？秒懂！ 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据——引用百度百科。 2.数据从哪儿来？秒懂！ 敢问你是否知道，当你点亮手机屏幕，手指在手机屏幕上的......
44 天前 / gyreg
似乎在IT行业里，大家都有过类似的感觉，那就是总有新名词冒出来，大家讨论的热火朝天的同时，彼此对这个词的含义理解并不相同。好多年后，大家才逐渐清晰的总结出了这个词的具体含义。比如，大数据（Big Data）早在1983年就被提出来，在2011年进入行业视野，又过了好多年，人们才统一了认识，明确了大数据几个“V”的特点。 在安全行业，这个现象同样很常见。近几年，数据安全领域经常出现的一个热词是 “以数据为中心的安全”，很多报告都用“以数据为中心的安全”区别“传统的数据安全”，但却很少有人具体讲清楚“以数据为中心的安全”到......
47 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议）公号，数据虫巢(ID: blogchong) 01写在之前 上一篇《数据与广告系列九：有意思的本地化广告》时间是7月30号，刚好隔了一个月，哈哈，这不算断更，正常的更新节奏啦（公众号：数据虫巢）。不知不觉中《数据与广告系列》已经更到了第十篇了，以均篇5000的字数来看，也有5万多字了。 在最近的一年多时间里，突然发现散篇写的相对偏少些了，不知不觉中自己也习惯的去从更全局的角度去组织知识结构，然后形成偏系统化的知识结构。除了目前的《数据与广告系列》九篇，还有《推荐系统系列》六篇......
62 天前 / 读芯术
全文共4898字，预计学习时长10分钟 实际上，数据科学家80％到90％的工作是数据清理，而这项工作的目的是为了执行其余10％的机器学习任务。没有什么比完成数据集分析后的收获更让人兴奋的了。如何减少清理数据的时间？如何为至关重要的10%的工作保留精力？ 根据很多专业人士的经验，对数据清理涉及的过程有充分的认知总是好的。了解流程、流程的重要性以及流程中可使用的技巧，将减少执行数据清理任务所需的时间。 良好数据的重要性 好的数据被定义为准确、完整、符合、一致、及时、独特且有效的数据。机器学......
62 天前 / mr7
优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。阿里数据技术专家门德亮给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。 大家好，我是门德亮，很荣幸，我正好见证了优酷从没有MaxCompute到有的，这样一个历程，我们正好是在快到5年的时候，做了从Hadoop到MaxCompute的这样一个升级。 2016年5月到2019年5月优酷的发展历程。整个用户......
71 天前 / hyper0x
前言随着数据通讯成本的急剧下降，以及各种传感技术和智能设备的出现，从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源源不断的产生海量的实时数据并发往云端。这些海量数据是社会和企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，帮助社会或企业进行科学决策、节约成本并创造新的价值。 Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家......
85 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
92 天前 / 苏鹭彬
在大数据领域的，Kafka作为消息发布订阅系统，为同学们所熟悉，它有非常好的扩展性。能够在大数据环境下实现高吞吐量和高可用。那么Kafka是如何保证数据的可靠性和一致性的呢？ 可靠性 可靠性方面，Kafka主要在Leader的选举、Broker的分布式部署、Partition的replication和Producer的acks三个方向进行保障。 Leader选举机制 Kafka Leader主要从维护的ISR（in-sync replicas）列表中选出，那么什么是ISR列表呢？我们来看下面一张图 这里我们可以发现Kafka的每一个partition都维护了一个ISR列表，这个ISR官方的解释是："isr" is ......
97 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议） 距上一篇《数据与广告系列七：广告与推荐系统技术架构》已经快有一个半月了。这一个月多里，确实很忙，五月底出去溜了一圈，六月初新的工作，新的环境，新的事情，确实事情比较多，不过也充实，趁机充电。 所以如约的围绕广告数据分析维度的文章没来，但今天我们可以来讨论另一个维度的话题，广告与电商，或者说更具体点--二类电商，一个广告维度很有特点的广告投放类型。 依然是高质量局，相信我，看完这篇文章，你对二类电商在广告上玩法肯定熟悉的溜溜的，说不定就辞职跑去当二类......
125 天前 / 宜信技术学院
活动关于我们流沙：宜信安全数据平台实践 作者：安全开发 高杨 浏览：905 日期：2019-06-12 前言OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目Hadoop，实时索引使用开源项目ElasticSearch，在线流分析使用著名的开源项目Storm。 宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构，相比于OpenSOC做......
129 天前 / 360技术
奇技指南 在万物互联的大数据时代，数据安全是个不容忽视的大问题。但企业往往缺乏未雨绸缪的意识，直到数据泄露等事件发生时才亡羊补牢，因此造成不可逆的损失和影响。此类事件在近年来频繁发生，而围观的我们是否应该反省自身，及时作出防御措施？ 360大数据中心技术总监徐皓接受dbaplus社群的专访，围绕「大数据平台安全设计和实践」这一话题展开了深度探讨。 本文首发于DBAplus社群。 徐 皓 现任奇虎360大数据中心技术总监，数据中心技术团队负责人，负责数据中心平台的规划和建设工作，主导并参与了数据中心全新一代平台的研发。曾就......
133 天前 / 开发者头条
【这是半佛仙人的第80篇原创】 0 这篇文章中涉及到的一些技术名词和多重逻辑嵌套的描述，可能对于部分读者的阅读体验不是很友好，但我觉得只有这么写才对的起各位长期以来的支持，该写硬核的内容还是要写的硬核。 我要把这件事情彻底写清楚，也希望可以让读者们意识到这件事情背后的恶心。 1 这一阵出现了一个很神奇的东西，叫做“原谅宝”，一时闹得整个微博沸沸扬扬的。 起因是一个身在德国的程序员在微博上公布了自己的一个发明，来龙去脉可以看一下这张图。 简而言之，就是这位程序员，利用技术，抓取......
136 天前 / mason32
数据批处理神器-Spring Batch(1)简介及使用场景tags： springbatch 1.引言最近使用 SpringBatch进行做数据迁移、数据同步、数据批处理等工作，感叹 SpringBatch设计之简洁，对批处理编程的抽象能力之强大。 众所周知，随着大数据技术发展，企业对数据越来越重视，如何把数据有效转化为信息，以帮助企业提供数据分析、商业决策、提高核心竞争力。而批处理则是实现这一目标的其中一个重要手段。通过批处理，可以完成数据加载、抽取、转换、验证、清洗等功能。这些工作具有数据量大、无需人工操作、与时间密切相关（如隔一段时间处理一次）等特点。......