13 天前 / 编程一生
单机并发连接数 并发连接数英文缩写是SBC。 nginx在内核优化后可同时容纳10万并发连接数。注意这里面提到了内核优化后，因为nginx处理任务占用资源极少，它的性能瓶颈主要在linux的文件句柄限制。 Tomcat 默认配置的最大请求并发数为150。可以改大，但是有一定限制。瓶颈在于操作系统中对于进程中的线程数有限制：Windows 每个进程中的线程数不允许超过 2000，Linux 每个进程中的线程数不允许超过 1000。在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。 Jetty的并发量一般来说要优于Tomcat。但是......
28 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 对于一些报表性的后台，有些会提供数据导出功能。如果查询维度过多又都是耗时操作，那就像是开了潘多拉盒子，会造成比较恶劣的后果。 数据的导出，下载，是和产品的定位息息相关的。许多产品就非常硬核，非常常用的导出功能都不给你提供，但你还是要屁颠屁颠的用着这些系统。因为人家牛X。 然鹅很多的产品，就比较软骨头。客户和老板需要什么，就提供什么，完全把做产品搞成了做项目。很可怜，也很可恨。 这是需求存在的根本。 目标下载任务通常会占用大量资源，造成......
38 天前 / hyper0x
－ 点击上方“中国统计网”订阅我吧！－ 文末更有惊喜福利~ 01为什么要实行数据化工作法 做商业分析，必须要“有数据思考、有数据说话”的思维模式，数据化可以告诉我们“从哪个问题着手”处理问题，同时可以指导我们要达到目标所需要实施的具体步骤。 数据化可以提高行动力的效果。在我们的日常工作中，五个关键数据，我们不可忽视：客户数量、客户单价、客户停留期（从成为客户到不再是客户的期间，越长越好）、客户获取成本和客户维系成本。要使得公司的利润最大化，必须提高客户数量和客户单价，以及客户的停留期，同时降......
71 天前 / u523325
下载APP测试数据生成工具datafaker叫我小名关注赞赏支持测试数据生成工具datafaker2019.03.27 13:14:03字数 1080阅读 584一、开源情况datafaker是一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，欢迎下载使用。github地址为： https://github.com/gangly/datafaker 文档同步更新在github 二、工具产生背景在软件开发测试过程，经常需要测试数据。这些场景包括： 后端开发新建表后，需要构造数据库测试数据，生成接口数据提供给前端使用。数据库性能测试生成大量测试数据，测试数据库性能流数据测试针对kafka流数据，需要......
74 天前 / 一猿小讲
【这是一猿小讲的第57篇原创分享】 大家应该都忙着给祖国庆生，根本无心上班，所以精心为各位打造一篇，一点都不用费脑的文章，一起聊聊数据及数据存储的那些事儿。敲黑板，讲重点，我们开始。 1.数据是啥？秒懂！ 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据——引用百度百科。 2.数据从哪儿来？秒懂！ 敢问你是否知道，当你点亮手机屏幕，手指在手机屏幕上的......
96 天前 / gyreg
似乎在IT行业里，大家都有过类似的感觉，那就是总有新名词冒出来，大家讨论的热火朝天的同时，彼此对这个词的含义理解并不相同。好多年后，大家才逐渐清晰的总结出了这个词的具体含义。比如，大数据（Big Data）早在1983年就被提出来，在2011年进入行业视野，又过了好多年，人们才统一了认识，明确了大数据几个“V”的特点。 在安全行业，这个现象同样很常见。近几年，数据安全领域经常出现的一个热词是 “以数据为中心的安全”，很多报告都用“以数据为中心的安全”区别“传统的数据安全”，但却很少有人具体讲清楚“以数据为中心的安全”到......
99 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议）公号，数据虫巢(ID: blogchong) 01写在之前 上一篇《数据与广告系列九：有意思的本地化广告》时间是7月30号，刚好隔了一个月，哈哈，这不算断更，正常的更新节奏啦（公众号：数据虫巢）。不知不觉中《数据与广告系列》已经更到了第十篇了，以均篇5000的字数来看，也有5万多字了。 在最近的一年多时间里，突然发现散篇写的相对偏少些了，不知不觉中自己也习惯的去从更全局的角度去组织知识结构，然后形成偏系统化的知识结构。除了目前的《数据与广告系列》九篇，还有《推荐系统系列》六篇......
114 天前 / 读芯术
全文共4898字，预计学习时长10分钟 实际上，数据科学家80％到90％的工作是数据清理，而这项工作的目的是为了执行其余10％的机器学习任务。没有什么比完成数据集分析后的收获更让人兴奋的了。如何减少清理数据的时间？如何为至关重要的10%的工作保留精力？ 根据很多专业人士的经验，对数据清理涉及的过程有充分的认知总是好的。了解流程、流程的重要性以及流程中可使用的技巧，将减少执行数据清理任务所需的时间。 良好数据的重要性 好的数据被定义为准确、完整、符合、一致、及时、独特且有效的数据。机器学......
114 天前 / mr7
优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。阿里数据技术专家门德亮给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。 大家好，我是门德亮，很荣幸，我正好见证了优酷从没有MaxCompute到有的，这样一个历程，我们正好是在快到5年的时候，做了从Hadoop到MaxCompute的这样一个升级。 2016年5月到2019年5月优酷的发展历程。整个用户......
124 天前 / hyper0x
前言随着数据通讯成本的急剧下降，以及各种传感技术和智能设备的出现，从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源源不断的产生海量的实时数据并发往云端。这些海量数据是社会和企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，帮助社会或企业进行科学决策、节约成本并创造新的价值。 Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家......
137 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
144 天前 / 苏鹭彬
在大数据领域的，Kafka作为消息发布订阅系统，为同学们所熟悉，它有非常好的扩展性。能够在大数据环境下实现高吞吐量和高可用。那么Kafka是如何保证数据的可靠性和一致性的呢？ 可靠性 可靠性方面，Kafka主要在Leader的选举、Broker的分布式部署、Partition的replication和Producer的acks三个方向进行保障。 Leader选举机制 Kafka Leader主要从维护的ISR（in-sync replicas）列表中选出，那么什么是ISR列表呢？我们来看下面一张图 这里我们可以发现Kafka的每一个partition都维护了一个ISR列表，这个ISR官方的解释是："isr" is ......
149 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议） 距上一篇《数据与广告系列七：广告与推荐系统技术架构》已经快有一个半月了。这一个月多里，确实很忙，五月底出去溜了一圈，六月初新的工作，新的环境，新的事情，确实事情比较多，不过也充实，趁机充电。 所以如约的围绕广告数据分析维度的文章没来，但今天我们可以来讨论另一个维度的话题，广告与电商，或者说更具体点--二类电商，一个广告维度很有特点的广告投放类型。 依然是高质量局，相信我，看完这篇文章，你对二类电商在广告上玩法肯定熟悉的溜溜的，说不定就辞职跑去当二类......
177 天前 / 宜信技术学院
活动关于我们流沙：宜信安全数据平台实践 作者：安全开发 高杨 浏览：905 日期：2019-06-12 前言OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目Hadoop，实时索引使用开源项目ElasticSearch，在线流分析使用著名的开源项目Storm。 宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。本文重点介绍一下流沙平台的架构，相比于OpenSOC做......