9 天前 / 曲奇泡芙
近几天的CES 2020上，NXP公司发布了新一代的S32G车载网络处理器。作为NXP S32系列最新的处理器，S32G将汽车行业整车EE架构往高性能，分域架构的现代设计落地进一步推进。 根据ABI研究的报告，目前路上跑着超过4千万的网联汽车，车辆每小时可以产生超4G的车辆数据。基于大规模的车辆数据服务可以为整车厂和车主带来新的机会和体验。大规模的车辆原始数据全量传输到云端处理在延时和带宽方面不能满足应用场景的要求，数据驱动的车载服务对车载数据处理能力提出了更高的要求。 随着整车架构朝着分域控制，跨域融合的方向改进，新的EE架构采用的面向......
18 天前 / 数据虫巢
作者|黄崇远（题图：ssyer.com，CCO协议）公号，数据虫巢(ID: blogchong) 01 前言 上一篇是《数据与广告系列十三：广告中的异常预测问题(PU学习&CostSensitiveClassification) 》，时间是2019年10月18号，现在都2020年了。时隔2个多月，我们又继续回来继续这个系列。 在上一篇里，我们从广告场景中的异常预测问题出发，但实际上重点是解决样本不平衡和典型正样本敏感的问题。 包括本篇，甚至后续的一些文章，我们都将以类似的模式阐述下去，结合广告的一些业务场景，一边来学习广告的实际业务，一边来学习算法的一些内容，......
59 天前 / 编程一生
单机并发连接数 并发连接数英文缩写是SBC。 nginx在内核优化后可同时容纳10万并发连接数。注意这里面提到了内核优化后，因为nginx处理任务占用资源极少，它的性能瓶颈主要在linux的文件句柄限制。 Tomcat 默认配置的最大请求并发数为150。可以改大，但是有一定限制。瓶颈在于操作系统中对于进程中的线程数有限制：Windows 每个进程中的线程数不允许超过 2000，Linux 每个进程中的线程数不允许超过 1000。在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。 Jetty的并发量一般来说要优于Tomcat。但是......
74 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 对于一些报表性的后台，有些会提供数据导出功能。如果查询维度过多又都是耗时操作，那就像是开了潘多拉盒子，会造成比较恶劣的后果。 数据的导出，下载，是和产品的定位息息相关的。许多产品就非常硬核，非常常用的导出功能都不给你提供，但你还是要屁颠屁颠的用着这些系统。因为人家牛X。 然鹅很多的产品，就比较软骨头。客户和老板需要什么，就提供什么，完全把做产品搞成了做项目。很可怜，也很可恨。 这是需求存在的根本。 目标下载任务通常会占用大量资源，造成......
84 天前 / hyper0x
－ 点击上方“中国统计网”订阅我吧！－ 文末更有惊喜福利~ 01为什么要实行数据化工作法 做商业分析，必须要“有数据思考、有数据说话”的思维模式，数据化可以告诉我们“从哪个问题着手”处理问题，同时可以指导我们要达到目标所需要实施的具体步骤。 数据化可以提高行动力的效果。在我们的日常工作中，五个关键数据，我们不可忽视：客户数量、客户单价、客户停留期（从成为客户到不再是客户的期间，越长越好）、客户获取成本和客户维系成本。要使得公司的利润最大化，必须提高客户数量和客户单价，以及客户的停留期，同时降......
117 天前 / u523325
下载APP测试数据生成工具datafaker叫我小名关注赞赏支持测试数据生成工具datafaker2019.03.27 13:14:03字数 1080阅读 584一、开源情况datafaker是一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，欢迎下载使用。github地址为： https://github.com/gangly/datafaker 文档同步更新在github 二、工具产生背景在软件开发测试过程，经常需要测试数据。这些场景包括： 后端开发新建表后，需要构造数据库测试数据，生成接口数据提供给前端使用。数据库性能测试生成大量测试数据，测试数据库性能流数据测试针对kafka流数据，需要......
119 天前 / 一猿小讲
【这是一猿小讲的第57篇原创分享】 大家应该都忙着给祖国庆生，根本无心上班，所以精心为各位打造一篇，一点都不用费脑的文章，一起聊聊数据及数据存储的那些事儿。敲黑板，讲重点，我们开始。 1.数据是啥？秒懂！ 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据——引用百度百科。 2.数据从哪儿来？秒懂！ 敢问你是否知道，当你点亮手机屏幕，手指在手机屏幕上的......
142 天前 / gyreg
似乎在IT行业里，大家都有过类似的感觉，那就是总有新名词冒出来，大家讨论的热火朝天的同时，彼此对这个词的含义理解并不相同。好多年后，大家才逐渐清晰的总结出了这个词的具体含义。比如，大数据（Big Data）早在1983年就被提出来，在2011年进入行业视野，又过了好多年，人们才统一了认识，明确了大数据几个“V”的特点。 在安全行业，这个现象同样很常见。近几年，数据安全领域经常出现的一个热词是 “以数据为中心的安全”，很多报告都用“以数据为中心的安全”区别“传统的数据安全”，但却很少有人具体讲清楚“以数据为中心的安全”到......
145 天前 / 数据虫巢
作者|黄崇远（题图：pixabay.com，CCO协议）公号，数据虫巢(ID: blogchong) 01写在之前 上一篇《数据与广告系列九：有意思的本地化广告》时间是7月30号，刚好隔了一个月，哈哈，这不算断更，正常的更新节奏啦（公众号：数据虫巢）。不知不觉中《数据与广告系列》已经更到了第十篇了，以均篇5000的字数来看，也有5万多字了。 在最近的一年多时间里，突然发现散篇写的相对偏少些了，不知不觉中自己也习惯的去从更全局的角度去组织知识结构，然后形成偏系统化的知识结构。除了目前的《数据与广告系列》九篇，还有《推荐系统系列》六篇......
160 天前 / 读芯术
全文共4898字，预计学习时长10分钟 实际上，数据科学家80％到90％的工作是数据清理，而这项工作的目的是为了执行其余10％的机器学习任务。没有什么比完成数据集分析后的收获更让人兴奋的了。如何减少清理数据的时间？如何为至关重要的10%的工作保留精力？ 根据很多专业人士的经验，对数据清理涉及的过程有充分的认知总是好的。了解流程、流程的重要性以及流程中可使用的技巧，将减少执行数据清理任务所需的时间。 良好数据的重要性 好的数据被定义为准确、完整、符合、一致、及时、独特且有效的数据。机器学......
160 天前 / mr7
优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。阿里数据技术专家门德亮给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。 大家好，我是门德亮，很荣幸，我正好见证了优酷从没有MaxCompute到有的，这样一个历程，我们正好是在快到5年的时候，做了从Hadoop到MaxCompute的这样一个升级。 2016年5月到2019年5月优酷的发展历程。整个用户......
170 天前 / hyper0x
前言随着数据通讯成本的急剧下降，以及各种传感技术和智能设备的出现，从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源源不断的产生海量的实时数据并发往云端。这些海量数据是社会和企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，帮助社会或企业进行科学决策、节约成本并创造新的价值。 Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家......
183 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
190 天前 / 苏鹭彬
在大数据领域的，Kafka作为消息发布订阅系统，为同学们所熟悉，它有非常好的扩展性。能够在大数据环境下实现高吞吐量和高可用。那么Kafka是如何保证数据的可靠性和一致性的呢？ 可靠性 可靠性方面，Kafka主要在Leader的选举、Broker的分布式部署、Partition的replication和Producer的acks三个方向进行保障。 Leader选举机制 Kafka Leader主要从维护的ISR（in-sync replicas）列表中选出，那么什么是ISR列表呢？我们来看下面一张图 这里我们可以发现Kafka的每一个partition都维护了一个ISR列表，这个ISR官方的解释是："isr" is ......