23 天前 / 兜里有辣条
首发于Java后端火箭班写文章线程池运行模型源码全解析兜里有辣条资深Java后端开发工程师4 人赞同了该文章在上一篇文章《从0到1玩转线程池》中，我们了解了线程池的使用方法，以及向线程池中提交任务的完整流程和ThreadPoolExecutor.execute方法的源代码。在这篇文章中，我们将会从头阅读线程池ThreadPoolExecutor类的源代码，深入剖析线程池从提交任务到执行任务的完整流程，从而建立起完整的线程池运行模型。 查看JDK源码的方式在IDE中，例如IDEA里，我们可以点击我们样例代码里的ThreadPoolExecutor类跳转到JDK中ThreadPoolExecutor类的源代码。......
31 天前 / 刘奇1993
有些小伙伴在实际使用中发现xgboost可以自动处理缺失值，而有些模型不可以。我想先从两个角度解答这个困惑： 工具包自动处理数据缺失不代表具体的算法可以处理缺失项对于有缺失的数据：以决策树为原型的模型优于依赖距离度量的模型回答中也会介绍树模型，如随机森林(Random Forest)和xgboost如何处理缺失值。文章最后总结了在有缺失值时选择模型的小建议。 1. 机器学习工具库开发的“哲学”首先你有这个困惑是因为你直接调用了工具库，比如Python的sklearn和xgboost等，所以你认为算法A可以自动处理缺失值而B不可以。 但真实情况是…开发者在封......
34 天前 / spearhead_cai
2019 年第 28 篇，总 52 篇文章 本文大约 9700字，建议收藏阅读！ 机器学习入门系列（2）--如何构建一个完整的机器学习项目， 第十篇！ 该系列的前 9 篇文章： 机器学习入门系列(2)--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理（上） 特征工程之数据预处理（下） 特征工程之特征缩放&特征编码 特征工程(完) 常用机器学习算法汇总比较(上） 常用机器学习算法汇总比较(中） 常用机器学习算法汇总比较(完） 这个系列的文章也是要开始进入尾声了，最后就主要是模型评估部分的内容......
34 天前 / algorithmdog
本文已投中心公众号。特征工程是机器学习成败的关键一步，其意义一点都不比模型低。宏观层面来说，模型水平决定了机器学习的上限，特征工程水平决定了能接近上限多少。而对于具体问题层面，特征工程水平决定了机器学习在这个问题上的上限，模型决定了能接近上限多少。 但是特征工程和模型并不是泾渭分明。比如，那些年间工业界风起云涌了那么多 Learning to Rank 的模型，最终都变成了特征。另外一方面，那些年间工业界那么多下里巴人的特征工程技巧，被模型吞噬，变成阳春白雪模型的一部分。今天我们只聊一聊特征工程到模型的转化。 ......
45 天前 / 马修王
conclusion.jpeg所有对于APIClient的方法调用，最终都会将调用执行到follower.js / leader.js这两个实例中，在follower.js中会通过tcp将方法调用发送给leader.js，在leader.js中无论是APIClient或是tcp请求过来的方法调用都会调用内部的_realClient。 第一篇的整个主从模式的介绍还是非常笼统的，整体上对于多进程模型以及类关系图有一个全貌的印象，这样我们在使用Clueter-client类库时就不会只是调用一个黑盒了。但是类库真正的细节，制定的规则和约束还是需要具体分析的，这也是本篇的重点： 思路整理跨进程调用协议worker进程调用agent进程内......
48 天前 / Thinkgamer
“多分类逻辑回归基于逻辑回归（Logistic Regression，LR）和softMax实现，其在多分类分类任务中应用广泛，本篇文章基于tf实现多分类逻辑回归，使用的数据集为Mnist。 ”个人网站： http://thinkgamer.cn/ CSDN博客：https://blog.csdn.net/gamer_gyt 微博： https://weibo.com/5352480017 微信公众号：数据与算法联盟（DataAndAlgorithm） 多分类逻辑回归的基础概要和在Spark上的实现可参考： 多分类逻辑回归（Multinomial Logistic Regression） 多分类实现方式介绍和在Spark上实现多分类逻辑回归（Multinomial Logistic Regressio......
51 天前 / 马修王
Egg.js是阿里推出的面向Node的企业级服务框架，这里只是讲一讲egg进阶中的插件开发会遇到多进程增强模型. 背景Egg.js原理简介稍微熟悉Egg.js原理的应该都知道master / agent / worker这三个进程的职责以及agent.js / app.js 这两个js文件，agent进程对应于agent.js，worker进程对应的是app.js，而worker进程是有多个的以集群方式进行工作的，并且最终部署的应用也是集群的方式部署在不同的机器上的，因此实际的worker是一个n x m的数量。 服务长链服务端应用最典型的就是数据库连接(如: MySQL)，尤其是微服务化后出现了各种各样的中间件(如：Eure......
60 天前 / Yourtion
导读 最近经历了一件事，就是小码农所在的公司因为被某大厂收购之后要进行融合了，其他方面的融合就没必要说了，今天咱们只是聊一下支付系统融合的事情。首先从很多互联网公司的发展经验来看，随着多条业务线的发展，最终都是会催生出建设统一支付系统的强烈需求。 这是为什么呢？因为支付系统太重要了，它拥有公司所有的现金流水，是进行业务清算、财务核算、上市审计以及后续各类财务信息管理的关键系统之一。一家公司被收购后新老板们最关心的事也莫过于财务数据的准确性了，之前小码农从事支付系统的研......
63 天前 / 云水木石
各位朋友，新年好! 随着春节假期的结束，想必大家陆陆续续返回工作岗位，开始新的一年的拼搏。我也会继续努力，争取在深度学习方面更进一步，接下来，我将继续聊一聊深度学习在计算机视觉中的应用。 在前面的《站在巨人的肩膀上：迁移学习》和《再谈迁移学习：微调网络》两篇文章中，我们介绍了迁移学习的强大之处。然而，人们探索新知识总是永无止境，在提高深度学习模型准确率方面，仍在孜孜不倦的追求着。这篇文章将介绍一种提升模型准确率的方法：组合模型。 从字面上理解，组合模型并不难解释，简单说，就是为深度学习建立多个模型，然后用......
66 天前 / 张逸
我们开发的一个基于大数据平台的数据仓库，选择了Flink作为数据处理的底层框架。我们主要看重于它在流处理的低延迟性，消息传递保证的extractly once特性；它为流处理和批处理提供了相对统一的API，支持Java、Scala和Python等主流开发语言，同时还较好地支持了SQL。Flink搭建了非常棒的基础设施，例如它可以和ZooKeeper、YARN集成起来，保证处理功能的高可用性与水平扩展的集群能力，同时还提供了相对开放的扩展能力，使得我们可以较容易地在已有功能基础之上实现定制开发。 我们基于Flink开发了自己的底层框架“海纳（haina）”，这是取“海纳百......
69 天前 / 雇个城管打天下
本文翻译自：《Feeding data to TensorFlow》 如有侵权请联系删除，仅限于学术交流，请勿商用。如有谬误，请联系指出。 由于微信公众号不支持外链，可点击文末“阅读原文”以访问外部链接。 TensorFlow 被设计用于高效地处理大量数据。所以你需要记住的是，千万不要“饿着”你的TF模型，这样才能得到最好的表现。一般来说，有三种方法可以给你的模型“喂”数据。 常量方式（Constants）最简单的方式莫过于直接将数据当成常量嵌入你的计算图中，如： import tensorflow as tf import numpy as np actual_data = np.random.normal(size=......
83 天前 / 张逸
最近一段时间，电商圈出了一件大事情，拼多多再次吸引了大家的眼球。2019年1月20日，拼多多出现了数额巨大的羊毛Bug，起因在于一张无门槛的优惠券，券面价值100元，可以全场通用（特殊商品除外），有效期一年。如果仅仅从业务角度分析，定义这样的优惠券自身并没有任何问题。当然，也有人说像这样的无门槛券本身就不该用于花费充值、Q币充值等几乎等于现金业务的商品，这是从促销层面去考虑的问题。还有人提到风控问题，为何等到损失达200亿（事后拼多多说明这些优惠券涉及到千万）才发现问题？更有人质疑这是一次别出心裁的炒作。 从薅羊毛的角度......
84 天前 / 敌人来啦快跑啊
本文首先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。 1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终......
87 天前 / AI科技大本营
作者：李理，环信人工智能研发中心vp，十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。 本文是作者正在编写的《深度学习理论与实战》的部分内容。 导语 Google BERT 模型最近横扫了各大评测任务，在多项任务中取得了最好的结果，而且很多任务比之前最好的系统都提高了非常多，可以说是深度学习最近几年在 NLP的一大突破。但它并不是凭空出现的，最近一年大家都非常关注的 UnsupervisedSentence Embedding 取得了很大的进展，包括 EL......