11 小时前 / hyper0x
一、背景 我们来看看与 XGBoost 和 LightGBM 并列为数据挖掘类比赛三大杀器中的 CatBoost [1]。作为“后浪” (2017 年代码开源，2018 年论文发表)，CatBoost 解决了预测偏移 (Prediction Shift)。那什么是预测偏移？预测偏移发生在哪里？别急，往下看就知道了。 1. 什么是预测偏移？ 在 GBDT 一类模型中，弱学习器模型均在同一完整训练集上训练，然后不断提升成强学习器，但如果训练集和测试集存在分布不一致，模型就会过拟合训练集而在测试集上表现不好 ( 即预测偏移到训练集上)，预测偏移也算是目标泄露 (Target Leakage) 的一种。
14 天前 / 趣编程
Datawhale 干货 作者：知乎 King James，伦敦国王大学知乎 ｜https://www.zhihu.com/people/xu-xiu-jian-33 在学习算法的过程里，难免有疑问：k 近邻、贝叶斯、决策树、svm、逻辑斯蒂回归和最大熵模型、隐马尔科夫、条件随机场、adaboost、em 这些算法在一般工作中分别用到的几率多大？一般用途是什么？需要注意什么？ 首先简要回答一下：以上这些算法，如果是指书本或者大学课堂里面教的，那么在目前国内机器学习应用最多的一些工业界场景中，它们的使用频率接近 0，没啥实际用途。
29 天前 / 捉虫大师
要说现在工程师最重要的能力，我觉得工程能力要排第一。 就算现在大厂面试经常要手撕算法，也是更偏向考查代码工程实现的能力，之前在群里看到这样的图片，就觉得很离谱（大概率是假的~）。 算法与工程实现在 Sentinel-Go 中，一个很核心的算法是流控（限流）算法。 流控可能每个人都听过，但真要手写一个，还是有些困难。为什么流控算法难写？以我的感觉是算法和工程实现上存在一定差异，虽然算法好理解，但却没法照着实现。
31 天前 / hyper0x
上一篇介绍：一文读懂层次聚类（Python 代码） 本篇介绍一个经典的异常检测算法：局部离群因子 (Local Outlier Factor)，简称 LOF 算法。 背景 Local Outlier Factor（LOF）是基于密度的经典算法（Breuning et. al. 2000）, 文章发表于 SIGMOD 2000, 到目前已经有 3000+ 的引用。 在 LOF 之前的异常检测算法大多是基于统计方法的，或者是借用了一些聚类算法用于异常点的识别（比如 ，DBSCAN，OPTICS）。这些方法都有一些不完美的地方： 基于统计的方法：通常需要假设数据服从特定的概率分布，这个假设往往是不成立的。
45 天前 / 趣编程
相关文章： 1粒子群优化算法 ( 原理)2粒子群优化算法 ( 实战)3使用粒子群优化聚类 ( 实战)4遗传算法 ( 原理)5遗传算法 ( 实战)1 算法简介 优化问题在科学和工业领域都非常重要。这些优化问题的实际例子有时间表调度、护理时间分配调度、列车调度、容量规划、旅行商问题、车辆路径问题、群店调度问题、组合优化等。为此，开发了许多优化算法。蚁群优化就是其中之一。 蚁群优化 (Ant colony optimization,ACO))是一种寻找 最优路径 的 概率 技术。在计算机科学和研究中，蚁群优化算法被用于解决不同的计算问题。
47 天前 / 叉叉哥
字节码转文本的编码方式在计算机中，无论是内存、磁盘、网络传输，涉及到的数据都是以二进制格式来存储或传输的。 每一个二进制位（bit）只能是 0 或 1。二进制位不会单独存在，而是以 8 个二进制位组成 1 个字节（byte）的方式存在，即 1 byte = 8 bit。 字节码无法直接转为可打印的文本字符，有时想通过文本方式配置、存储、传输一段二进制字节码，比如配置文件、HTML/XML、URL、e-mail 正文、HTTP Header 等仅支持文本的场景下，就需要将二进制字节码转为文本字符串。 二进制字节码转文本字符有很多种方式，最简单的方式是直接用 0 和 1 来表示。
49 天前 / WFChYu
今天分享一个「多模态」算法 NüWA（女娲）。 8 项典型的视觉生成任务论文的开头，就放出了效果，NüWA 包揽了 8 项经典的视觉生成任务的 SOTA。 论文表示，NüWA 更是在文本到图像生成中“完虐” OpenAI DALL-E。 碾压各种对比的算法效果，杀疯了！ NüWA 效果我们先看下 NüWA 这算法在 8 项经典的视觉生成任务中的表现。 Text-To-Image(T2I)文字转图片任务，其实就是根据一段文字描述，生成对应描述的图片。 比如： A dog with gogglesstaring at the camera. 一只戴着护目镜，盯着摄像机的狗。
49 天前 / hyper0x
为什么需要一致性哈希 首先介绍一下什么是哈希 Hash，一般翻译做散列，或音译为哈希，是把任意长度的输入（又叫做预映射 pre-image）通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 在分布式缓存服务中，经常需要对服务进行节点添加和删除操作，我们希望的是节点添加和删除操作尽量减少数据 - 节点之间的映射关系更新。
56 天前 / Thinkgamer
猜你喜欢 1、算法工程师的自我修养 2、谈一谈算法工程师的落地能力 3、聊一聊算法工程师复现算法的踩坑总结 4、自学成才的算法工程师需要注意的 10 个细节 5、述职真的有必要吗？6、如何做好算法迭代 7、上班如上坟的年轻人，我有这些话想对你说 Hi，本篇文章想要和大家聊一下算法工程师的工程能力相关的问题，这也是笔者在这一段时间内的一些思考，希望所读之人皆有所获。 算法工程师的前提是工程师，因此在从事算法相关的工作中，一定要具体一定的工程思维和工程能力，除此之外则还需要吸收产品的策略思维能力和保持算法工程师的核心算法能力...
56 天前 / sjf0115
我们在 《Presto 中支持的七种 Join 类型》这篇文章中介绍了 Presto 可用的 JOIN 操作的基础知识，以及如何在 SQL 查询中使用它们。有了这些知识，我们现在可以了解 Presto 的内部结构以及它如何在内部执行 JOIN 操作。本文将介绍 Presto 如何执行 JOIN 操作以及用于 JOIN 的算法。 JOIN 的实现几乎所有的数据库引擎一次只 JOIN 两个表。即使在 SQL 查询中有两个以上的表要联接，数据库也会联接前两个表并将输出与第三个表联接起来，然后对其余表继续这样做。数据库工程师将连接操作中涉及的这两个表称为构建表（Build Table）和探测表（Probe Table）。
58 天前 / lucifer210
如果你想参加算法竞赛的建议越早越好。大一或者更早就需要准备起来了。如果你已经快毕业了，那就没有必要准备了，当做兴趣参加一些力扣的比赛也是不错的。 题库算法面试的考察内容相比算法面试更多，难度也更大。比如数位 dp，倍增，乘法逆元都需要掌握。而这些内容在算法面试中出现的却不多。 题库的话有很多 OJ 网站。但是题目都太多了。 这里推荐两个网站，一个适合竞赛选手，一个适合普通求职者。 CSES 这个网站比较适合竞赛选手，题目有 300 道，刷完还是比较快的（相对于其他老牌 OJ 平台）...
58 天前 / BloomingRose
点击上方“中间件兴趣圈”，选择“设为星标” 越努力越幸运，唯有坚持不懈！ Broker 端与客户端的心跳在 Kafka 中非常的重要，因为一旦在一个心跳过期周期内 ( 默认 10s)，Broker 端的消费组组协调器 (GroupCoordinator)会把消费者从消费组中移除，从而触发重平衡。在 2.4.x 以下其版本中，消费组一旦进入重平衡状态，该消费组内所有消费者全部暂停消费，直到重平衡完成。 本文将来探讨 Kafka 的心跳机制的具体实现。
61 天前 / 美团技术团队
总第 477 篇 2021 年 第 047 篇 随着美团零售商品类业务的不断发展，美团搜索在多业务商品排序场景上面临着诸多的挑战。本文介绍了美团搜索在商品多业务排序上相关的探索以及实践，希望能对从事相关工作的同学有所帮助或者启发。引言 搜索排序的挑战 排序探索与实践 混排建模 聚合建模 总结和展望 参考资料 作者简介 引言美团的使命是“帮大家吃得更好，生活更好”，我们给广大消费者提供买菜、优选、闪购、外卖、到店餐饮、酒店旅游、休闲娱乐等各类商品和服务。首页搜索是美团 App 上十分重要的模块，每天服务于数千万用户。
65 天前 / 码农StayUp
微信搜索：码农 StayUp 主页地址：https://gozhuyinglong.github.io 源码分享：https://github.com/gozhuyinglong/blog-demos 上篇介绍了《单向散列加密》，它是一种消息摘要算法。该算法在信息安全领域，有很多重要的应用场景，比如：用户密码保护、数字签名、文件完整性校验、云盘妙传等。 单向散列加密只能够对消息进行加密（严格来说是计算消息的摘要），想要实现对密文解密，需要使用其它加密方式了。今天介绍一个在信息安全领域中，比较重要的加密方式——对称加密。
65 天前 / 高性能架构探索
关注上方公众号，回复【pdf】，免费获取计算机经典书籍 大家好，我是雨乐。 今天在搜论文的时候，偶然发现一篇文章，名为》，看了里面的内容，蛮有意思，所以今天借助此文，分享给大家。 算法下面我看下伪代码实现，在证明该排序算法正确性之前，我们暂且将其命名为 ICan’tBelieveItCanSort。 ICan’tBelieveItCanSort(A[1..n]){ fori=1tondo forj=1tondo ifA[i]A[j])then swap(A[i],A[j]); } 为了后续描述方便，我将该算法统一称之为"新算法"。