10 天前 / 白露未晞
往期回顾 本系列教程往期文章如下： [1] 从零开始实现一个深度学习框架 | 打好基础篇 [2] 从零开始实现一个深度学习框架 | 打造基础学习框架篇 [3] 从零开始实现一个深度学习框架 | 激活函数，损失函数与卷积层 [4]从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 [5] 从零开始实现一个深度学习框架 | 当神经网络遇上遗传算法 完整源代码见 ( 欢迎 stars)： https://github.com/CharlesPikachu/pytoydl 注意，本系列文章默认读者是具备一定的高数和机器学习常识的，且可以无障碍使用 python 作为编程工具。
36 天前 / 博文视点Broadview
点击“博文视点 Broadview”，获取更多书讯 深度学习自出现以来，不断改变着人工智能领域的技术发展，推荐系统领域的研究同样也受到了深远的影响。 一方面，研究人员利用深度学习技术提升传统推荐算法的能力；另一方面，研究人员尝试用深度学习的思想来设计新的推荐算法。 基于深度学习的推荐算法研究不仅在学术界百花齐放，目前也受到了工业界的重视和广泛采用。深度学习具有强大的表征学习和函数拟合能力，它能在众多方面改革传统的推荐算法，如协同过滤、特征交互、图表示学习、序列推荐、知识融合及深度强化学习。
57 天前 / hyper0x
机器之心报道 机器之心编辑部为什么基于树的机器学习方法，如 XGBoost 和随机森林在表格数据上优于深度学习？本文给出了这种现象背后的原因，他们选取了 45 个开放数据集，并定义了一个新基准，对基于树的模型和深度模型进行比较，总结出三点原因来解释这种现象。 深度学习在图像、语言甚至音频等领域取得了巨大的进步。然而，在处理表格数据上，深度学习却表现一般。由于表格数据具有特征不均匀、样本量小、极值较大等特点，因此很难找到相应的不变量。
82 天前 / 美团技术团队
总第 520 篇 2022 年 第 037 篇 在外卖广告 CTR 场景下，深度学习模型正在从简单 DNN 小模型过渡到千亿参数复杂模型。基于该背景，本文将重点针对大规模深度模型在全链路带来的挑战，从在线时延、离线效率两个方面展开，阐述外卖广告在大规模深度模型上的工程实践经验，希望能为读者提供思路上的借鉴。导语 1 背景 2 分析 3 模型推理 3.1 分布式 3.2 CPU 加速 3.3 GPU 加速 4 特征服务 CodeGen 优化 4.1 全流程 CodeGen 优化 4.2 传输优化 4.3 高维 ID 特征编码 5 样本构建 5.1 流式样本 5.2 结构化存储 6 数据准备 6.1 做“加法” 6.2 做“减法” 6.3 做...
104 天前 / hyper0x
撰文｜赵露阳 算子即 Operator，这里简称 op。op 是深度学习的基础操作，任意深度学习框架中都包含了数百个 op，这些 op 用于各种类型的数值、tensor 运算。 在深度学习中，通过 nn.Module 这样搭积木的方式搭建网络，而 op 就是更基础的，用于制作积木的配方和原材料。 譬如如下的一个 demo 网络： import oneflow as torch class TinyModel(torch.nn.Module): def __init__(self): super(TinyModel, self).__init__() self.linear1 = torch.nn.Linear(100, 200) self.activation = torch.nn.ReLU() ...
115 天前 / hyper0x
本文为看雪论坛优秀文章 看雪论坛作者 ID：1900 一 前言 1、实验内容 参考论文：IMCFN: Image-based Malware Classification using Fine-tuned Convolutional Neural Network Architecture（https://www.sciencedirect.com/science/article/pii/S1389128619304736）构建的恶意软件分类器，本文所用的数据集为在基于深度学习的恶意软件分类器（一）【https://bbs.pediy.com/thread-271558.htm】文中介绍过的微软公开数据集，与论文中所用数据集并不相同。
123 天前 / hyper0x
作者｜Jean de Dieu Nyandwi 来源｜机器之心 1 1958 年：感知机的兴起 1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。 感知机是一个非常简单的二元分类器，可以确定给定的输入图像是否属于给定的类。为了实现这一点，它使用了单位阶跃激活函数。使用单位阶跃激活函数，如果输入大于 0，则输出为 1，否则为 0。 下图是感知机的算法。 感知机 Frank 的意图不是将感知机构建为算法，而是构建成一种机器。感知机是在名为 Mark I 感知机的硬件中实现的。Mark I 感知机是一台纯电动机器。
131 天前 / 白露未晞
往期回顾 本系列教程往期文章如下： [1] 从零开始实现一个深度学习框架 | 打好基础篇 [2] 从零开始实现一个深度学习框架 | 打造基础学习框架篇 [3] 从零开始实现一个深度学习框架 | 激活函数，损失函数与卷积层 [4]从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 完整源代码见 ( 欢迎 stars)： https://github.com/CharlesPikachu/pytoydl 注意，本系列文章默认读者是具备一定的高数和机器学习常识的，且可以无障碍使用 python 作为编程工具。
183 天前 / 白露未晞
往期回顾 本系列教程往期文章如下： [1] 从零开始实现一个深度学习框架 | 打好基础篇 [2] 从零开始实现一个深度学习框架 | 打造基础学习框架篇 完整源代码见 ( 欢迎 stars)： https://github.com/CharlesPikachu/pytoydl 注意，本系列文章默认读者是具备一定的高数和机器学习常识的，且可以无障碍使用 python 作为编程工具。 导语 这是旨在从零开始搭建一个简单的深度学习框架的系列教程，上期我们主要讲解了全连接层的原理与代码实现和梯度下降法 SGD 的代码实现。
183 天前 / hyper0x
谷歌最近出品的 82 页论文《ON THE GENERALIZATION MYSTERY IN DEEP LEARNING》，在此我简单归纳下论文的思想，有兴趣的看看原论文。论文链接：github.com/aialgorithm/Blog 一、DNN 泛化能力的问题 论文主要探讨的是， 为什么过参数的神经网络模型还能有不错的泛化性？即并不是简单记忆训练集，而是从训练集中总结出一个通用的规律，从而可以适配于测试集（泛化能力）。
194 天前 / 逆锋起笔
来源：开源最前线 (ID:OpenSourceTop) 前不久，李飞飞在 twitter 发推文表示：哇！没想到会在万圣节看到这个 到底是什么东西让李飞飞如此兴奋呢？猿妹点进去一看，原来是有人将李飞飞塑造成一个超级英雄的漫画角色，以此讲述一个 Superwoman 通过展示自己的 AI 超能力拯救世界的故事。 在这本漫画故事里，除了李飞飞这个英雄人物之外，还有吴恩达、David Silver 等 目前已经完成第一卷：机器学习，并且已经在 Github 上开源，不过按照标星来看，这份漫画手册还不为人知，只有 90 个 Star（Github 地址：https://github.com/acmi-lab/superheroes-deep-lea...
203 天前 / 黎跃春
学习元宇宙从这里开始了解和学习元宇宙所有虚拟世界、商业体验、技术、文化、2D、3D、手机、VR/AR、MR/XR、游戏、MMORPG、社交网络、数字收藏品、电子竞技；游戏设计、Unity、Unreal、免费游戏 (f2p)、Blockchain、NFT。 沉浸式学习请点击“阅读原文”或者访问"meta.chengxuka.com"自行学习。 元宇宙、区块链、NFT、加密从业者 10 问？ 你真的理解智能合约吗？ 你自己亲手部署过智能合约吗？ 你知道什么是 Rinkey 吗？ 你知道怎么发行一个 ERC20 的数字积分吗？ 你知道什么是 NFT 吗？ 你知道什么是 ERC-1155 NFT 吗？ 你自己亲手部署过 NFT 吗？ 你知...
311 天前 / MegEngine
写文章登录如何设计一个高内聚低耦合的模块——MegEngine 中自定义 Op 系统的实践经验 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine26 人赞同了该文章作者：褚超群 | 旷视科技 MegEngine 工程师背景介绍在算法研究的过程中，算法同学们可能经常会尝试定义各种新的神经网络层（neural network layer），比如 Layer Norm，Deformable Conv 等。为了实现这些层以进行实验，算法同学可以使用神经网络框架或者 numpy 中提供的基础操作（如张量 / 标量的加减乘除等）去组合出所需的层的功能。
317 天前 / AI算法笔记
这是公众号的第15篇原创文章，本文大约5500字，阅读大约需要15分钟 论文：《A Quantization-Friendly Separable Convolution for MobileNets》 论文地址：https://arxiv.org/pdf/1803.08607.pdf 这篇是高通在 2018 年发表的一篇论文，主要是针对在量化方面效果很差的 MobileNetV1 网络进行研究，探索其量化掉点很严重的原因（从浮点模型的 70.5% 到量化模型的 1.8%），发现根因主要是来自可分离卷积，尽管它使得 MobileNetV1 大大减少了参数量和存储量，但副作用就是导致量化效果很差，因此作者提出了 3 种改进来解决这个问题...
319 天前 / 实时音视频A桑
本文整理自英伟达史永明博士在 AI 技术专场所做出的演讲。在演讲中他主要介绍了为实现 DIGITAL JENSEN，利用 Audio2Face 实现语音生成对应面部视频、用 Audio2Gestures 实现语音生成对应肢体动作的主要技术流程、算法细节和评估效果的介绍，以及 NVIDIA Ampere Architect & SDK 在其他更多方面的应用。关注本文标签「RTE 技术分享」，我们将陆续更新更多演讲干货。以下为演讲整理。 ▲图：NVIDIA 深度学习资深解决方案架构师 史永明 会议开始之初，史永明博士先介绍了之前在英伟达 GTC 大会上展示的虚拟人视频的制作过程，在视频制作里面...