12 天前 / hyper0x
撰文｜赵露阳 算子即 Operator，这里简称 op。op 是深度学习的基础操作，任意深度学习框架中都包含了数百个 op，这些 op 用于各种类型的数值、tensor 运算。 在深度学习中，通过 nn.Module 这样搭积木的方式搭建网络，而 op 就是更基础的，用于制作积木的配方和原材料。 譬如如下的一个 demo 网络： import oneflow as torch class TinyModel(torch.nn.Module): def __init__(self): super(TinyModel, self).__init__() self.linear1 = torch.nn.Linear(100, 200) self.activation = torch.nn.ReLU() ...
23 天前 / hyper0x
本文为看雪论坛优秀文章 看雪论坛作者 ID：1900 一 前言 1、实验内容 参考论文：IMCFN: Image-based Malware Classification using Fine-tuned Convolutional Neural Network Architecture（https://www.sciencedirect.com/science/article/pii/S1389128619304736）构建的恶意软件分类器，本文所用的数据集为在基于深度学习的恶意软件分类器（一）【https://bbs.pediy.com/thread-271558.htm】文中介绍过的微软公开数据集，与论文中所用数据集并不相同。
31 天前 / hyper0x
作者｜Jean de Dieu Nyandwi 来源｜机器之心 1 1958 年：感知机的兴起 1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。 感知机是一个非常简单的二元分类器，可以确定给定的输入图像是否属于给定的类。为了实现这一点，它使用了单位阶跃激活函数。使用单位阶跃激活函数，如果输入大于 0，则输出为 1，否则为 0。 下图是感知机的算法。 感知机 Frank 的意图不是将感知机构建为算法，而是构建成一种机器。感知机是在名为 Mark I 感知机的硬件中实现的。Mark I 感知机是一台纯电动机器。
39 天前 / 白露未晞
往期回顾 本系列教程往期文章如下： [1] 从零开始实现一个深度学习框架 | 打好基础篇 [2] 从零开始实现一个深度学习框架 | 打造基础学习框架篇 [3] 从零开始实现一个深度学习框架 | 激活函数，损失函数与卷积层 [4]从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 完整源代码见 ( 欢迎 stars)： https://github.com/CharlesPikachu/pytoydl 注意，本系列文章默认读者是具备一定的高数和机器学习常识的，且可以无障碍使用 python 作为编程工具。
91 天前 / 白露未晞
往期回顾 本系列教程往期文章如下： [1] 从零开始实现一个深度学习框架 | 打好基础篇 [2] 从零开始实现一个深度学习框架 | 打造基础学习框架篇 完整源代码见 ( 欢迎 stars)： https://github.com/CharlesPikachu/pytoydl 注意，本系列文章默认读者是具备一定的高数和机器学习常识的，且可以无障碍使用 python 作为编程工具。 导语 这是旨在从零开始搭建一个简单的深度学习框架的系列教程，上期我们主要讲解了全连接层的原理与代码实现和梯度下降法 SGD 的代码实现。
91 天前 / hyper0x
谷歌最近出品的 82 页论文《ON THE GENERALIZATION MYSTERY IN DEEP LEARNING》，在此我简单归纳下论文的思想，有兴趣的看看原论文。论文链接：github.com/aialgorithm/Blog 一、DNN 泛化能力的问题 论文主要探讨的是， 为什么过参数的神经网络模型还能有不错的泛化性？即并不是简单记忆训练集，而是从训练集中总结出一个通用的规律，从而可以适配于测试集（泛化能力）。
102 天前 / 逆锋起笔
来源：开源最前线 (ID:OpenSourceTop) 前不久，李飞飞在 twitter 发推文表示：哇！没想到会在万圣节看到这个 到底是什么东西让李飞飞如此兴奋呢？猿妹点进去一看，原来是有人将李飞飞塑造成一个超级英雄的漫画角色，以此讲述一个 Superwoman 通过展示自己的 AI 超能力拯救世界的故事。 在这本漫画故事里，除了李飞飞这个英雄人物之外，还有吴恩达、David Silver 等 目前已经完成第一卷：机器学习，并且已经在 Github 上开源，不过按照标星来看，这份漫画手册还不为人知，只有 90 个 Star（Github 地址：https://github.com/acmi-lab/superheroes-deep-lea...
111 天前 / 黎跃春
学习元宇宙从这里开始了解和学习元宇宙所有虚拟世界、商业体验、技术、文化、2D、3D、手机、VR/AR、MR/XR、游戏、MMORPG、社交网络、数字收藏品、电子竞技；游戏设计、Unity、Unreal、免费游戏 (f2p)、Blockchain、NFT。 沉浸式学习请点击“阅读原文”或者访问"meta.chengxuka.com"自行学习。 元宇宙、区块链、NFT、加密从业者 10 问？ 你真的理解智能合约吗？ 你自己亲手部署过智能合约吗？ 你知道什么是 Rinkey 吗？ 你知道怎么发行一个 ERC20 的数字积分吗？ 你知道什么是 NFT 吗？ 你知道什么是 ERC-1155 NFT 吗？ 你自己亲手部署过 NFT 吗？ 你知...
219 天前 / MegEngine
写文章登录如何设计一个高内聚低耦合的模块——MegEngine 中自定义 Op 系统的实践经验 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine26 人赞同了该文章作者：褚超群 | 旷视科技 MegEngine 工程师背景介绍在算法研究的过程中，算法同学们可能经常会尝试定义各种新的神经网络层（neural network layer），比如 Layer Norm，Deformable Conv 等。为了实现这些层以进行实验，算法同学可以使用神经网络框架或者 numpy 中提供的基础操作（如张量 / 标量的加减乘除等）去组合出所需的层的功能。
225 天前 / AI算法笔记
这是公众号的第15篇原创文章，本文大约5500字，阅读大约需要15分钟 论文：《A Quantization-Friendly Separable Convolution for MobileNets》 论文地址：https://arxiv.org/pdf/1803.08607.pdf 这篇是高通在 2018 年发表的一篇论文，主要是针对在量化方面效果很差的 MobileNetV1 网络进行研究，探索其量化掉点很严重的原因（从浮点模型的 70.5% 到量化模型的 1.8%），发现根因主要是来自可分离卷积，尽管它使得 MobileNetV1 大大减少了参数量和存储量，但副作用就是导致量化效果很差，因此作者提出了 3 种改进来解决这个问题...
226 天前 / 实时音视频A桑
本文整理自英伟达史永明博士在 AI 技术专场所做出的演讲。在演讲中他主要介绍了为实现 DIGITAL JENSEN，利用 Audio2Face 实现语音生成对应面部视频、用 Audio2Gestures 实现语音生成对应肢体动作的主要技术流程、算法细节和评估效果的介绍，以及 NVIDIA Ampere Architect & SDK 在其他更多方面的应用。关注本文标签「RTE 技术分享」，我们将陆续更新更多演讲干货。以下为演讲整理。 ▲图：NVIDIA 深度学习资深解决方案架构师 史永明 会议开始之初，史永明博士先介绍了之前在英伟达 GTC 大会上展示的虚拟人视频的制作过程，在视频制作里面...
228 天前 / 实时音视频A桑
今年也是基于深度学习的音频编解码的元年，各家公司都发布了一些编解码器。声网在今年也公布了自研的 AI-Codec 技术——Silver。在本场大会上，声网 Agora 音频算法专家冯建元分享了基于深度学习的音频编解码器的研究，以及落地挑战。关注本文标签「RTE 技术分享」，我们将陆续更新更多演讲干货。以下为演讲实录。 ▲图：声网 Agora 音频算法专家 冯建元 冯建元认为目前市面上主流的基于深度学习的音频编码解码器主要有 Silver、Lyra、Satin、LPCnet、SoundStream 这几种，他们分别有各自的优缺点，于是乎整理了一张表格，显示得更佳直观。
232 天前 / rainNight
深度神经网络的成功取决于对高质量标记训练数据的访问，因为训练数据中标签错误（标签噪声）的存在会大大降低模型在干净测试数据上的准确性。不幸的是，大型训练数据集几乎总是包含标签不准确或不正确的示例。这导致了一个悖论：一方面，需要大数据集来训练更好的深度网络，而另一方面，深度网络往往会记住训练标签噪声，导致模型在实践中的性能较差。 研究界已经认识到这个问题的重要性，引入了试图理解嘈杂训练标签的工作，例如，Arpit 等人。，以及缓解策略，例如 MentorNet 或共同教学，以克服它们。
238 天前 / 秃顶的码农
首发于机器学习框架写文章登录深度学习利器 -GPU 秃顶的码农不忘初心，砥砺前行！深度学习利器 -GPU 介绍 1 深度学习之 GPU 近代史科技发展日新月异，摩尔定律从中显威，各种底层技术层出不穷，但是纵观科技发展史，几乎所有的新兴学科的发展背后都有一个字——“钱”！ 作为近年来最火热的行业——人工智能，在烧钱方面同样不遑多让。众所周知，人工智能的训练和推理都需要海量的高性能计算，做深度学习的朋友都知道，现今深度学习领域的 SOTA 模型往往需要巨大的显存空间，这直接导致了深度学习的研究者们需要配置更强劲的 GPU 设备...
239 天前 / Aceyclee～
本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量、内存占用等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出在不同硬件架构下设计网络结构的一些建议。 目录： 一、常用的模型大小评估指标 二、计算量越小，模型推理就越快吗？ 三、影响模型推理性能的其他因素 四、面向推理速度的模型设计建议 五、结语 前言 当年头一次实习做算法的时候，主管给的第一个任务就是「把一个大的分割模型砍成一个小的」。