12 天前 / Thinkgamer
引言常见的五种神经网络系列第四篇，主要介绍深度信念网络。内容分为上下两篇进行介绍，本文主要是深度信念网络（上）篇，主要介绍以下内容： 背景玻尔兹曼机受限玻尔兹曼机该系列的其他文章： 常见的五种神经网络(1)-前馈神经网络常见的五种神经网络(2)-卷积神经网络常见的五种神经网络(3)-循环神经网络(上篇)常见的五种神经网络(3)-循环神经网络(中篇)常见的五种神经网络(3)-循环神经网络(下篇)常见的五种神经网络(4)-深度信念网络(上篇)常见的五种神经网络(4)-深度信念网络(下篇)常见的五种神经网络(5)-生成对抗网络背景对于一个复杂的数据......
17 天前 / 美团技术团队
总第371篇 2019年 第49篇 本文详细阐述了美团在基于神经网络StarNet的行人轨迹交互预测算法的研究。有关轨迹预测算法的研究还在继续，希望能与同行一起交流学习。 1. 背景民以食为天，如何提升超大规模配送网络的整体配送效率，改善数亿消费者在”吃“方面的体验，是一项极具挑战的技术难题。面向未来，美团正在积极研发无人配送机器人，建立无人配送开放平台，与产学研各方共建无人配送创新生态，希望能在一个场景相对简单、操作高度重复的物流配送中，提高物流配送效率。在此过程中，美团无人配送团队也取得了一些技术层面的突破，......
20 天前 / hyper0x
文 / Adam Gaier 学生研究员 和 David Ha 研究员 Google Research 无论是图像分类还是强化学习，在通过训练神经网络来完成一项给定任务时，都需要对神经网络中每个连接的权重进行调优。 而在创建有效的神经网络时，另一种行之有效的方法是神经架构搜索（通过手工构建的组件，如卷积网络组件或代码块，来搭建神经网络架构）。研究表明，利用这些组件搭建的神经网络架构（如深度卷积网络）在图像处理任务方面具有很强的归纳偏置(inductive biases)，甚至能在随机初始化权重的情况下执行这些任务。这种神经架构搜索提供的新方法虽然可用于为......
46 天前 / Thinkgamer
共发表：第190篇引言神经网络中的网络优化和正则化问题介绍主要分为一，二，三，四篇进行介绍（如下所示），本篇为最后一篇主要介绍神经网络中的网络正则化。 第一篇包括 网络优化和正则化概述 优化算法介绍 第二篇包括 参数初始化 数据预处理 逐层归一化 第三篇包括 超参数优化 第四篇包括 网络正则化 机器学习模型中的关键是泛化问题，即样本在真实数据集上的期望风险最小化，而在训练集上的经验风险最小化和期望风险并不一致。由于神经网络的拟合能力很强，其在训练集上的训练误差会降的很小，从而导致过拟合。 正则化（Regulari......
62 天前 / 叶锦鲤
小白深度学习入门系列 1. 直观理解深度学习基本概念 2. 白话详解ROC和AUC 3. 什么是交叉熵 神经网络的构成、训练和算法什么是神经网络 人工神经网络（Artificial Neural Network，ANN），简称神经网络（Neural Network，NN），是一种模仿生物神经网络的结构和功能的数学/计算模型，用于拟合各种函数。 一个神经网络，有两个基本要素：神经元和连接。 神经元下图中红圈内就是一个神经元： 一个神经元，有输入（上图中神经元接受输入：x1，x2和x3x1、x2、x3），有输出（输出：yy），并在神经元内部进行操作，将输入映......
76 天前 / Thinkgamer
共发表：第187篇引言神经网络中的网络优化和正则化问题介绍主要分为一，二，三，四篇进行介绍。 第一篇（点击阅读）包括 网络优化和正则化概述 优化算法介绍 第二篇包括 参数初始化 数据预处理 逐层归一化 第三篇包括 超参数优化 第四篇包括 网络正则化 参数初始化对称权重现象在上一篇文章中我们提到神经网络中的参数学习是基于梯度下降的，而梯度下降需要赋予一个初始的参数，所以这个参数的初始化就显得特别重要。 在感知器和逻辑回归中，一般将参数初始化为0，但是在神经网络中如果把参数初始化为0，就会导致在第一次前向计算......
78 天前 / Thinkgamer
共发表：第185篇引言神经网络中的网络优化和正则化问题介绍主要分为一，二，三，四篇进行介绍。 第一篇包括 网络优化和正则化概述 优化算法介绍 第二篇包括 参数初始化 数据预处理 逐层归一化 第三篇包括 超参数优化 第四篇包括 网络正则化 概述虽然神经网络有比较强的表达能力，但是应用神经网络到机器学习任务时仍存在一些问题，主要分为： 网络优化 神经网络模型是一个非凸函数，再加上神经网络中的梯度消失和梯度爆炸，很难进行优化，另外网络的参数比较多，且数据量比较大导致训练效率比较低。 正则化 神经网络拟合......
102 天前 / GO语言中文网
一、协同过滤算法概述协同过滤(collaborative filtering)算法一经发明便在推荐系统中取得了非凡的成果。许多知名的系统早期都采用了协同过滤算法，例如Google News，亚马逊、Hulu、Netfix等。协同过滤算法一般采用评分矩阵来表示用户和物品的交互，评分矩阵 R中的每一个元素 rij表示用户 i对物品 j的喜好评分。由于用户不能对大部分物品都有交互，所以在很多场景下评分矩阵都很稀疏，稀疏率在 90% 以上，稀疏度很高决定算法在优化和选取上有很多考量。 传统协同过滤算法 传统的协同过滤分为 user base 和 item base 两种算法，这两种算法的核心思......
128 天前 / 神策数据
手机中的 App 每天为用户提供海量的信息和资讯，而个性化的推荐方式犹如一条准绳，把用户的兴趣点和期待感与平台串联，迅速优化用户体验。 神策推荐作为一款基于用户行为分析的全流程智能推荐产品，在提升用户体验、促活促留存、提升核心业务指标、提高 IT 的投入产出比等方面拥有极大的价值意义。本文将从神策推荐之深度学习模型的角度出发，分享推荐模型中的奥秘与优势。 目前，几种较为流行的推荐方式，下面为大家介绍一二。 一、人人推荐 就是从人口统计学的角度出发，根据人与人之间的行为相似程度，来为用户做出推荐。在这里举个例......
167 天前 / 超人汪小建
大脑神经元人脑可能有1000多亿个神经元，每个神经元都可能在几个方向上互相连接着，这么大量的神经元及连接就形成了一个超级大型的网络。我们就是因为这些网络而存在各种各样的思想和意识。 大脑神经元即是脑神经细胞，主要包括细胞体、树突、轴突、突触等。 细胞体，由细胞核、细胞质和细胞膜组成。它是神经元新陈代谢的中心，是接收信息并处理的部件。 树突，是细胞体向外延伸树枝状的纤维体，它是神经元的输入通道，接收来自其他神经元的信息。 轴突，是细胞体向处延伸的最长最粗的一条树枝纤维体，即神经纤维，它是神经元的输出通道......
168 天前 / 星弟一直在
1、MobileNet GoogleMobileNets：用于移动视觉应用的高效卷积神经网络的张量流实现 在tensorflow / model中可以正式实施。 对象检测的正式实现现已发布，请参阅tensorflow / model / object_detection。 新闻 YellowFin优化器已经集成，但是我没有gpu资源在imagenet上训练。呼叫培训_ 官方实施点击这里 基本模块 ImageNet-2012验证集的准确性 模型宽度乘数预处理精度-TOP1精度-TOP5 MobileNet1.0与初始相同66.51％87.09％ 下载预训体重：OneDrive，百度云 失利 时间基准 环境：Ubuntu 16.04 LTS，Xeon E3-1231 v3,4核3.40GHz，GT......
181 天前 / kbsc13
2019 年第50篇文章，总第74篇文章 本文大约3600字，阅读大约需要10分钟 这是简单介绍神经网络的知识，并介绍一种特别的神经网络--多层感知器(Multi Layer Perceptron,MLP)。 翻译自 https://ujjwalkarn.me/2016/08/09/quick-intro-neural-networks/ 这篇文章并不涉及到对数学公式的推导，只是简单介绍了神经网络的结构和基本原理。 1. 神经元神经元(neuron)是神经网络的基本计算单元，也被称作节点(node)或者单元(unit)。它可以接受来自其他神经元的输入或者是外部的数据，然后计算一个输出。每个输入值都有一个权重(weight),权重的大小取决......
182 天前 / 超人汪小建
AI与神经网络人工智能已经发展了六七十年，经历了几度繁荣和衰落。虽然已取得不错的进展，但是与理想中的人工智能差距还是很大。 人工智能三大学派：符号学派、连接学派、行为学派。符号学派认为，任何能够将物理的某些模式或符号进行操作并转化成另外一些模式或符号的系统，就可能产生智能行为；连接学派认为高级的智能行为是从大量神经网络的连接中自发出现的，通过大量神经元来模拟大脑；行为学派并没有把目光聚焦到高级智能的人类身上，而是关注低级的昆虫能灵活走动并快速反应。上世纪的八九十年代形成三足鼎立的形势。 这几年再度让人工智......