10 天前 / rainNight
深度神经网络模型构成了大多数最先进的图像分析和自然语言处理算法的支柱。随着数据和模型并行等大规模深度学习技术的最新发展，大型卷积神经网络 (CNN) 模型可以在数分钟内对数百万张图像的数据集进行训练。然而，在超高分辨率图像上应用 CNN 模型，例如 3D 计算机断层扫描 (CT) 图像，最多可以有 10 8 像素，仍然具有挑战性。使用现有技术，处理器仍需要承载至少 32GB 的部分中间数据，而单个 GPU 或 TPU 通常只有 12-32GB 内存。一种典型的解决方案是将图像块彼此分开处理，这会导致复杂的实现和由于信息丢失而导致的次优性能。
39 天前 / 美团技术团队
总第 481 篇 2021 年 第 051 篇 美团内部深度定制的 TensorFlow 版本，基于原生 TensorFlow 1.x 架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升 10 倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。1 背景 2 大规模训练优化挑战 2.1 业务迭代带来的挑战 2.2 系统负载分析 3 优化实践 3.1 大规模稀疏参数介绍 3.2 分布式负载均衡优化 3.3 通信优化 3.4 延迟优化 3.5 单实例 PS 并发优化 3.6 单位算...
154 天前 / 前哨君
写文章 1.3 万 Star！迅猛发展的 JAX 对比 TensorFlow、PyTorch 开源前哨推荐有趣和热门的开源项目。有一个同名公众号：开源前哨 1 人赞同了该文章 JAX 是机器学习 (ML) 领域的新生力量，它有望使 ML 编程更加直观、结构化和简洁。 在机器学习领域，大家可能对 TensorFlow 和 PyTorch 已经耳熟能详，但除了这两个框架，一些新生力量也不容小觑，它就是谷歌推出的 JAX。很对研究者对其寄予厚望，希望它可以取代 TensorFlow 等众多机器学习框架。 JAX 最初由谷歌大脑团队的 Matt Johnson、Roy Frostig、Dougal Maclaurin 和 Chris Leary 等人发起。
320 天前 / 开发者头条
%matplotlib inlineimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.keras.applications.xception import Xceptionfrom tensorflow.keras.preprocessing import imagefrom tensorflow.keras.applications.xception import preprocess_input, decode_predictionsimport numpy as npfrom PIL import Imageimport requestsfrom io import BytesIO 加载模型 model = Xception(weights='imagenet', include_top=True)加载图片 # img = image.load_img(image_file_path, target_size=(299, 299)) # 从硬盘加载图片 url = "https://ima...
569 天前 / 云水木石
提到人工智能和机器学习（Marchine Learning，ML），你的脑海里是否立即会浮现计算中心、高端 GPU、成百上千的 TPU 等等。实际上，随着嵌入式设备、移动终端以及近年来物联网（Internet of Things，IoT）的发展，人工智能离我们越来越近。手机、智能音箱、电话手表，甚至控制开关，都配备有一定的人工智能。特别是物联网和智能家居的快速发展，机器学习在微型低功耗设备上应用得越来越广泛。 TensorFlow 作为人工智能领域的前驱，很早就推出了针对资源受限设备（例如 Arm Cortex-M MCU，微处理单元）的框架 TensorFlow Lite。
594 天前 / algorithmdog
1.从TF1 到 TF2, 线上内存爆炸了 最近我们团队使用的框架从 TF1 升级到了 TF 2。升级之后，线上的 Tensorflow Serving 发生了爆内存的现象。具体现象如下图所示：16G 的内存不到半个小时全部耗尽，内存耗尽之后服务挂掉，然后服务管理平台重新拉起服务；不到半个小时，16G 内存又耗尽，服务挂掉又拉起；这个过程反复进行。TensorFlow Serving 进程因 Out-of-Memory 多次重启。 之前，团队使用 TF1 tf.feature_column + tf.estimator 的组合编写训练代码，并基于 TensorFlow Serving 搭建模型推理服务。
716 天前 / 毛大虾
IntroductionFrozen graphs are commonly used for inference in TensorFlow and are stepping stones for inference for other frameworks. TensorFlow 1.x provided an interface to freeze models via tf.Session, and I previously had a blogon how to use frozen models for inference in TensorFlow 1.x. However, since TensorFlow 2.x removed tf.Session, freezing models in TensorFlow 2.x had been a problem for most of the users. In this blog post, I am going to show how to save, load, and run inference for frozen graphs in...
789 天前 / 懒人yp
场景介绍 在ARM盒子(我使用atlas500，arm64v8架构可以直接使用代码和镜像)上，接入网络摄像头，使用tensorflow lite框架，对图像进行图像分类推理，图像分类推理结果通过MQTT协议推送到web页面上进行展示。参考"在ARM盒子使用IEF和Tensorflow运行边缘AI"，这次使用tensorflow lite框架，并把对象检测模型更换成图像分类模型。 运行环境 网络摄像头，支持RTSP协议，ipc格式 智能小站(atlas500)， EulerOS(https://e.huawei.com/cn/material/enterprise/030106f2129145efa9c9bb472c7b0058\） tensorflow1.4.0...
791 天前 / 算法与编程之美
欢迎点击「算法与编程之美」↑关注我们！ 本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。 1）创建camera对象和canvas对象 用小程序实现人物的姿态检测功能 Camera对象实时获取图像，传送给后台模型处理，处理完的结果在canvas对象内显示 1.添加camera 2.调整camera为全屏 3.在…中添加canvas对象 进入下图目录，如果内有默认填充的代码可以清理掉 创建camera对象，并添加一些属性，如后置摄像头、关闭闪光灯、相关报错、样式：全屏。 进入index.wxss页面，同样的先将无关内容删除。
795 天前 / 懒人yp
场景介绍 由于视频流占用很多网络带宽，越来越多的场景下，希望在视频流产生的地方，对图像进行处理，在节省网络带宽的同时，能够快速处理，也能避免网络延迟和抖动带来的不确定性。典型应用场景为：化工厂内部通过图像检测火情，园区内人脸匹配进行安检，建筑工地施工人员是否佩戴安全帽。 在ARM盒子(以atlas500为例，arm64v8架构可以直接使用代码和镜像)上，通过网络接入网络摄像头，使用tensorflow框架对图像进行对象检测模型推理，检测结果通过MQTT协议推送到web页面上进行展示。
833 天前 / openio
机器之心报道 作者：杜伟、一鸣 今年 3 月份，谷歌在加州举办的 TensorFlow 开发者峰会（TensorFlow Dev Summit）上正式发布了 Tensorflow 2.0 Alpha 版。今天，谷歌推出 TensorFlow 2.0 正式版，真乃开发者社区的一大盛事。 TensorFlow 2.0 安装指南：https://www.tensorflow.org/install TensorFlow 2.0 的发布得益于开发者社区的推动，他们想要拥有一个灵活且强大的易用平台，并且希望 TensorFlow 支持部署到任何平台。
838 天前 / 读芯术
全文共3412字，预计学习时长7分钟 在对TensorFlow、PyTorch和Keras做功能对比之前，先来了解一些它们各自的非竞争性柔性特点吧。 非竞争性特点 下文介绍了TensorFlow、PyTorch和Keras的几个不同之处，便于读者对这三个框架有初步了解。列出这些区别的重点不在于对三者做比较，而在于做一个初步介绍。 TensorFlow · 开发者：Google · 2017年1月发布1.0版本 PyTorch · 开发者：Facebook ·2018年10月发布1.0版本 ·基于Torch开发（Torch是基于Lua开发的另一个深度学习框架） K...
842 天前 / iOS沪上代码小子
文 /李锡涵，Google Developers Expert 本文节选自《简单粗暴 TensorFlow 2.0》 TensorFlow 2.0 beta1 已经发布。本文详细介绍在个人电脑或服务器上安装 TensorFlow 2.0 beta1 的步骤和各种细节，让你第一次安装 TensorFlow 2.0 就上手！ 一般安装步骤 TensorFlow 的 Python 版本使用最为广泛。作为一个 Python 包，TensorFlow 和其他 Python 包的安装方法区别不大，使用 Python 的包管理器 pip 即可。具体步骤如下： 1. 安装 Python 环境。此处建议安装 Anaconda 。
849 天前 / 蚂蚁金服分布式架构SOFAStack
9 月 11 日，蚂蚁金服在2019谷歌开发者大会上海站上开源了 ElasticDL 项目，这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 开源地址为：elasticdl.org 开源中国采访了 ElasticDL 项目负责人王益，对该深度学习系统的技术细节进行了全面介绍。 1基于 TensorFlow 2.0 和Kubernetes实现弹性深度学习这个基于 Eager Execution 模式的开源项目名为“ElasticDL”，它是一个Kubernetes 原生深度学习框架，根据介绍，ElasticDL 主要有四大特点： 容错性弹性调度易用性高效其中又以容错与弹性调度特性最具特色。