[1] The streaming rollout of deep networks - towards fully model-parallel execution Volker Fischer, Jan Köhler, Thomas Pfeil Bosch Center for Artificial Intelligence 深层神经网络，尤其是循环网络，在控制与外界实时交互的自治体方面很有前景。然而，这需要将时序特征无缝地集成到网络结构中。针对循环神经网络，训练和推理时通常在时间上进行展开，但是…
[1] Unsupervised Attention-guided Image-to-Image Translation Youssef A. Mejjati, Christian Richardt, James Tompkin, Darren Cosker, Kwang In Kim University of Bath, Brown University 目前，无监督的图像到图像的转换方法一般集中在单个物体上，背景是不发生变化的，也不考虑场景中多个物体之间的交互。这篇文章基于人类感知的注意力，提出了一种无监督的…
[1] Step Size Matters in Deep Learning Kamil Nar, S. Shankar Sastry University of California, Berkeley 利用梯度下降算法训练神经网络时，能够得到离散的非线性的动态系统。此时，在训练过程中网络会收敛到不定的点，而不是固定的点，而且还依赖于初始状态。 在这些现象中，步长起到非常重要的作用。步长决定了局部最优解的子集，如果算法收敛到一个轨道上，步幅决定了在该轨道震动的幅度。为解释步长对神经网络的影响，作者们…
[1] Deep, complex, invertible networks for inversion of transmission effects in multimode optical fibres Oisín Moran, Piergiorgio Caramazza, Daniele Faccio, Roderick Murray-Smith University of Glasgow, University of Glasgow 这篇文章提出了一种基于复数域加权的深层网络，用于处理相干输…
[1] Evidential Deep Learning to Quantify Classification Uncertainty Murat Sensoy, Lance Kaplan, Melih Kandemir Ozyegin University, Adelphi, Robert-Bosch-Campus 确定性神经网络在很多机器学习任务中都能学到效果不错的预测器。然而，由于标准方法是训练网络使得预测误差最小，这种情况下得到的模型忽略了预测的置信度。贝叶斯神经网络通过权值的不确定性来间接地…
[1] KDGAN: Knowledge Distillation with Generative Adversarial Networks Xiaojie Wang, Rui Zhang, Yu Sun, Jianzhong Qi University of Melbourne, Twitter Inc. 这篇文章提出一种三个玩家的游戏，KDGAN，其中包含分类器，老师以及判别器。分类器和老师通过精炼损失函数来互相学习，并且二者是通过对抗式损失函数跟判别器之间是对抗式训练的。通过同时优化精炼损失函数…
Yixi Xu, Xiao Wang Purdue University 这篇文章针对加权正则的深层神经网络给出一种通用框架。该文给出了拉德马赫复杂度的上限。对于某种特殊的加权正则网络，近似误差可以由输出层的L1范数得以控制，并且对应的泛化误差只依赖于网络结构，具体而言即为深度的平方根。 这篇文章的主要贡献如下 不同情况的复杂度下限为 Karl Ridgeway, Michael C. Mozer University of Colorado and Sensory, In…
Jianlong Chang, Jie Gu, Lingfeng Wang, Gaofeng Meng, Shiming Xiang, Chunhong Pan Chinese Academy of Sciences, University of Chinese Academy of Sciences 这篇文章提出一种可以适用于具有一定结构的卷积神经网络，这种网络不仅可以处理欧氏距离的数据，也可以处理非欧氏距离的结构化数据。结构卷积算子可以将多种拓扑结构的数据聚合起来，并且利用函数逼近理…
本文是作者在滴滴出行实习时发表的一篇文章，目的是出租车需求预测，特点在于结合了时间、空间、语义三方面的信息，运用多视图深度学习模型。 文章收录于AAAI 2018、 本文内容为个人翻译+创作，如有编写错误之处欢迎指正！ 原文地址： 出租车需求预测是智能城市中智能交通系统的重要组成部分 。一个准确的预测模型可以帮助城市预先分配资源来满足旅行需求并减少空车、浪费资源。 然而，传统的需求预测主要依赖于时间序列预测（Time Series Forecasting），无法模拟复杂的非线性时空关系；…
Elad Hoffer , Ron Banner , Itay Golan, Daniel Soudry Technion - Israel Institute of Technology, Intel - Artificial Intelligence Products Group (AIPG) 过去几年，批归一化广泛应用于深层网络中，这种技巧可以加速训练过程，并且在多种应用中可以提升效果。但是这种技巧之所以带来好的效果的原因尚待探索，并且有一些缺陷阻碍了该技巧在某些任务中的应用。 这篇文章给出了归…
