[1] Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Yixi Xu, Xiao Wang
Purdue University
这篇文章针对加权正则的深层神经网络给出一种通用框架。该文给出了拉德马赫复杂度的上限。对于某种特殊的加权正则网络，近似误差可以由输出层的L1范数得以控制，并且对应的泛化误差只依赖于网络结构，具体而言即为深度的平方根。
这篇文章的主要贡献如下
不同情况的复杂度下限为
[2] Learning Deep Disentangled Embeddings With the F-Statistic Loss
Karl Ridgeway, Michael C. Mozer
University of Colorado and Sensory, Inc.
深层嵌入方法旨在发现域中的表示，进而学习域的类别结构，并且支持少样本学习。解构方法旨在学习组合或者因子结构。这篇文章将两种方法结合起来，提出一种新的方法。这篇文章基于F统计量提出一种新的损失函数，可以分离出两个及以上的分布。这种方法可以确保不同的类别在嵌入维度的子集上可以很好的分割开来，这种嵌入对少样本学习比较有用。由于不需要在所有维度上可分，这种方法可以发现解构表示。
几种方法的效果对比如下
代码地址
https://github.com/kridgeway/f-statistic-loss-nips-2018
[3] Deep Defense: Training DNNs with Improved Adversarial Robustness
Ziang Yan, Yiwen Guo, Changshui Zhang
Tsinghua University, Intel Labs China
这篇文章提出一种新的训练策略，该策略的核心是将基于对抗扰动的正则项融入到分类目标中，进而可以使得模型能够通过学习来抵抗潜在的攻击。这种优化问题能够像递归网络进行训练。
几种方法的效果对比如下
不同参数的影响如下
代码地址
https://github.com/ZiangYan/deepdefense.pytorch
[4] Deep Neural Nets with Interpolating Function as Output Activation
Bao Wang, Zhen Li, Zuoqiang Shi, Xiyang Luo, Wei Zhu, Stanley J. Osher
University of California, HKUST, Tsinghua University, Duke University
这篇文章将深度神经网络中的输出层中的softmax函数替换为插值函数，并且针对这种结构提出端到端的训练和测试算法。插值函数相对softmax函数具有一些优势，比如可以结合深层学习和流形学习。另外，这种方法可以更好地用于少样本学习，还可以在很多网络上显著地提高泛化准确率。
训练及测试过程如下
其中WNLL为weighted nonlocal Laplacian，这就是本文的核心。
训练过程伪代码如下
测试过程伪代码如下
不同方法的效果对比如下
不同方法的泛化误差对比如下
不同方法的误差对比如下
代码地址
https://github.com/BaoWangMath/DNN-DataDependentActivation
[5] FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction
Shuyang Sun, Jiangmiao Pang, Jianping Shi, Shuai Yi, Wanli Ouyang
The University of Sydney, SenseTime Research, Zhejiang University
这篇文章设计了一种鱼样的网络，FishNet。在FishNet中，所有像素的信息都得以保持并且完善，进而用于最终的任务。FishNet 在COCO Detection 2018 challenge中表现突出。
ResNet和FishNet的部分区别图示如下
FishNet整体结构概览如下
几种块的结构如下
几种方法的效果对比如下
几种方法的参数量和误差对比如下
几种方法在图像分割和目标检测任务的效果对比如下
其中Mask R-CNN对应的论文为Mask r-cnn， ICCV 2017
FPN对应的论文为Feature pyramid networks for object detection，CVPR 2017
代码地址
文章评论