[1] Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo
Marton Havasi, Jose Miguel Hern ´ andez-Lobato ´, Juan Jose Murillo-Fuentes ´
University of Cambridge, University of Sevilla
立即下载
深层高斯过程（DGPs）是对高斯过程的层级式泛化，该模型很好的结合了多层模型的不确定性估计，并且具有较高的可伸缩性。这些模型所面对的最大挑战之一即为，精确的推理基本是不可能的。
目前最好的推理方法是变分推理（VI），它对后验分布进行高斯近似。这存在一个潜在问题，即单模的近似对一般多模后验分布的近似效果比较差。
这篇文章指出后验分布的非高斯特性，然后利用随机梯度哈密尔顿蒙特卡洛方法来生成样本。为高效优化超参数，作者们提出划窗MCEM算法。该算法能够使得预测结果显著提升，并且计算代价相对基于VI的方法要低。
深层高斯过程图解如下
这篇文章的主要贡献可以总结为以下三点
划窗MCEM算法伪代码及效果对比图示如下
几种算法在多个UCI数据集上的效果对比如下
代码地址
https://github.com/cambridge-mlg/sghmc_dgp
[2] Generalisation in humans and deep neural networks
Robert Geirhos, Carlos R. Medina Temme, Jonas Rauber, Heiko H. Schütt, Matthias Bethge, Felix A. Wichmann
University of Tübingen, International Max Planck Research School for Intelligent Systems, Bernstein Center for Computational Neuroscience Tübingen, Max Planck Institute for Biological Cybernetics, Max Planck Institute for Intelligent Systems
立即下载
这篇文章比较了人类和卷积神经网络在目标识别领域中12个不同的图像干扰下的鲁棒性。
首先，作者们利用三种常见的深层神经网络，ResNet-152、VGG-19、GoogLeNet，发现了人类的视觉系统几乎在所有测试的图像变换中都更加具有鲁棒性。而且，信号变弱时，人类和深层神经网络之间的分类误差之间的差距逐渐发散。
该文发现在特定的变换类型上，在有损图像上训练的深度神经网络性能优于人类，但是在其他的变换类型中，深度神经网络的泛化性能非常差。比如，在椒盐噪声效果好的在白噪声上效果不好，反之亦然。训练及测试中的噪声差异对于基于深度学习的视觉系统是重要挑战，可以通过lifelong机器学习方法来系统的解决。
几种情况图示如下
几种图像变形图示如下
几种方法的效果对比如下
不同情形下多种噪声下的准确率对比如下
代码地址
https://github.com/rgeirhos/generalisation-humans-DNNs
[3] Constrained Graph Variational Autoencoders for Molecule Design
Qi Liu, Miltiadis Allamanis, Marc Brockschmidt, and Alexander L. Gaunt
Singapore University of Technology and Design, Microsoft Research
立即下载
图这种数据结构可以表示实体之间的交互。在化学领域中，能够通过学习来生成用于拟合训练数据分布的图。
这篇文章提出一种变分自编码，其中编码和解码都是图结构的。解码过程假设图扩展步骤是序贯排列的，本文讨论并分析了设计策略来缓解这种线性操作带来的潜在缺陷。
通过实验跟很多生成分子的基准方法进行对比，本文方法能够较好的捕捉原数据的统计特性。通过适当的调整隐含空间的形状，本文所提模型能够设计（局部）最优的具有期望属性的分子。
生成式过程图示如下
几种方法在不同数据集上的效果对比如下
其中22对应的论文为
Learning deep generative models of graphs
代码地址
https://github.com/shllln/GenerativeGraph
8对应的论文为
Automatic chemical design using a data-driven continuous representation of molecules
代码地址
https://github.com/topazape/molecular-VAE
18对应的论文为
Grammar variational autoencoder
代码地址
https://github.com/tensorflow/probability/blob/master/tensorflow_probability/examples/grammar_vae.py
https://github.com/mkusner/grammarVAE
https://github.com/episodeyang/grammar_variational_autoencoder
30对应的论文为
Towards variational generation of small graphs
28对应的论文为
Designing random graph models using variational autoencoders with applications to chemical design
代码地址
https://github.com/Networks-Learning/nevae
https://github.com/bidishasamantakgp/vae-random-graph
代码地址
https://github.com/Microsoft/constrained-graph-variational-autoencoder
文章评论