[1] KDGAN: Knowledge Distillation with Generative Adversarial Networks
Xiaojie Wang, Rui Zhang, Yu Sun, Jianzhong Qi
University of Melbourne, Twitter Inc.
这篇文章提出一种三个玩家的游戏，KDGAN，其中包含分类器，老师以及判别器。分类器和老师通过精炼损失函数来互相学习，并且二者是通过对抗式损失函数跟判别器之间是对抗式训练的。通过同时优化精炼损失函数和对抗损失函数，分类器可以学到真实的平衡数据分布。可以利用精确分布来近似分类器学到的离散分布。从精确分布中，可以生成连续的样本，进而更新梯度时可以得到低方差的梯度，这样可以加速训练过程。
训练时辅助文本有限的情况下图像标签推荐的示例如下
这篇文章的主要贡献如下
KD，NaGAN以及KDGAN之间的对比如下
KDGAN的训练过程伪代码示例如下
几种方法的效果对比如下
几种方法的准确率随迭代次数的变化曲线对比如下
几个超参数对准确率的影响如下
在标签推荐中几种方法的效果对比如下
下面是几个超参数对模型效果的影响
代码地址
https://github.com/xiaojiew1/KDGAN/
[2] Greedy Hash: Towards Fast Optimization for Accurate Hash Coding in CNN
Shupeng Su, Chao Zhang, Kai Han, Yonghong Tian
Peking University, Huawei Noah's Ark Lab
这篇文章中采用贪婪的原则来处理NP难问题，在每次迭代中向可能的最优离散解迭代式更新网络参数。这种方法中包含了一个哈希编码层，在前向传播过程中为了保持离散的限制条件，严格利用符号函数。在反向传播过程中，梯度完整的传向前一层，进而可以避免梯度弥散现象。作者们不仅给出了理论推导，而且提供了一种新的可视化和理解算法的角度。
贪婪式哈希算法的伪代码如下
几种方法的效果比较如下
代码地址
https://github.com/ssppp/GreedyHash
[3] PointCNN: Convolution On \chi -Transformed Points
Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, Baoquan Chen
Shandong University, Huawei Inc., Peking University
这篇文章提出一种简单且通用的框架，用于从点云中学习特征。点云是不规则的，并且是无序的，因此，直接将卷积核用于学习点集中的特征会丢失空间信息，并且会丢失点集中的方差信息。为了解决这些问题，作者们提出从点集中学习卡变换的方法，这种方法的优势在于可以保持点集所对应的输入特征，还可以将点变换到一种隐含的且保序的空间。对于通过卡变换之后的特征，一般卷积算子中的点积以及求和算子可以照搬过来。这种方法简称PointCNN。
正常格子的卷积与点云的卷积对比如下
正常格子的分层卷积和点云的分层卷积对比如下
点坐标转换成特征的示例如下
卡卷积算子伪代码如下
PointCNN用于分类和分割任务的网络结构示例如下
几种方法在分类问题中的效果对比如下
其中Flex-Convolutions对应的论文为
Flex-convolution (deep learning beyond grid-worlds)，ACCV 2018
代码地址
https://github.com/cgtuebingen/Flex-Convolution
KCNet对应的论文为
Mining point cloud local structures by kernel correlation and graph pooling，CVPR 2018
代码地址
https://github.com/barrykui/3d-deep-learning
Kd-Net对应的论文为
Escape from cells: Deep kd-networks for the recognition of 3d point cloud models, ICCV 2017
代码地址
https://github.com/fxia22/kdnet.pytorch
https://github.com/Regenerator/kdnets
so-net对应的论文为
So-net: Self-organizing network for point cloud analysis, CVPR 2018
代码地址
https://github.com/lijx10/SO-Net
3dmfv-net对应的论文为
3DmFV: Three-Dimensional Point Cloud Classification in Real-Time Using Convolutional Neural Networks, IEEE Robotics and Automation Letters 2018
代码地址
https://github.com/sitzikbs/3DmFV-Net
pcnn对应的论文为
Point convolutional neural networks by extension operators. ACM Trans. Graph 2018
代码地址
https://github.com/matanatz/pcnn
pointnet对应的论文为
Pointnet: Deep learning on point sets for 3d classification and segmentation,CVPR 2017
代码地址
https://github.com/charlesq34/pointnet
pointnet++对应的论文为
Pointnet++: Deep hierarchical feature learning on point sets in a metric space, NIPS 2017
代码地址
https://github.com/charlesq34/pointnet2
specGCN对应的论文为
Local spectral graph convolution for point set feature learning, ECCV 2018
代码地址
https://github.com/fate3439/LocalSpecGCN
相关论文集
spidercnn对应的论文为
Spidercnn: Deep learning on point sets with parameterized convolutional filters, ECCV 2018
代码地址
https://github.com/xyf513/SpiderCNN
DGCNN对应的论文为
Dynamic graph cnn for learning on point clouds, 2018
代码地址
https://github.com/WangYueFt/dgcnn
几种方法在分割问题中的效果对比如下
其中syncspeccnn对应的论文为
Syncspeccnn: Synchronized spectral cnn for 3d shape segmentation, CVPR 2017
代码地址
https://github.com/ericyi/SyncSpecCNN
sscn对应的论文为
3d semantic segmentation with submanifold sparse convolutional networks,CVPR 2018
代码地址
https://github.com/facebookresearch/SparseConvNet
splatnet对应的论文为
Splatnet: Sparse lattice networks for point cloud processing, CVPR 2018
代码地址
https://github.com/NVlabs/splatnet
RSNet对应的论文为
Recurrent slice networks for 3d segmentation on point clouds, CVPR 2018
代码地址
https://github.com/qianguih/RSNet
SGPN对应的论文为
SGPN: similarity group proposal network for 3d point cloud instance segmentation, CVPR 2018
代码地址
https://github.com/laughtervv/SGPN
SPGraph对应的论文为
Large-scale point cloud semantic segmentation with superpoint graphs, CVPR 2018
代码地址
https://github.com/loicland/superpoint_graph
TCDP对应的论文为
Tangent convolutions for dense prediction in 3d, CVPR 2018
代码地址
https://github.com/tatarchm/tangent_conv
草图及图像分类效果对比如下
其中sketch-a-net对应的论文为
Sketch-a-net: A deep neural network that beats humans, IJCV 2017
代码地址
https://github.com/yuchuochuo1023/sketch-specific-data-augmentation
AlexNet对应的论文为
Imagenet classification with deep convolutional neural networks, NIPS 2012
代码地址
https://github.com/dontfollowmeimcrazy/imagenet
LeNet对应的论文为
Gradient-based learning applied to document recognition, Proceedings of the IEEE 1998
代码地址
https://github.com/activatedgeek/LeNet-5
NIN对应的论文为
Network in network, ICLR 2014
几种方法的参数及效率对比如下
代码地址
https://github.com/yangyanli/PointCNN
文章评论
这期主题：一神带八坑