type
status
date
slug
summary
tags
category
icon
password
论文网站：
arXiv.orgDataset Condensation with Distribution Matching
arXiv.org
arXiv.orgDataset Condensation with Distribution MatchingDataset Condensation with Distribution Matching
Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for...
arXiv.org代码网站：
知乎介绍：![]()
zhuanlan.zhihu.com![zhuanlan.zhihu.com]()
![]()
zhuanlan.zhihu.com
算法流程图：
图 7：具有分布匹配的数据集浓缩。我们随机抽样真实数据和合成数据，然后将它们嵌入到随机抽样的深度神经网络中。我们通过最小化这些采样嵌入空间中真实数据和合成数据之间的分布差异来学习合成数据。
算法框架：
优化目标是：
这里的是一个数据增强函数，可微的，因为这篇是论文是DSA的后续作，所以自然而然低沿用了DSA(Dataset Condensation with Differentiable Siamese Augmentation，同一个作者的文章)的方法，训练的时候对浓缩数据和原始数据都进行了相同的数据增强，如果不相同就没办法收敛。
然后这篇主要的想法就是在不同参数取值的embedding函数下，输入原始数据和浓缩数据得到的输出要尽可能接近，论文里就直接使用了神经网络的输出，让神经网络的输出尽可能接近。算法框架也是训练K-1步，每一步都选定一个embedding函数的参数，不断地训练并修改S使得S输出尽可能接近原始数据集T。(这个embedding函数就是一个具体的神经网络，方便让他们尽可能的接近)
- Author:Coding
- URL:http://preview.tangly1024.com/article/2adad491-793a-81cc-b096-d1ea5660d334
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
Dataset Distillation
Dataset Condensation with Gradient Matching
Dataset Distillation by Matching Training Trajectories
Dataset Condensation with Differentiable Siamese Augmentation
Dataset Condensation via Efficient Synthetic-Data Parameterization
Generalizing Dataset Distillation via Deep Generative Prior