果化火线资讯 » 社会 » 云顶娱乐平台感觉假的·谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲

云顶娱乐平台感觉假的·谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲

发布时间:2020-01-09 14:59:38 阅读次数:152

云顶娱乐平台感觉假的·谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲

云顶娱乐平台感觉假的,鱼羊 发自 凹非寺 量子位 报道 | 公众号 qbitai

谷歌的efficientnet进化之后,又刷新了imagenet纪录。

这个叫noisy student的新模型,将imagenet图像分类的top-1准确率提高到了87.4%,比此前最好的fixresnetxt-101 32×48d高出了1个百分点。

更令人惊叹的是,在resnext-101 32×48d只达到了16.6%top-1准确率的imagenet-a测试集上,noisy student一举将准确率提高到了74.2%。

新模型来自谷歌大脑首席科学家quoc v. le的团队,而论文第一作者,则是毕业于上海交大acm班的谢其哲,目前正在cmu攻读博士,是谷歌大脑的学生研究员。

实现方法

提升如此明显,但方法却并不复杂。noisy student是站在了efficientnet这位“名师”的肩膀上。

第一步,是用imagenet中带标签的图像训练efficientnet。

efficientnet是谷歌开源的缩放模型,基于automl开发, 初登场就刷新了imagenet的纪录,准确度为84.4%(top-1)和97.1%(top-5),并且模型更小更快,效率提升达10倍之多。

对于这一模型,量子位做过详细的解读:https://mp.weixin.qq.com/s/dcrpbuje98ckznrouuvo6q

第二步,在一个更大规模的数据集上,用efficientnet给无标签图片打上伪标签。

这一步中,研究人员选择的是谷歌的jft数据集。这一数据集拥有300m图片,是imagenet的300倍。

然后,将有标签的图像和被打上伪标签的图像组合起来,训练一个更大的学生模型。

新的学生模型又会成为新的老师,迭代这一过程。

在生成伪标签的过程中,教师模型不会被噪声干扰,以便提高伪标签的置信度。

但学生模型在训练的过程中,会面临来自随机深度、dropout和randaugment带来的噪声干扰。这就迫使学生模型不得不从伪标签中进行学习。

在训练的过程中,efficientnet也会不断更新。其中,最大的模型efficientnet-l2需要在2048核的cloud tpu v3 pod上训练3.5天。

性能表现

开头已经提到,这个新的noisy student模型再一次刷新了imagenet的纪录,现在来看看它的具体战绩:

在top-1准确率上,efficientnet和noisy student的组合将最佳成绩提高了1个百分点,并且模型的参数规模远小于facebook的fixresnetxt-101 32×48d。

而在更加严格测试集上,noisy student的进步更为显著。

imagenet-a测试集包含7500个自然对抗样本,会导致sota模型的准确率大大下降。比如来自facebook的知名选手resnext-101 32×48d,就只能达到16.6%的top-1准确率。

在这个基准当中,noisy student一举将top-1准确率从16.6%提高到了74.2%。

image-c和image-p测试集则包含了模糊、雾化、旋转和缩放过的图像。换句话说,测试图像完全不同于模型的训练数据。

在imagenet-c上,noisy student将平均错误率从45.7降到了31.2。

在imagenet-p上,noisy student将平均翻转率从27.8降到了16.2。

也就是说,这个新模型不仅准确率又进一步,在鲁棒性上,更是实现了惊人的进步。

根据论文作者介绍,模型代码将尽快释出,不妨先mark一下~

传送门

论文地址:https://arxiv.org/abs/1911.04252

— 完 —

量子位 qbitai · 头条号签约

关注我们,第一时间获知前沿科技动态

上一篇: 四大赛区战斗即将打响,赶快开启“战狼模式”!
下一篇: 陈金甫:改变“带金销售”模式 挤掉药企“公关费”