【机器翻译】《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》论文总结

最新推荐文章于 2023-09-27 10:14:59 发布
原创 最新推荐文章于 2023-09-27 10:14:59 发布 · 627 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器翻译 #自然语言处理 #人工智能

本文总结了《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》的论文，探讨如何通过kNN搜索改进神经机器翻译。研究中提出在训练阶段使用知识蒸馏，预先进行kNN Self-Search，构建教师模型来指导学生模型学习，从而在不增加解码计算成本的情况下提升翻译质量。

《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》icon-default.png?t=M666https://arxiv.org/pdf/2205.00479.pdf

简介

这是一篇2022年发表在NAACL的一篇机器翻译的论文，是针对21年提出的用kNN(k Nearest Neighbor) Search来decoding的机器翻译方法的改进，这篇论文简洁明了地介绍了kNN Search decoding的原理，并且针对kNN Search带来的庞大的decoding计算开销进行改进：用知识蒸馏的方式将KNN Search由decoding阶段提前到模型训练之前——提前训练一个以kNN为学习目标的教师模型、在训练过程中教师模型指导学生模型训练，使得最终的学生模型学习到kNN的知识，在decoding阶段按照常规的seq2seq解码方式正常进行，从而解决了基础论文的decoding就算开销大的问题。

Nearest Neighbor Machine Translation

先介绍一下核心的基础

最低0.47元/天 解锁文章
Tobi_Obito
关注
【论文推荐】了解《机器翻译》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
09-12 1487
论文推荐“SFFAI123期来自中科院计算技术研究所的谷舒豪推荐的文章主要关注于自然语言处理的机器翻译领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复&#...
【论文推荐】了解《机器翻译专题》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
11-07 1005
论文推荐“SFFAI128期来自中国科学院计算技术研究所直博生张绍磊推荐的文章主要关注于自然语言处理的机器翻译专题领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公...
论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》
05-31 1万+
神经机器翻译是最近提出的机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目标是建立一个单一的神经网络，可以共同调整以最大化翻译性能。最近提出的用于神经机器翻译的模型经常属于编码器 - 译码器族，并且将源句子编码成固定长度的矢量，解码器从该矢量生成翻译。在本文中，我们推测使用固定长度向量是提高这种基本编码器 - 解码器架构性能的瓶颈，并且建议通过允许模型自动（软）搜索零件来扩展它的源句子与预测目标词相关，而不必将这些部分明确地形成为硬分段。
机器翻译论文
weixin_30670151的博客
11-06 162
版权声明：博客仅供参考，有什么意见，请在下方留言，转载时请附上链接，谢谢！https://blog.csdn.net/u010105243/article/details/78347979(2014)Sequence to sequence learning with neural networks(2014)Learning Phrase Representations using RNN E...
机器翻译相关论文Topic推荐
AI_Conf的博客
11-09 710
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn 机器翻译，又称为自动翻译，是利用计算机将一种自然语言（源语言）转换为另一种自.
论文翻译：2021_语音增强模型压缩_Towards model compression for deep learning based speech enhancement...
凌逆战的博客
04-08 1116
论文地址：面向基于深度学习的语音增强模型压缩 论文代码：没开源，鼓励大家去向作者要呀，作者是中国人，在语音增强领域 深耕多年 引用格式：Tan K, Wang D L. Towards model compression for deep learning based speech enhancement[J]. IEEE/ACM transactions on audio, speech, ...
Paper翻译：《Apple Leaf Diseases Recognition Based on An Improved Convolutional Neural Network》
JasonYangQ的博客
08-07 1756
论文名称：《Apple Leaf Diseases Recognition Based on An Improved Convolutional Neural Network》 论文作者：Yan Q , Yang B , Wang W , et al. 发表期刊：Sensors, 2020, 20(12):3535. 论文总结： Research Gap: 改进VGG16（VGG16 + BN + GAP）对苹果叶部病害进行检测 Importance： VGG16模型的模型参数上可以减少89%..
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
Stanford1 -- Noisy Neural Network Compression for Analog Storage Devices
Lyn_S的博客
02-21 206
本文来自 stanford 组，原文标题 Noisy Neural Network Compression for Analog Storage Devices Introduction 背景 本文的背景是用模拟器件存储NN weights capacity更大但同时 更noisy。一般情况下，这个 noise 是写入 cell 的值的 non-linear function； 输入的范围 limited 有最大值最小值限制，也就是说我们得scale input. Motivation 本文的motiv
论文翻译-机器翻译：Attention
weixin_34191845的博客
03-08 451
2019独角兽企业重金招聘Python工程师标准>>> ...
机器翻译研究现状与展望
12-23
本文回顾机器翻译研究的历史，介绍典型的机器翻译方法，包括：基于规则、基于统计以及基于实例的机器翻译方法；针对机器翻译的研究现状，详细介绍和分析了基于混合策略的机器翻译方法，对统计以及机器学习方法在机器翻译中的应用进行了描述；论文还介绍了当前机器翻译评测技术；最后对机器翻译进行总结和展望。
Machine Translation Paper Lists
Deep Learning and NLP Farm
03-04 422
[NAACL2018] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets
kNN-TL: k-Nearest-Neighbor Transfer Learning for Low-Resource Neural Machine Translation
y94688的博客
09-27 636
迁移学习已被证明是提高低资源神经机器翻译（NMT）性能的一种有效技术。通常通过对预训练的父模型进行微调或在子模型的训练过程中利用父模型的输出来实现。然而，这些方法在子模型的推理过程中没有利用父模型的知识，可能限制了翻译性能。在本文中，我们提出了一种k最近邻迁移学习（kNN-TL）方法用于低资源NMT，该方法在整个子模型的开发过程中利用了父模型的知识。我们的方法包括一种父子表示对齐方法，确保两个模型之间的输出表示一致，以及一种基于子模型相关性选择性地提取父数据存储库的方法，从而提高推理效率。
论文篇 | 基于深度学习的机器翻译论文总汇
weixin_44649780的博客
10-25 4255
长期以来，人们一直认为人类翻译的质量对于计算机翻译系统来说是无法实现的。在这项研究中，我们提出了一个深度学习系统CUBBITT，它挑战了这一观点。在人类法官的上下文感知盲测评估中，CUBBITT在保留文本含义（翻译充分性）方面显着优于专业机构的英语到捷克语新闻翻译。虽然人工翻译仍然被评为更流畅，但CUBBIT被证明比以前最先进的系统更流畅。此外，翻译图灵测试的大多数参与者都很难将CUBBITT翻译与人工翻译区分开来。这项工作接近人工翻译的质量，甚至在某些情况下充分超越了它。
「自然语言处理(NLP)」神经机器翻译(NMT)论文整理(一)
yinizhilianlove的博客
03-01 1980
来源: AINLPer 微信公众号（每日更新…） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-27 引言： 下面是作者整理的关于神经机器翻译（NMT）相关的论文文章，下面这10篇文章都顶会ICLR发表的文章，能找到源码的作者也直接贴出来了，如果你对NMT感兴趣或者也在找一些相关的文章，希望能够帮助你~~ 关于本次分享得十篇NMT文章，如果你一篇篇的论文下载不方便，你...
基于Attention的机器翻译模型，论文笔记
夏目的博客
11-19 2万+
论文题目：Neural Machine Translation by Jointly Learning to Align and Translate 论文地址：http://pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf GIF来源：https://jalammar.github.io/visuali...
[论文阅读] Nearest Neighbor Classifier Embedded Network for Active Learning
xiongxyowo的博客
11-26 2627
论文地址：https://www.aaai.org/AAAI21Papers/AAAI-39.WanF.pdf 代码：https://github.com/WanFang13/NCE-Net 发表于：AAAI’21 Abstract 深度神经网络(DNN)已被广泛地应用于主动学习。尽管它很有效，但当标记集和未标记集之间存在明显的分布偏差时，判别性分类器(softmax分类器)的泛化能力是值得怀疑的。当标记集和未标记集之间存在明显的分布偏差时，判别性分类器（softmax分类器）的泛化能力值得怀疑。在本文中，
EMNLP 2021 Transformers论文合集
AI_Conf的博客
11-11 682
EMNLP是由国际计算语言学协会下属特殊兴趣小组SIGDAT发起并组织的系列会议,是自然语言处理领域顶级的国际学术会议之一。EMNLP 2021 将于 11 月 7 日 - 11 日进行，一共接收了656篇长文、191篇短文，Findings接收了305篇长文、119篇短文。 AMiner通过AI技术，对EMNLP2021收录的会议论文进行了分类整理，欢迎下载收藏！ AMiner-EMNLP2021：https://www.aminer.cn/conf/emnlp2021/papers?f=cs 1.论文名
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值