AAAI 2021线上分享 | BERT模型蒸馏技术,阿里云有新方法 2024-07-30 22:35:19 通过在下游 NLP 任务上的微调,BERT、XLNet 和 RoBERTa 等预训练语言模型已经展示出了卓越的性能。但是,这些模型中的大量参数导致储存和计算成本过高,从而对模型在资源受限应用场景中的部署造成负担。典型的解决方案是采用知识蒸馏(knowledge distillation, KD)来降低储存计算成本并加速推理过程。KD 的基本思路是将大型 BERT 模型压缩为小型学生模型,同时保留教师模型的知识。然而,对于稀疏训练数据的目标领域而言,教师模型很难将有用的知识传递给学生模型,导致学生模型性能下降。这时,数据增强(data augmentation, DA)成为处理数据稀疏问题的常用策略,该策略基于标注训练集生成新数据,进而增强目标数据。但是,学界没有出现很多用于 BERT 知识蒸馏的高效数据增强方法。当前蒸馏增强方法往往手动设计,诸如基于同义词替换的 thesaurus 方法、利用聚合关系的单词替换或大型语言模型的预测方法。这类增强方法的预训练不仅耗时,还很难找到有益于知识蒸馏的最优方案。设计一种自动增强数据稀疏领域中有用数据的高效策略仍是一项具有挑战性的任务。在阿里巴巴等机构合作的这篇被 AAAI 2021 接收的论文《Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation 》中,研究者们提出了一种跨域自动数据增强方法来为数据稀缺领域进行扩充,并在多个不同的任务上显著优于最新的基准。机器之心最新一期 AAAI 线上分享邀请到了论文共同一作、阿里云高级算法专家邱明辉,为大家详细解读此前沿研究。分享主题:基于跨领域数据增强的 BERT 模型蒸馏技术个人简介:邱明辉,新加坡 SMU 博士,美国卡耐基梅隆大学访问学者,现任阿里云高级算法专家。主要从事自然语言处理以及深度学习算法和框架研究,迄今为止已发表 40 余篇自然语言处理和机器学习方向的顶会和期刊论文。谷歌学术引用量为 1500+,H 指数(h-index)20+。他曾获得 Best paper runner-up award 和 Best demo award,并担任多家国际顶会和期刊的审稿人。目前主要负责开源框架 EasyTransfer 的开发和落地,目前该框架已经服务阿里内部多个 BU 业务场景。分享摘要:尽管诸如 BERT 之类的预训练语言模型在各种自然语言处理任务中均取得了令人满意的性能,但是它们的模型非常大,在实时应用中很难进行部署。一种典型的方法是采用知识蒸馏将这些大型的预训练模型(教师模型)压缩为小的学生模型。但是,对于缺乏训练数据的目标领域,教师几乎无法将有用的知识传给学生,这会导致学生模型的效果下降。为了解决这个问题,我们提出了一种方法,通过一种跨域自动数据增强的技术来为数据稀缺领域进行扩充。这个方法用强化选择器从目标数据分布中自动选取样本,来提升学生模型的表现。大量的实验表明,所提出的方法在四个不同的任务上明显优于最新的基准,对于数据稀缺的领域,压缩的学生模型甚至比原始的大型教师模型表现更好,参数更少(只有~13.3%)。分享论文链接:https://arxiv.org/pdf/2101.08106.pdf 赞 (0) 相关推荐 [首藏作品](6049)姿态逐渐“亲民” 2021年AI五大趋势备受期待 姿态逐渐"亲民" 2021年AI五大趋势备受期待 2021年人工智能领域备受期待的五大趋势图片来源:美国<福布斯>双周刊网站科技创新世界潮◎本报记者 刘 霞人工智能(A ... AAAI 2021最佳论文Runners Up!Transformer的归因探索! 本文转载自:炼丹笔记 作者:一元,四品炼丹师 Self-Attention Attribution: Interpreting Information Interactions Inside Tran ... 港科大杨强教授:数据孤岛下的 AI 向善与联邦迁移学习 9 月 4 日 - 6 日,由中国中文信息学会社会媒体处理专委会主办,浙江大学承办的第九届全国社会媒体处理大会(SMP 2020)在线上召开. 会议集结了包括潘云鹤院士.杨强教授在内的多名顶尖科学家. ... NLP:NLP领域没有最强,只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略 NLP:NLP领域没有最强,只有更强的模型--GPT-3的简介.安装.使用方法之详细攻略 导读:NLP领域的模型,没有最大,只有更大.博主这几天也仔仔细细看了这篇长达75页的论文,光署名作者都有二三十 ... 线上分享会预告之地面点云配准与机载点云航带平差 点云PCL的小伙伴们大家好,第二次线上分享活动从本周开始启动,我们邀请到了来自苏黎世理工,武汉大学,港科大等高校的爱好者给我们带来新一期的分享活动. 对于分享者来说,这既是一次对自己所学知识的总结与复 ... 线上分享会预告之基于点云的mesh数据重建与处理 点云PCL的小伙伴们大家好,第二次线上分享活动从本周开始启动,我们邀请到了来自苏黎世理工,武汉大学,港科大等高校的爱好者给我们带来新一期的分享活动. 对于分享者来说,这既是一次对自己所学知识的总结与复 ... 赢在细分市场之服饰鞋包2021线上趋势解读 来源 | 数据威 服饰鞋包2021线上趋势数据解读 以上是资料部分内容, 查看 获得 更多精选内容,看我个人主页. 如何运营好一个微信公众号之七—品牌影响力的微传播之道 社群书院115期线上分享 <品牌影响力的微传播之道>内容 分享嘉宾 许永硕 和君咨询智能制造研究中心首席研究员 ,中国新一代IT产业推进联盟物联网专家,工业4.0专家,供应链管理专家,企业应用软件专家.2012年创 ... 2个月8次线上分享的收获以及经验 天睿每日一篇文章的目的 让每篇文章都能解决一个你人生成长的障碍 今天是天睿持续第230天坚持每日一篇文章 我在6月底就有一个小计划. 就是在七八两个月份,每周至少坚持一次线上分享. 最终我选择了坚 ... 萌茶茶| 今晚做了一场《非暴力沟通》的线上分享 2020年第14篇文 今晚在新建的帝临美好分享群做了<非暴力力沟通>读书分享. 为什么要组织一场这样的分享,起因是过年期间,家人之间发生了一点矛盾. 在这次矛盾上,我将自己抽离出来,去感受 ... 萌茶茶| 遇见你,治愈你——开启《亲密关系》线上分享 2020年第15篇文 相信爱可以战胜一切 2020的情人节是个极特殊的情人节,面对肆虐的疫情,许多的情侣都在抗疫的前线拼搏着,他们的爱情在平凡中温暖人间,他们牺牲了自己与恋人的相聚时光,给更多的病患家 ... 2021线上共读书单 时间,从这小小的沙漏里漏出去了 转眼,2020年即将结束 在一场举国大疫里 我们开始或重新思考活着的意义 价值观由此改变 让思考与学习继续 <培养高情商的孩子> 作者:[美] 约翰·戈特 ... 【短讯】索尼将关闭部分传统游戏机PSN商店丨《赛博朋克2077》1.2版本更新丨东京电玩展2021线上举行 文丨陆叁伍 审核丨流年如墨 排版丨Arc翼执泠 01 索尼将关闭部分传统游戏机PSN商店 3月30日,据日媒报道,PS3.PSP.PS Vita的PSN商店将于今夏关闭. 在时间表上,PS3和PSP的 ...