北京大学施柏鑫：从审稿人视角，谈谈怎么写一篇CVPR论文
近期，北京大学计算机系研究员施柏鑫在2021年智源大会上做了主题为《科研技能提升讲座：审稿视角下的计算机视觉论文——从投稿到接收》的报告，清华大学教授、主持人兰艳艳表示：
施柏鑫老师博士毕业于日本东京大学，主要从事计算机视觉、计算摄像学方面的研究工作。
施老师本次的报告从审稿的角度出发，讲解一篇CVPR乃至所有计算机视觉的论文是如何被接收的，对整个写稿流程解释的非常详细。
为什么给大家做这么详细的介绍？主要有以下三个目的：
第一，如果你是一个学生作者，当你对整个流程非常清楚的时候，对你自己写论文、投论文以及了解整个文章的处理流程，进行学术交流是非常有帮助的。
第二，很多同学都会有被拒稿的经历。刚才施老师讲到整个审稿流程非常复杂，很多人经历了努力的过程，我觉得你应该仔细去看待comments，大多数对你来说还是“富有营养”的。被拒稿的时候你可能会在网上吐槽“审稿人没有看懂我的文章”。但是很多时候你要思考，是不是在论文写作的过程中有些东西没有解释清楚，这种反思对你做科研会有帮助。
第三，你自己做审稿人的时候，清楚流程让你可以做到认真负责，这对于我们整个学术圈会是一种非常良性的推动。
以下是报告的主要内容，AI科技评论进行了不改变原意的整理。
1 DDL之前
去年3月份，我通过智源平台做了一个线上的分享，从作者的角度讲计算机视觉的论文从哪里来到哪里去，包括论文写作本身需要注意的一些技巧。今年换一个视角，从审稿人角度讲。
研究者对顶级会议的Deadline都很敏感，比如CVPR基本都是11月第二周或者第三周截止。
但是，在这之前我们有很多的准备工作要做，不管文章是几个月赶出来，还是准备大半年、一年，在Deadline这一天你都要把文章投出去。最近基本用的时间是太平洋时间的23点59分，这个Deadline还是挺友好的，一般是北京时间第二天下午4点钟左右。
但是2009年我投稿的时候的时间换成北京时间是早上8点，基本上前一天晚上是睡不了觉的，赶Deadline很辛苦，无论是文章的写作方面还是实验方面，最后一天很可能慌乱地“一地鸡毛”。
因为我是做基于物理的视觉，这个方向的特点是要对真实场景在可控的环境下拍照，不是说你拿手机拍一张照片那么简单，可能需要用一些专业的设备，或者自己去搭一些符合条件的场景。
当年我的第一篇CVPR，大概提前一个月就开始去做真实数据的拍摄，由于经验缺乏，直到最后才找到一个合适的环境调出来合适的结果，把文章投出去。
2010年时候CVPR论文的长度是加上reference 8页，比现在稍微短一点。
我们那时候写完论文提交后就基本结束投稿流程，其中少量的论文会有附加材料（补充证明等）。现在基本上所有的文章，尤其是深度学习方向，我们有太多的数据要测，有太多的结果要展示，就只能放到附加材料中。所以过了提交论文的DDL后，再往后延七天的时间用于准备附加材料，这才是真正的DDL。然后，也许你就可以“躺平”庆祝了？
2 DDL之后：先分配审稿人
那么，文章投出去了，附加材料也交了之后，论文会继续经历哪些流程呢？
第一，了解职能分工。大会主席（General Chair）主要负责整个会议的总体组织；与作者最相关的工作，由程序主席（Program Chair, PC）负责，即决定文章的录取。文章投稿完成后，程序主席要找一些不同方向的领域主席（Area Chair，AC），把这些文章分给领域主席（AC），近些年每位领域主席大概有30篇左右的文章需要处理。程序主席不可以向会议投文章，因为在他的视角下会看到关于文章所有的信息（包括作者和审稿人），不符合双盲审稿原则。
附件材料提交DDL过后7到10天左右，领域主席要做什么事情呢？第一件事情是处理需要重新分配的文章，比如发现自己（仅通过文章内容）知道有些文章的作者跟自己有conflict，没有办法处理这篇文章。这样的情况不会太多。
第二，处理一些需要直接拒稿的文章（desk reject）。因为有些文章根本不用找审稿人：主要是没有匿名的文章，包括附加材料。有个真实的案例，当时有一篇论文投稿了以后，作者在收到了拒稿邮件，可能是因为队友的问题，在附加材料的视频中添加了作者信息导致的。
这里有一个微妙的环节，就是对篇幅的限制，近些年CVPR和ICCV都要求篇幅不超过8页，不包括参考文献，严格来讲违反上述规则也是desk reject。那多一行算不算，多了几个词行不行？其实AC在这个问题的处理上比较有人情味，超出太多是不行的，确实跟会议投稿规则有矛盾之处，完全有理由把这篇文章直接拒掉。但实际操作中会考虑作者到底是有意还是无意（最后慌乱中提交的论文）地超出篇幅限制，如果是不小心出现这个问题，其实还是可以容忍的。
另外最重要的一件事情就是suggest（不是assign）审稿人，至少在计算机视觉这几年的会议上是这样处理的。就是为什么领域主席需要本领域有经验的学者来担当，因为要根据他的经验从审稿人里面找10个左右合适的人选推荐到系统中，其中会参考TPMS score、Google scholar、DBLP等数据。TPMS（Toronto Paper Matching System）是现在处理计算机视觉会议论文中常用的系统，它背后设计的算法会根据你评审的文章和提交的文章，计算一个匹配分数作为参考。领域主席根据经验对这些数据做权重后推荐审稿人，这其中需要重点考虑的是领域相关度。
另外需要考虑的是Senior和Junior审稿人比例平衡的问题。因为近几年，很多的AI会议都面临投稿量激增的问题。可能十年前我们在投稿的时候，如果有1000多投稿就感觉数量庞大，现在1万多也不再新鲜。之前的顶级会议也基本上很少会找学生当审稿人，但是现在面临审稿人严重不足的问题，就需要很多学生审稿人，所以这个时候就要兼顾比例平衡。因为不同经验的审稿人看文章的角度是不一样的。
第三步，系统真正指定审稿人，如今的计算机视觉会议基本是用计算机算法来指定审稿人的。算法调整的参数我们不得而知。也会充分考虑不同经验审稿人的工作量，以2021年ICCV位列，全职的研究人员或者教师，的审稿上限是7篇paper，而学生是4篇。由于采用了领域主席推荐结合系统指定的方式分配论文，就近些年的计算机视觉会议而言，论文匹配是比较精准的，以小同行评审为主。
匹配审稿人的时候，除了我提到的参数，还有一个可选的bidding环节。Bidding也就是让审稿人对自己感兴趣的paper进行意向的表决，这个也会在系统指定论文的时候占有一定的比重。bidding环节审稿人能看到的只有论文题目和摘要。这也是摘要对于一篇论文最重要的作用。
在这个阶段，AC一般没有权利重新指定审稿人，以前面系统匹配的结果为准进入下面的审稿环节。如果有不合适的审稿人，需要在后面的阶段再进行处理。
3 开始审稿
接下来，审稿人拿到待评审的稿件后，可以有一些横向的对比。小同行评审下，可能审稿人手里拿到的几篇文章做的是非常相似（解决同一个问题）的工作。
在这种情况下，如何从作者的角度让文章迅速抓住审稿人的眼球？第一印象非常重要，我读一篇文章5分钟到10分钟后会对它有一个大概的判断，而往往写意见的时候基本上不会与之前的判断相差太多。
我个人认为，在看完introduction后，如果这篇文章给我的感觉像一个精彩的报告，而且我基本知道了作者提出并解决了什么问题，以及有怎样的结果，并且非常流畅，印象就会非常好。
反之，如果在introduction发现了好几个语法或者常识上的错误，或者整体图表精致程度、对于问题描述的准确程度等发现了明显的问题，那其实你就已经帮助审稿人节省了很多的时间——他很容易找到理由把这篇文章拒掉。
另外从技术的角度讲，如果这个文章让审稿人觉得一下就想透了作者要解决的问题，甚至知道别人做过，他一定不会给这个文章很高的分数。反过来，如果审稿人给一个文章最高的分数，有可能认为这项工作他自己也想做，但是他没有做出来，投稿人做的比他还好。
我们接下来从审稿人的角度出发，探讨他在审稿过程中会引发何种思考。首先，引用罗杰波教授去年7月一个非常精彩的talk中的观点“己所不欲，勿施于人“。如果你作为作者不希望看到的意见，也不要作为审稿人给别人提出。
我画了一个重点关键词——constructive，即建设性。比较粗浅的、专业性不是很强的审稿意见是，一上来就说这篇文章没有novelty。而不指明哪个部分没有创新性，或者哪个部分类似的工作已被人做过，现在提出的方法是在具体哪个已有的方法上做了一些简单的更改等等。这些都需要给出具体的分析或者证据。
另外还有一类常见问题。比如说实验，实验怎么做都有可能会有遗漏的，但是就简简单单评论一句实验不充分会有失公允。审稿人要告诉作者到底是哪一点不充分，让作者知道这篇文章没有赢得审稿人赞赏的原因是什么。所以说作为一个专业的审稿人，应该在给出任何一个评价的时候，都要做到有理有据。
4 催稿
late reviewer是一个常见的问题，一般来说会给审稿人一个月的时间去审稿。但是事实上，我记得我前几天打开ICCV的系统的时候，可能距离评审公布的DDL还有两三天，但当时很多文章的审稿率是0%。
这个时候领域主席会通过系统向审稿人发邮件，来催促审稿人。这时就突然发现审稿人都是ddl战士，在最后几天审稿完成率数据提升明显。所以留给审稿人的时间有限，他可能就用了最后几天的时间看完论文，写评审意见。因此，论文作者需要好好思考，如何能够写出快速让审稿人领会文章要点的、高品质的文章。
这里面有一个微妙的时间点，你作为作者在网站上看到的公布审稿意见的时间和你作为审稿人被通知提交审稿意见的时间会有几天间隔，这中间的几天用来做什么呢？就是留给AC来催促审稿人。
有一些审稿人晚两三天交，一般在容忍的范围内，可以继续等。但是总会有一些审稿人一直在玩消失，这不是一个好现象。审稿是一个volunteer的工作，也是有责任感的工作，既然接了这份工作，就要按照规则把这个工作做好。然而总有一些审稿人是联系不到的，这个时候AC就要找紧急审稿人救场。
一般每篇文章收到至少有三条合格的审稿意见即完成审稿。但是大家最后拿到审稿意见后，可能会看到四条、五条，甚至更多审稿人的意见，那可能就是你的论文遇到了不负责任的审稿人，联系不上原审稿人，AC就临时找了其他审稿人，然而原审稿人过了DDL又交了review。
除了催审稿人之外，AC还要检查审稿人交的稿件是否符合审稿的要求。，例如过于简短的审稿意见，有可能会被领域主席提醒希望修改。
5 评审公布
终于在把review收齐后，就到了第五步，这时从投稿算起来已经两三个月过去了。这也是一个比较激动人心的时刻，作者会收到第一轮的分数和文章评价。
这里面有一个很关键的环节，就是利用7天的时间，以第一轮反馈作为参考，对审稿人提出的意见做一个申辩（rebuttal）。
申辩原则上是让作者向审稿人解释其对你文章的误解，并不是要求大家做新的实验。为什么在rebuttal阶段不让做新的实验？主要是七天时间，赶出来的实验结果不太可靠。
所以，如果是一个比较专业的审稿人，他给出的建议里面不会要求在此期间做大量实验，而主要是告诉作者哪些方面需要理清。我个人认为rebuttal至关重要，不要放弃这个机会，除非你一开始投的时候对这篇文章就是抽奖的态度，只是去试一试。如果你是认真地在做这个工作，希望大家把这个环节坚持下来。
但是如果你运气不好，遇到了奇葩的审稿人，怎么办？吵一架？怼回去？这都不是正确的做法。这时作者和审稿人的原则是一致的，即responsible和respectful，大家都是讨论学术问题，要以专业的态度进行申辩，端正好态度，平和好心态，做到有理有据。
计算机视觉论文多用一个5级的评价机制，一般1分代表最好，5分代表最差（这并不是审稿人打出的分数，是因为系统里有1-5分五个选项）。大家习惯把三个数报出来，通过分数判断文章的评价。这个最初的分数只是参考，后面AC和PC决定录用的时候，主要依据rebuttal后改过的分数。
我自己也有很多“起死回生”的经历，可能你开始看到分数后感觉不可能中，最终分数却出乎意料。比如后来审稿人承认你的解释合理，就把分数改高。也有可能审稿人拒不承认你的工作的创新性，但是如果AC认为这项工作对于该领域发展有所帮助，也可以决定录取。
作者在rebuttal阶段写完解释提交后，接下来对于审稿人还有很重要的讨论环节。对于审稿人来说一定要open-minded，即要读其他的review，做积极的讨论。作为一个计算机视觉顶级会议的审稿人，这点非常重要的，因为AC的判断主要依据rebuttal后的分数。但是其实并不是所有人都能做到，有些审稿人审完就消失了，后来也不参与讨论，导致大家觉得rebuttal没起作用。
这里面非常关键的两个点，仍然是responsible和respectful，大家都是在一个平等的心态下讨论问题。为什么说rebuttal之后很多事情都可能发生？因为审稿人的讨论对作者不可见，某篇文章背后可能经历了激烈的讨论才决定了最终的分数。这个过程对于审稿人是匿名的，但是AC可以看见到底是谁在发言。
其实就我个人在做领域主席的时候，会很积极推动审稿人之间的讨论，尤其针对意见存在分歧的文章。这个时候有些审稿人比较认真，声音比较大，或者他对这个领域特别熟悉，或者有一些观点他非常在理，这些都会对最终评审结果产生较大的影响。
审稿人经过最终的分数确定后，大概在rebuttal提交后一个月左右的时间内，领域主席通过开会最终决定这篇文章到底是录取还是拒掉。
此时，领域主席最重要的作用是告诉程序委员会到底哪篇录用哪篇拒绝，同时让作者明白这篇文章为什么被录用或被拒绝。CVPR之前的传统是线下的领域主席会议，但是去年由于疫情的影响选择线上方式，开了7天（每天1-2个小时），会议期间会不断重复分析这些文章，讨论对争议如何处理。
这个过程是什么样的？在拿到了最终的分数以后，在开会之前，一般来说会对分数进行排序。比如说比较低分的文章，大于444的分数文章先放在一起。然后把剩下分数特别高、评价一致正面的文章（比如222以下）也放在一起。这些文章一般来说没有太大的争议，AC看后也会觉得评价很客观，没有什么明显的瑕疵和问题，会提前写好推荐。
其实处于两端的文章都不多，绝大部分的文章都存在争议。比如有一些文章的分数是224，一开始收到这个分数作者可能还挺开心的。经过rebuttal的时候，这个分数就会变化。但是即使最终分数是两个偏向接收的，一个偏向拒绝，或者反过来，这篇文章都存在接收或者拒绝的可能。AC会根据每篇文章的分数与其他AC讨论进行具体分析。
包括向他自己搭档的secondary AC做汇报，询问这篇文章是否有问题。也就是说，每一篇都要拿出来讨论，到底这篇文章里面审稿人的negative意见更有道理，还是作者rebuttal说的更有道理，要进行反复论证。大家可能觉得AC的权力很大，但其实他的决定都得经过和其他AC商量后做出，不能一个人决定自己处理的每篇文章。
这里存在一些非常特殊的情况。推翻审稿人的一致性意见是要尽量避免的事情，一定要争得其他领域主席和程序委员会的同意，才能推翻。所以这就是为什么AC工作中存在Triplet的组合，即三个人两两组合，然后一个当Primary AC做主要负责人，另一个人做辅助。最后大家相互check，看这篇文章领域主席是否均衡考虑了所有的review，并且从里面适当选取形成最终的推荐意见（metareview）。最终录取和拒稿的决定肯定是两个人以上的建议，保证公平正确。
6 放榜
AC对决定录取的文章ID进行汇总后，所有AC上报给PC（也许形成一个txt文件）就是最终的录取结果。
在作为学生投稿的时候，我对这个txt还是非常“敏感“的。发榜时间有可能会提前一些于网站上公布的时间，可能因为那AC会议的效率比较高，大家已经结束讨论。有时候在正式公布之前，心血来潮刷一下官网，就真的有一个神奇的txt文件（也可能是网页的链接）贴出来了，总之都是一堆数字。我记得当时面对这些数字的时候，一般手是抖的，会战战兢兢地搜索，会反复确认是不是自己的paper。每次的“开奖”都记忆犹新。
以上就是我的分享，希望对大家有所帮助。上述分享借鉴了大量前辈的经验。个人见解不准确的地方，欢迎大家批评指正。