科学网读研秘技十九:兼听则明的评审与回复
多数论文在提交期刊和会议后,会经历一轮同行评议 (peer-review)。有些会议会在评审完后,直接给出接收与否的结论,而更多的情况则会给一轮rebuttal(会议)或允许作者多次response(期刊)的机会。
那么,为什么要有同行评议呢?它有哪些利弊呢?如何回复呢?
为什么需要有同行评议呢?
首先,现今的研究方向已经非常细化。而科研人员在选择研究课题时,并不见得会始终只选择自己做得滚瓜烂熟的方向,总需要突破自己的舒适圈。在这种情况下,对新方向的认识存在片面性,甚至认识错误的概率就高得多。因此,为了更好地完善自己的研究成果,而不是为了论文而写论文,就更需要有熟悉这一方向的同行来帮助准确客观地评估论文的价值。所谓之,兼听则明,偏信则暗。
其次,和其他作者一样,导师也是人,不是神仙。是人就不可能不犯错,即使论文撰写时逻辑做得再完美,实验做得再完整,百密总有一疏。
第三,初出茅庐的学生,由于见不多识不广的原因,容易为自己的一些“新”创新激动 不已,甚至有可能会觉得是项惊天骇俗的成果。此时,光靠导师泼冷水已经浇不灭了。还有一种相对比较少的情况,即导师对学生成果的可信度缺乏足够把握时。关于这两种情况,都值得通过同行评议来给中肯的建议和获得更可靠的判断。
同行评议的弊端
但也需要注意的是,论文同行评议的的弊端也不是没有。
以人工智能领域的会议来说,近年来投稿量巨增,导致很难找评审。比如一个会议投稿5000篇,每篇文章需要3个评审,也就是15000次的审稿数量,假定每个评审能审6篇论文,那就需要2500个评审。要找到与论文档次和数量相当的、认真负责又刚好有时间空档来做这个义务审稿的评审,难度极其大。所以,今年人工智能顶会IJCAI通过SPC的快速拒稿机制(summary reject),先拒掉近40%的论文也不就奇怪了。即便如此,还剩下3000多篇要分配给匿名评审来审稿。
当论文投稿数量巨增时,评审的随机性、是否认真审稿、甚至“看不见”的小圈子都可能影响论文的接收。不仅如此,近年来过分关注论文指标引发的急功近利之心,也有可能导致对已发表论文的实质贡献大打折扣。
所以,为表明公正性,有些会议干脆公开评审的内容,如ICLR (International Conference on Learning Representation) 采用的是网上公开评审意见的方式。但是,仍然无法让所有人都满意,时不时也还是会有人置疑评审的公正性或判断的合理性。
期刊在选择评审这一块也存在一些不足。比如当主编分配给编委与其研究方向差距甚远的论文时,编委就有相当的困难找到合适的评审。有名气的一般没时间审,没名的又得担心其不懂套路,一通乱审,评审意见毫无意义。由于是义务审稿,还有些评审对审稿的邀请和截止时间熟视无睹,导致论文的审稿周期无形中被延长。
所以,在线发表论文的网站如arXiv、bioRxiv也就应运而生。但缺乏同行评议的工作,并不是所有人都认可这些成果的有效性。比如有些文章纯粹是为了占坑而抢先发arXiV,根本就没对论文实验的可信度作认真检查。这种情况下发表的论文, 如果未被引用或被比较,评审也不会太在意。毕竟其结果没有经过同行评议,无法验证真伪。
因此,总体来看,有同行评议的论文相对而言,更有含金量。那么,如何通过同行评议来提升论文的质量呢?另外,如何能够更好的回复评审提出的问题呢?所谓知已知彼,百战不殆。那么,我们先看看评审会怎么审稿呢?
实际上,在之前的几节里,我已经就论文可能存在的各种问题做了分析和说明。如果都能做到,留给评审的漏洞应该就很少。
评审的小李飞刀与温柔一刀
从评审角度来看,当他认为论文存在较大问题,往往会考虑以下理由。
1)缺乏近三年最新算法的实验比较。此问题,在国内的很多投稿文章中见得比较多。回复这一问题往往需要相当长的时间准备,因为要重做实验。如果是期刊,一般会是大修。会议,则有可能直接被拒了。