数十篇满分论文接纳率26.5％ICLR2020接纳成果下一年非洲见

机器之心报导

机器之心编辑部

阅历了一系列审稿风云，ICLR 2020 的论文接纳成果总算尘埃落定。今日，ICLR 2020 发布了论文接纳成果。从现在的状况去看，本年的满分论文最多或许到达 30 多篇，国内清华、上交、南大、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企都有或许呈现满分论文（有些评定定见还没给出）。此外，因为举行地国情特别（流行症、制止同性恋），大会官方还给出了一些特别的参会主张。

「史上第一次在非洲举行的 AI 顶会」ICLR 2020 将于下一年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行。本年的 ICLR 也不算惊涛骇浪，先是投稿数量爆破导致审稿担负急剧添加，成果被爆出一半审稿人底子没在相关范畴发过论文，言论风向一度演化为「机器学习同行评定崩塌了」。

之后，又有网友摘出某篇由满分『8-8-8』转为超低分『1-1』的论文，质疑 ICLR 评定成果的权威性。「顶会审稿水平究竟行不行」这个论题再一次闹得纷繁扬扬。

今日，ICLR 2020 的接纳成果总算放出，以下是官方核算的数据：

在终究提交的 2594 篇论文中，有 687 篇被接纳，接纳率为 26.5%；

和之前相同，一切被接纳的论文都将进行 poster 展现；

23% 的接纳论文将进行口头叙述陈述，其间108 篇论文为 spotlight，讲演时刻 4 分钟，48 篇论文将进行 10 分钟以上的 talk。

本年的论文审阅流程根本上与从前相同，有两个当地做了调整：

一是不允许在评定谈论期间进行揭露谈论，以保证作者和审稿人清楚地判别谈论的关键；二是空出了一周时刻来进行代替和紧迫检查。

除此之外，ICLR 2020 的改变更多地是体现在大会自身流程上。

为了让评定成果更明晰，本年份评分体系进行了简化，去掉了那些分配中性评分的选项，只保留了四个等级：reject、weak reject、weak accept 和 accept。

逐年上涨的 ICLR 投稿量：2018 年 900 多篇，2019 年 1500 篇，2020 则到达了 2600 多篇。

本年，大会回绝了一部分进行重复提交而违反规则的论文，但被回绝的论文少于 20 篇。

此外，本年的 ICLR 还有很多论文遭受了「撤回」的状况，原因绝大多数都是接近其他会议的截止日期或许是相堆叠，抑或是与其他会议的投稿规则不兼容（比方 ACL）。

网友吐槽：范畴主席的否决有时无法令人信服？

ICLR 2020 论文接纳成果一出，投稿者们几家欢欣几家忧。论文遭否决的人免不了心中不忿，所以又纷繁将锋芒指向了范畴主席（AC），吐槽他们否决自己的论文有时太「荒唐」了！

一位名为 bose_joey 的网友表明，关于自己提交的论文，三位审稿人均给出了 6-6-6 的高分，但范畴主席却做出了不适用自己论文的荒唐批判。更惋惜的是，在论文 rebuttal（评定申述）阶段，范畴主席并没有给出任何实质性定见，也没有给时机对误解做出解说。

无独有偶，另一位名为 obiwan5296 的网友表明晰自己也遇到了相同的状况。范畴主席否决了 ta 的 8-6-6 高分论文，但给出的批判定见却彻底偏离了论文自身。ta 称这是自己初次论文投稿，真是太令人绝望了。

此外，还有网友对 ICLR 审稿的流程表明绝望。范畴主席没有鼓舞论文谈论，审稿人通常会忽视 rebuttal，更糟糕的是，范畴主席乃至懒得回复直接发给他们的谈论定见。ta 以为这是彻底的不作为。

总归，范畴主席的介入或许是一道「防地」：当分数太高而不合理的时分，及时踩下刹车。但不可否认的是，范畴主席也或许会呈现「误伤」，但经过更多审稿人参加，或许会对投稿质量的把控起到愈加活跃的效果。

多篇「满分论文」

在 ICLR 2020 上呈现了多达 34 篇满分论文（8 分），其间不乏来自清华大学、上海交通大学、南京大学、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企的论文作者。

此外，来自以色列特拉维夫大学的一篇论文（下文中的论文 25）乃至拿到了 4 个 8 分。

ICLR 2020 官方评定页面：https://openreview.net/group?id=ICLR.cc/2020/Conference

ICLR 论文接纳状况核算（非官方）：https://chillee.github.io/OpenReviewExplorer/

以下是满分论文的核算成果列表（到发稿前的核算成果）：

论文 1：An Algorithm-Agnostic NAS Benchmark

作者：Xuanyi Dong、Yi Yang

安排：悉尼科技大学

关键词：神经架构查找、AutoML、基准测验

链接：https://openreview.net/forum?id=HJxyZkBKDr

论文 2：On the "steerability" of generative adversarial networks

作者：Ali Jahanian、Lucy Chai、Phillip Isola

安排：麻省理工学院

关键词：生成对立网络、隐空间插值、数据集成见、模型泛化

链接：https://openreview.net/forum?id=HylsTT4FvB

论文 3：A Generalized Training Approach for Multiagent Learning

作者：Paul Muller、Shayegan Omidshafiei、Mark Rowland 等

安排：谷歌

关键词：多智能体学习、博弈论、练习、游戏

链接：https://openreview.net/forum?id=Bkl5kxrKDr¬eId=XEgYShJzuK

论文 4：Mirror-Generative Neural Machine Translation

作者：Zaixiang Zheng、Hao Zhou、Shujian Huang 等

安排：南京大学、字节跳动

关键词：神经机器翻译、生成网络

链接：https://openreview.net/forum?id=HkxQRTNYPH¬eId=HmFOnYDNdx

论文 5：Restricting the Flow: Information Bottlenecks for Attribution

作者：Karl Schulz、Leon Sixt、Federico Tombari、Tim Landgraf

安排：慕尼黑工业大学等

关键词：信息瓶颈、深度神经网络

链接：https://openreview.net/forum?id=S1xWh1rYwB¬eId=dsIQuI8DCU

论文 6：Understanding and Robustifying Differentiable Architecture Search

作者：Arber Zela、Thomas Elsken、Tonmoy Saikia 等

安排：弗莱堡大学

关键词：神经架构查找、AutoML、深度学习、核算机视觉

链接：https://openreview.net/forum?id=H1gDNyrKDS¬eId=9abhtGXJdR

论文 7：Sparse Coding with Gated Learned ISTA

作者：Kailun Wu、Yiwen Guo、Ziang Li、Changshui Zhang

安排：清华大学、英特尔

关键词：稀少编码、深度学习、收敛性剖析

链接：https://openreview.net/forum?id=BygPO2VKPH

论文 8：The Logical Expressiveness of Graph Neural Networks

作者：Pablo Barceló、Egor V. Kostylev、Mikael Monet 等

安排：智利大学等

关键词：图神经网络、可表达性、一阶逻辑

链接：https://openreview.net/forum?id=r1lZ7AEKvB

论文 9：Implementation Matters in Deep RL: A Case Study on PPO and TRPO

作者：Logan Engstrom、Andrew Ilyas、Shibani Santurkar 等

安排：麻省理工学院

关键词：深度战略梯度办法、深度强化学习

链接：https://openreview.net/forum?id=r1etN1rtPB¬eId=LqWqdhJGoy

论文 10：Learning to Balance: Bayesian meta-Learning for Imbalanced and Out-of-distribution Tasks

作者：Donghyun Na、Hae Beom Lee、Hayeon Lee 等

安排：韩国科学技术院、浦项科技大学

关键词：元学习、少样本学习、贝叶斯神经网络

链接：https://openreview.net/forum?id=rkeZIJBYvr¬eId=Vgm-PPd3W

论文 11：Recurrent Hierarchical Topic-Guided Neural Language Models

作者：Dandan Guo、Bo Chen、Ruiying Lu、Mingyuan Zhou

安排：西安电子科技大学、得克萨斯大学奥斯汀分校

关键词：贝叶斯深度学习、变分推理

链接：https://openreview.net/forum?id=Byl1W1rtvH

论文 12：Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem

作者：Vaggos Chatziafratis、Sai Ganesh Nagarajan、Ioannis Panageas、Xiao Wang

安排：斯坦福大学、新加坡科技规划大学

关键词：ReLU 网络、混沌理论、动态体系

链接：https://openreview.net/forum?id=BJe55gBtvH

论文 13：GenDICE: Generalized Offline Estimation of Stationary Values

作者：Ruiyi Zhang、Bo Dai、Lihong Li、Dale Schuurmans

安排：杜克大学、谷歌

关键词：强化学习、平稳散布校对估量、Off-policy Policy evaluation

链接：https://openreview.net/forum?id=HkxlcnVFwB¬eId=wPTYJz9HH0

论文 14：FreeLB: Enhanced Adversarial Training for Language Understanding

作者：Chen Zhu、Yu Cheng、Zhe Gan、Siqi Sun 等

安排：马里兰大学帕克分校、微软

关键词：对立性练习

链接：https://openreview.net/forum?id=BygzbyHFvB

论文 15：Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

作者：Jingzhao Zhang、Tianxing He、Suvrit Sra、Ali Jadbabaie

安排：麻省理工学院

关键词：自适应办法、最优化、深度学习

链接：https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX

论文 16：Principled Weight Initialization for Hypernetworks

作者：Oscar Chang、Lampros Flokas、Hod Lipson

安排：哥伦比亚大学

关键词：超级网络；初始化；最优化；元学习

链接：https://openreview.net/forum?id=H1lma24tPB¬eId=SttNyKHM11

论文 17：Enhancing Adversarial Defense by k-Winners-Take-All

作者：Chang Xiao、Peilin Zhong、Changxi Zheng

安排：哥伦比亚大学

关键词：对立性防护、激活函数

链接：https://openreview.net/forum?id=Skgvy64tvr

论文 18：Dynamics-Aware Unsupervised Skill Discovery

作者：Archit Sharma、Shixiang Gu、Sergey Levine 等

安排：谷歌

关键词：强化学习、无监督学习、深度学习

链接：https://openreview.net/forum?id=HJgLZR4KvH

论文 19：Differentiable Reasoning over a Virtual Knowledge base

作者：Bhuwan Dhingra、Manzil Zaheer、Vidhisha Balachandran 等

安排：卡耐基梅隆大学、谷歌

关键词：QA、深度学习、知识库、信息提取

链接：https://openreview.net/forum?id=SJxstlHFPH¬eId=Ilh9vDgaeg

论文 20：Data-dependent Gaussian Prior Objective for Language Generation

作者：Zuchao Li、Rui Wang、Kehai Chen 等

安排：上海交通大学、哈工大、NICT

关键词：言语生成

链接：https://openreview.net/forum?id=S1efxTVYDr¬eId=QtxdEfLPMv

论文 21：Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning

作者：Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu

安排：纽约大学、加州大学伯克利分校、谷歌以色列

关键词：字典学习、稀少表明、非凸优化

链接：https://openreview.net/forum?id=rygixkHKDH

论文 22：Mathematical Reasoning in Latent Space

作者：Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal

安排：加州大学伯克利分校、谷歌

关键词：机器学习、方式推理

链接：https://openreview.net/forum?id=Ske31kBtPr¬eId=_xQ9Hvor9M

论文 23：Contrastive Learning of Structured World Models

作者：Thomas Kipf, Elise van der Pol, Max Welling

安排：阿姆斯特丹大学

关键词：状况表征学习、图神经网络、根据模型的强化学习、联系学习、方针检测

链接：https://openreview.net/forum?id=H1gax6VtDB¬eId=06V352WC2Y

论文 24：Rotation-invariant clustering of functional cell types in primary visual cortex

作者：Ivan Ustyuzhaninov, Santiago A. Cadena 等

安排：图宾根大学等

关键词：核算神经科学、神经体系辨认、功用细胞类型、深度学习、旋转等变性

链接：https://openreview.net/forum?id=rklr9kHFDB

论文 25：Optimal Strategies Against Generative Attacks

作者：Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson

安排：以色列特拉维夫大学等

链接：https://openreview.net/forum?id=BkgzMCVtPB

论文 26：CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning

作者：Rohit Girdhar, Deva Ramanan

安排：卡内基梅隆大学

关键词：视频了解基准；时序推理

链接：https://openreview.net/forum?id=HJgzt2VKPB¬eId=dUTT3jReHa

论文 27：Causal Discovery with Reinforcement Learning

作者：Shengyu Zhu, Ignavier Ng, Zhitang Chen

安排：华为诺亚方舟实验室、多伦多大学等

关键词：因果发现、结构学习、强化学习、有向无环图

链接：https://openreview.net/forum?id=S1g2skStPB

论文 28：Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning

作者：Hengyuan Hu, Jakob N Foerster

安排：卡内基梅隆大学、牛津大学

关键词：多智能体强化学习、心智理论

链接：https://openreview.net/forum?id=B1xm3RVtwB

论文 29：Smooth markets: A basic mechanism for organizing gradient-based learners

作者：David Balduzzi, Wojciech M. Czarnecki, Edward Hughes, Joel Leibo, Ian Gemp, Tom Anthony, Georgios Piliouras, Thore Graepel

安排：Deepmind 等

关键词：博弈论、优化、梯度下降、对立学习

链接：https://openreview.net/forum?id=B1xMEerYvB

论文 30：meta-Learning with Warped Gradient Descent

作者：Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell

安排：DeepMind、伦敦大学学院、谷歌等

关键词：元学习、搬迁学习

链接：https://openreview.net/forum?id=rkeiQlBFPB¬eId=zwVZBPeDT

论文 31：Differentiation of Blackbox Combinatorial Solvers

作者：Marin Vlastelica Pogan i , Anselm Paulus, Vit Musil, Georg Martius, Michal Rolinek

安排：马普所、图宾根大学等

关键词：组合算法、深度学习、表征学习、优化

链接：https://openreview.net/forum?id=BkevoJSYPB

论文 32：A Theory of Usable Information under Computational Constraints

作者：Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon

安排：北京大学、斯坦福大学等

链接：https://openreview.net/forum?id=r1eBeyHFDH

论文 33：How much Position Information Do Convolutional Neural Networks Encode?

作者：Md Amirul Islam, Sen Jia, Neil D. B. Bruce

安排：瑞尔森大学

关键词：网络了解、肯定方位信息

链接：https://openreview.net/forum?id=rJeB36NKvB

论文 34：BackPACK: Packing more into Backprop

作者：Felix Dangel, Frederik Kunstner, Philipp Hennig

安排：图宾根大学、不列颠哥伦比亚大学

关键词：主动微分结构；向后传达算法；BackPACK

链接：https://openreview.net/forum?id=BJlrF24twB¬eId=EHmfrSLVu

别的，谷歌关于预练习模型 BERT重要改善的研讨 ALBERT（论文：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations）也成为了 ICLR 2020 大会的 Spotlight 论文。

参会需求留意的几点

有必要留意一下的是，下一年 4 月的大会将在非洲东北部的埃塞俄比亚举行，埃塞俄比亚平均海拔较高，有「非洲屋脊」之称。这也是第一场在非洲大陆上举行的 AI 顶会。

鉴于大部分参会者或许对埃塞俄比亚的风土人情都不太熟悉，大会主办方也给出了一些参会小帖士，其间有一些比较异乎寻常：

首要提到了大会活动流程，官方表明将在正式举行之前拿出一天的时刻安排 workshop，主办方泄漏会有 8 位「意想不到」的讲者莅临现场。此外，为了让被接纳的论文有更多的曝光量，也让参会者之间的学术交流愈加充沛，这一次大会根本每 4 篇论文中就有一篇有时机作为 spotlight，或许做更长时刻的 talk。

打疫苗，然后再买份稳妥？

尽管说签证问题有效地处理了，但在去到埃塞俄比亚之前，你或许需求一支疫苗，详细取决于你在埃塞俄比亚的活动范围。假如仅仅单纯去首都亚的斯亚贝巴的话，应该没有感染疟疾和寨卡病毒的危险，这两种疾病绝大多数都是在海拔 2000 米以下的区域经过蚊虫吸食来传达。

详细的状况，各个国家的参会者能够参阅世界卫生安排发布的疾病咨询与健康攻略，十分全面。嗯，但心里仍是有些瑟瑟发抖。

传送门：https:///@iclr_conf/ourhatata-the-reviewing-process-and-research-shaping-iclr-in-2020-ea9e53eb4c46