讲座预告 | AI 论文背后的故事 - 系列讲座第三期
AI 论文背后的故事
AI Paper Story Sharing (PaSS)
2022 系列讲座第三期
01 讲座信息
讲座主题
大卷积核重参数化模型研究
纪念孙剑老师特别策划 - ResNet/ShuffleNet等背后的故事
讲座时间
2022年8月5日（周五）14:00 - 15:30
讲者
张祥雨，旷视研究院基础模型组负责人
组织机构
香港中文大学（深圳）理工学院，GAP-Lab，未来智联网络研究院
主持
GAP-Lab成员邱陵腾，蔡昇材，李艺豪
语言
中文
线上直播链接(B站直播）
https://live.bilibili.com/25109461
02 主题摘要
自从2020年底ViT模型提出以来，Vision Transformers俨然成为了视觉基础模型的新风尚，霸榜各项视觉基础任务。然而本项研究则反其道而行之，首次阐明了ViT涨点的真正原因在于大感受野，并针对性地提出了大卷积核CNN设计，通过原创的重参数化方法让CNN也能达到Transformer的性能。更进一步，团队对大卷积核CNN的速度进行了深度优化，相对pytorch自带的算子提速10倍以上，真正做到了精度比肩Transformer，速度看齐CNN。算法提出后在学术界广受好评，助力NTIRE 2021/2022多个项目夺冠，并在指纹、超画质等业务上得到了应用。
03 讲者介绍
张祥雨
旷视研究院基础模型组负责人
现任旷视研究院基础模型组负责人。2017年博士毕业于西安交通大学，期间参加微软亚洲研究院联合培养博士生项目，师从孙剑博士和何恺明博士。研究方向包括深度卷积网络设计，深度模型的裁剪与加速等。曾在CVPR/ ICCV/ ECCV/ TPAMI等顶级会议期刊上发表论文五十余篇，获CVPR 2016最佳论文奖，并多次获得顶级视觉竞赛如ImageNet/ COCO 冠军。代表作包括业界广泛使用的神经网络架构ResNets/ ShuffleNets/ RepVGG系列，神经网络架构搜索算法SPOS，模型压缩裁剪算法CP/ MetaPruning等。Google Scholar引用数170,000+。入选福布斯中国U30和AI 2000计算机视觉全球最具影响力学者榜单、智源青年科学家。
04 About GAP-Lab
The GAP lab is based on School of Science and Engineering (SSE) and Future Network of Intelligence Institute (FNii) at The Chinese University of Hong Kong, Shenzhen (CUHK-SZ), led by Dr. Xiaoguang Han. GAP means Generation and Analysis of Pixels, Points and Polygons, we are aiming to identify and bridge the research gaps, in the area of generalizing and analyzing images, videos and 3D content (e.g., points and meshes). The research field covers computer vision, computer graphics and machine learning. We are also doing applied research on intelligent medical image analysis and image-based weather forecasting.
For more details，please refer to https://gaplab.cuhk.edu.cn/
关注GAP-Lab公众号
点击以下链接，进入理工时刻：
喜讯 | 理工学院韩晓光教授和吴辰晔教授入选2022 CCF-腾讯犀牛鸟基金名单
喜讯 | 2021年度吴文俊人工智能科学技术奖获奖名单公示！理工学院韩晓光教授、俞江帆教授分别获奖
通信工程硕士 | 香港中文大学（深圳）2022年研究生自主招生简章