喜讯 | 香港中文大学（深圳）与纯白矩阵Metaverse联合实验室在CCF-A类会议ACM Multimedia发表元宇宙论文

1. 会议简介

据ACM Multimedia 2021技术委员会消息，由香港中文大学（深圳）、深圳市人工智能与机器人研究院蔡玮教授团队和南京纯白矩阵科技有限公司吴啸合作的元宇宙论文“Metaverse for Social Good : A University Campus Prototype”被ACM Multimedia 2021 收录。

ACM Multimedia是国际多媒体领域顶级会议，也是中国计算机学会推荐的A类国际学术会议。据悉，收录该论文的Brave New Ideas (BNI) Track倾向于颠覆式的创新科研成果，通常是比主会论文更加精选的赛道，今年的论文接受率为12%。同时，这也是计算机顶级会议收录的第一篇区块链驱动的元宇宙论文。

2. 论文介绍

 CUHK(SZ) Metaverse校园总览

Metaverse for Social Good: A University Campus Prototype

本工作由香港中文大学（深圳）、深圳市人工智能与机器人研究院蔡玮教授团队和南京纯白矩阵科技有限公司吴啸合作完成。其中，蔡玮教授团队包括段海涵（理工学院2020级计算机与信息工程博士生）、李嘉业（理工学院2020级计算机与信息工程博士生）、樊四正（理工学院2019级计算机与信息工程博士生）、以及林仲豪（理工学院2021级计算机与信息工程硕士生），分别为论文前四位署名作者，南京纯白矩阵科技有限公司吴啸为论文第五作者，蔡玮教授为论文的通信作者。该论文里的系统由香港中文大学（深圳）理工学院十位计算机工程专业学生共同开发完成。

Metaverse，即“元宇宙”，是90年代Neal Stephenson的小说《雪崩》中所提到的概念。其中，“meta”意味着超越，“verse”则是宇宙“universe”的后缀。此概念表示下一代互联网，即人们可以在三维虚拟世界中扮演自己的虚拟角色（avatar）并与该世界中的人或物进行交互。雪崩的第一个版本于1992年出版，距今已过去30年，而随着电影《头号玩家》的热映，Metaverse再一次进入了大众的视野。电影中描绘了一个叫做绿洲（Oasis）的虚拟世界，人们可以自由地接入绿洲，扮演自己订制的角色，并在基本的规则之下做任何自己想做的事情。而电影中出现了一系列在现实世界中正在走向成熟的技术，如虚拟现实技术（VR）、传感技术、触觉反馈技术、物理建模技术等，所以让大众看到了实现Metaverse的可能性。不同于上述多媒体技术的逐渐发展，区块链相关的技术则在近年来呈现了爆炸式的增长。

由于比特币（目前世界上最著名的加密货币）的成功，基于分布式记账本的区块链应用开始得到广泛关注。而Vitalik Buterin则构建了去中心化平台以太坊，该平台能够通过智能合约自动与透明地执行应用程序，因此孕育了诸多去中心化应用程序（DApps），包括交易、能源、健康、身份认证、保险和多媒体等领域。因此，Metaverse作为一个基于多用户的在线交互式多媒体社区能够从区块链技术的进步中汲取能力，从而构建一个更加公平、自由和可持续的社会生态。

CUHK(SZ) Metaverse基于位置信息的聊天室

近年来，随着相关技术的发展，Metaverse在世界范围内引起了极大的关注。人们期待中的Metaverse应该是一个非常真实的社会，拥有更直接的交互体验，而种族、性别甚至身体残疾等概念在Metaverse中将被淡化，因此有利于社会的发展。然而，目前Metaverse的发展仍处于初级阶段，仍然具备很大的发展空间。由于看到了Metaverse的巨大潜力，工业界已经开始了提前布局和投资，但学术界相对缺乏对于Metaverse的研究和对Metaverse发展的科学指导。

因此，本文从宏观角度提出了Metaverse的三层体系结构，包括基础层、交互层和生态层，并针对每层提出了一些开放性研究问题，供后续研究者参考。之后，本文重点介绍了现有Metaverse应用中有益于社会的代表性应用，建立了详细的Metaverse发展历史，即时间线，并列表总结了代表性的Metaverse应用的特征。

最后，本文还介绍了课题组开发的Metaverse系统CUHK(SZ) Metaverse，该系统构建了香港中文大学（深圳）的虚拟原型，旨在为我们的校园学生提供一个互动的Metaverse。该系统是一个混合系统，学生在真实世界中的行为可以相应地影响虚拟世界，反之亦然。在未来，我们将不断改进此原型系统，并继续进行Metaverse相关的研究。实际上，不仅限于本文提出的问题，在Metaverse中仍然还有许多课题亟待研究。因此，本文的核心目的是吸引更多的研究者关注Metaverse的相关问题，从而共同创造一个更美好的社会。

滑动查看更多图片

3. 学生分享

向上滑动阅览

19级计算机工程专业任臻

在CUHK(SZ) Metaverse项目前期，我和组里别的同学一样，负责了校园模型的搭建。学校地形错综复杂，地势高低变化多，层级多，在一开始给我们带来了不小的挑战。在经过大量的实地考察、照片比对以及同学们的推断（脑补）后，我们最终以low-poly风格呈现了一个虚拟校园。

除却校园模型的搭建，我主要负责的是该项目的后端和网络服务。具体可分为云端数据库服务以及玩家在场景中运动、外观和场景的同步。该项目作为一个多人在线平台，后端和网络服务与大部分项目功能都息息相关，因此这一工作考验了我和其他团队成员的协作配合。了解其他同学所负责功能的实现方法并写出简单易用的接口、讨论更加合理高效的解决方法、配合团队成员进行简单的测试，这些经历很好的锻炼了我的协作能力，也是对我大二期间所学的课程知识很好的实践考验，同时又推动着我不断学习新的知识来满足项目的需求。

作为一个喜欢游戏的人，在见识过许多优秀游戏作品，体验过各种精妙的设计后，我在进行开发时也经常体会到力不从心，并感叹于游戏开发庞大且复杂的知识体系。这次项目是我对游戏开发的初窥门径，很高兴在过程中能与教授讨论游戏更多的可能性，通过所学去尝试体现元宇宙这一概念，也希望在未来我们能涌现出更多精彩的想法，进一步地丰富CUHK(SZ) Metaverse。

19级计算机工程专业陈泓昊

在这个项目中，我主要参与校园建模、搭建聊天系统、宠物系统及实现游戏内编辑器几个部分的工作。在项目过程中，令我印象最深的有个三方面：学习适应、技术探索和沟通协调。

首先，快速学习各种开发工具、适应某些自己不熟悉的领域是参与Metaverse项目的第一步。在校园建模时，作为一名没有美术功底的理科生，短期内入门3D建模无疑是对我的一大挑战。而3D建模并非我要涉足的唯一新领域，随着项目的推进，更多新事物需要我去学习和适应。

此外，“技术探索”也是这个项目中绕不开的话题。以我负责的编辑器部分为例，为了让玩家尽可能地发挥创造力，编辑器需要允许玩家在游戏中自由地搭建各种3D物品。然而，这样的需求在游戏开发里并不常规，我们使用的游戏引擎无法提供“捷径”。我和组员们尝试了多种方案，不断推翻排除不合适的策略，调整底层结构，才最终找到了一个可行且高效的实现方式。

最后，除了与技术文档和Stack Overflow相伴，“沟通协调”也是重要的一环。只有将自己负责的模块与其他成员的成果合理组合，才能使自己的工作真正贡献于整个项目。而单单编辑器模块就需要与后端数据库、商店、家园系统等多个模块交互配合。反复与其他成员沟通、调整接口所花费的精力丝毫不低于突破各类技术难题。

19级计算机工程专业梁雨阳

我在CUHK(SZ) Metaverse项目组中承担了部分建模工作以及Metaverse中换装系统的开发。建模工作对于我是个蛮大的挑战，因为之前缺乏相关经验，我从建模软件入门开始摸索，到一点点搭出校园内的建筑。建模过程虽磕磕绊绊，完工时仍开心自得。换装系统是为了实现玩家在Metaverse中虚拟形象的个性化而打造的，这一部分工作也是一段很酷的开发经历。曾经在游戏中体验过的简单功能，自己亲手实现时又变得复杂。

对于我而言这一开发过程同时也是一个的学习的过程，在开发的过程中不断的遇到问题并且解决问题，学习新的知识，积累经验。我同样体会到团队合作也是开发过程中重要的一环，项目组中大家虽然各有分工，但每个部分仍环环相扣，不断的交流与磨合不可缺少，在这些过程中我对项目开发也有了更立体、深入的认识。

19级计算机工程专业姚南君

对我来说，能参加这个项目是一件非常值得庆祝的事情，为此我购买了一杯售价高于三十人民币的新式茶饮略表激动。

这是一个非常精彩且前沿的课题。它充满古早科幻意味的同时，在当下以充满未来感的姿态走入人们的视野，又在宏观与微观的方面和生活息息相关。而CUHK(SZ) Metaverse系统就用一种简约的方式，对此做出了一种小范围的模拟。而我非常荣幸地，作为开发者之一，与其他几位优秀且有趣的同学一同构建了这一系统。除了耗时漫长、充满艰辛的且全员参与的校园建筑外墙装潢及绿化地形搭建之外，我在组内的主要工作是游戏系统的架构与功能设计，还有一部分的界面设计。这是一件充满挑战性的工作。因为游戏系统的搭建是一个从0到1，再到10、100、1000的过程。要实现什么，能实现什么，什么有意义，什么好玩，什么有趣……提案不断被提出、修正、讨论、否定，最初玩法的确立就耗费了制作组大量的时间和精力。

结束了吗？这才刚刚开始。如果把系统开发比作一栋楼房的建设，确定玩法只是打下了地基，科研需求则是承重柱，还有许许多多或大或小的功能和设计尚且只是图纸上的一个粗线条的轮廓，需要填充大量的细节，考虑可行性和趣味性，讨论成本和工期的优先级。而大小功能之间，又有着各种串联和层级。这一点在做界面设计的时候显得格外明显。每在主界面放下一个按键，就会引出一个新的界面，而新界面上又有许多的细节，而每个细节都有多则百字的说明。在这个仿佛花式套娃的过程中，又随时都有可能发现新的空白有待填充，或者发现设计的矛盾和漏洞，所谓眼前一黑当头一棒迎面一拳大致如是。

正如前文所说，这是一个充满挑战性的工作，但同时，我的伙伴有趣且优秀。你永远可以相信他们的认真负责和独一无二的头脑。他们会努力实现需求，斟酌现状对意外作出反应，甚至在已有的需求上提出崭新的可能。和这样的人一起工作是一件愉快的事情。虽然策划可能增加需求、更改需求，但你永远可以相信他们。而且，在并不轻松的工作过程中，会伴有一种“可能会有一些意料之外的获得”的期待。例如在前期的手工建模过程就地取材的工作中，在从未踏足过的小山坡上，凉爽的晚风吹拂中记录一个建筑不为人所见的背面；坐在空巴空巴上一趟趟穿梭于上下园之间，绘制记录建筑在明暗面交界处的颜色；夜晚行走在校园的某条道路上，一时兴起间对两旁的路灯计数，或是在计数时为图书馆前粼粼水波而屏息。

而在此之后，在完成了所有模型的上色和组装，在场景经过了渲染后，在灯火明灭昼夜交替之中，会有一种仿佛第一次用一行或上千行代码跑出了Hello World的感触。类似的，除了直观的建模和一些文案之外，还有看不到的运行逻辑和功能设计。我期待着游戏系统上线，然后从某个视角去看这个“有一部分是由自己建构起来的”世界。这种感觉不同于在开发中常见的柳暗花明劫后余生，或是心性智力的快速成长，这更像是一种充满造物感和幻想色彩的浪漫。而我非常期待这种浪漫。这种对于个体创造和探索的惊喜感也延续到了游戏中。说到这个，除了埋藏在各个角落的彩蛋之外，不得不提我们在游戏里设计了一个编辑器的功能。虽然创造只是这个玩法中的一部分，但其提供了用户DIY上色的功能，富有个人色彩的体现和独一无二的创造性。希望上线之后玩家可以体验一下，我认为这会是一个充满趣味性的过程。在游戏中以及游戏外，还有类似的注重个体的设计，希望各位能到游戏中具体体会。

当然，在可以愉快单机甚至愉快后台的同时，系统也提供了与其他个体在各种层面进行即时或延迟交互的选择。而人际交往在延续了日常生活的关系之外，还建构了更多场景下与更多人交互的可能。我们期待各种类型的个体，都能获得属于自己的快乐。也由衷期待独一无二的你，在CUHK(SZ) Metaverse系统中，为这个世界增添独一无二的精彩。

19级计算机工程专业胡艺严

作为Metaverse项目组中的一员，我参与了虚拟校园建模、公告牌社交、角色编辑器这三项工作。我们Metaverse项目希望为学生提供一个虚拟空间，类似于一款名为“第二人生”的游戏，学生可以在其中开启他们的“第二校园生活”体验。这一“第二校园生活”将会丰富学生的生活。我们预想在Metaverse中：虚拟校园提供“第二校园生活”的舞台，多样的社交途径扩展学生的交际圈，自由创作的编辑器促进校内创意的碰撞。我有幸参与了校园模型、社交、编辑器三个部分的工作，并着力于为同学们打造这一“第二校园”的Metaverse空间。实现“第二校园”的目标并不容易，而我们实验室的成员们共同努力，并一步步地向目标前进。

19级计算机工程专业赵益凡

我有幸能和很多位大佬一起负责游戏的编辑器的部分。让Roblox等Metaverse在所有游戏中出众的就是他们的编辑器，玩家不需要任何游戏开发的知识就可以在Metaverse中自由创作。在CUHK(SZ) Metaverse的编辑器中，玩家可以通过塔方块这种简单的方式，来构建自己想要在游戏内创造的东西，然后编辑器的算法会通过这些方块建成与游戏相同画风的模型。编辑器是一个十分复杂的工程，我只负责了其中视角控制、存档等功能。虽然都是基础的功能，但也让我这个rookie开发者在和同学们的合作过程中学到了很多。

我是在这个暑假开始时刚刚加入的CUHK(SZ) Metaverse团队，这么快就能上手项目并做出一点点的贡献，离不开的是教授的支持与同学的帮助，尤其感谢与我同组的同学们。希望大家能在Metaverse中玩得开心，也期待能和这群优秀的同学们一起在未来做出更棒的东西！

19级计算机工程专业陈秋泓

CUHK(SZ) Metaverse创造了一个模拟日常社交的虚拟空间，但它的最初的目的是用来给实验室的成员们练手的。在我们拿到这个任务时，我们完全无法想象我们能够走到哪一步，能呈现出怎样的效果。我们从无到有去学习3D建模、后端服务器、基于unity3D的游戏设计，并最终创造出了这样一个成果，这本身就是一件值得骄傲的事。

呈现出来的结果或许简单，但一路上的坎坷只有负责实现的人才懂。我记得在建模思廷书院时，用手机拍摄外墙细节时被致以奇怪的目光；渲染模型时为了调节光照却呈现出阴间滤镜；调试代码时发现面对8个脚本十几个物体时直接自闭，但最终又莫名其妙解决后的无奈。尽管过程费时费力，但就是看着这些简单却又稳定、流畅的结果，每个开发者都会感受到由衷的欢喜。

技术上的困难可以靠努力补足，如何让这个团队高效运作则需要沟通和交流。微信群里的提问和回答、周二下午的新图二楼研讨室、github上井然有序的提交，都早已成为了我们的心照不宣的习惯。我们交流自己的想法，汇报自己的进度，发起投票选择方案，回想起来，这些就是我大二一年里最充实最欢乐的时光。

19级计算机工程专业陈彤

很开心能作为一员加入metaverse项目组，前期我也参与了建模，建模大体完成之后合作完成后台挂机部分包括区域的聊天室、个人信息、行踪报告和一些代币和盲盒发放。建模是一直很想学的事情，如果没有这样的任务，可能会一直拖延到很后面才会学习。看着照片建模完成的成就感可能是我建模的动力吧，不过要记得保存。感觉身边的同学都非常得厉害，组会的时候都会“蹭蹭蹭”拿出很好的方案和结果，和数据库的同学合作也开心，挂机部分能和数据库很好地联系上。比较头疼的是锁屏运行的问题，尝试了各种从unity回调，现在在安卓重新写了，希望能赶上游戏发布的时候。感悟感觉更像是一切完成之后我们的回顾，所以现在的我真的想不出感悟，或许对于我们，一切才刚刚开始。

20级计算机工程专业林泽昕

作为与各位用户直接接触的部分，从初代马里奥的跳跃到如今各3A大作动辄上百种动作的组合，角色控制的舒适与否直接地影响着整个世界最终的展现效果。试想一下，假如马里奥的速度稍微快一些或者跳的高一些的结果，会对整体的体验造成多大的影响？在开发过程中，本组主要负责了人物动画、人物移动、与场景交互、相机移动这几个模块。其中对相机的控制最为重要，也是技术难点的主要集中之处。如何跟随角色移动？被障碍物遮挡时应该如何处理？转动视角的速度与灵敏度应该快些还是慢些？都是在反复调节后才找到的最优搭配。在这个过程中，有许多经验性的知识很难总结，只能一点点地试，但是看到最终效果的不断增强，顿时觉得苦尽甘来。希望我们精心打磨的角色会带给大家最具沉浸感的体验，也希望各位能通过自己的角色深度走进这个美丽的世界。

20级计算机工程专业徐翔宇

工作：与林泽昕一起负责角色控制组，通过编写控制人物行动的脚本形成一个方便玩家上手操控的角色控制器。我负责使编辑器运行流畅，使玩家达到最佳的操控体验，同时还负责制作地图中的传送系统。

感悟：实验室的工作之旅才刚刚开始，我还有很多需要学习的。希望大家可以多来玩我们的Metaverse！

4. 教授点评

PROFILE

蔡玮

理工学院助理教授

校长青年学者

我和团队里的大部分同学是从大一暑期的CE夏令营就开始接触，看着他们从一张白纸慢慢绘上了属于自己的色彩。从一个开发小白，互相帮助互相进步，完成了自己的第一个独立游戏作品，再参与到我们的项目之中。立项之初，CUHK(SZ) Metaverse 只是一个粗糙的原型概念，在同学们思想的碰撞下，不断被打磨被完善，成为了一个我们共同奋斗的目标。

从最开始的校园建模、玩法设计到后来的工程实现，相信同学们都在开发的过程中学习到了不少知识。需求提出后业务实现的速度和难度、团队协作的能力都在肉眼可见地提升，遇到问题的思考维度也较先前有所不同。在我们的团队中，每次新决策的制定都需要经过一系列流程，先收集市面上现有的方案，再以presentation（演讲）的形式将不同方案的优劣对比展示给团队伙伴，最后投票得出结果。在这样的流程中，同学们增强了对行业内的产品的了解，“讲故事”的能力也提到了提升，我很乐意看到同学们不仅仅成为一名合格的工程师，同时也朝着一个合格的研究人员的方向发展。对于大一大二的本科生，想要较好地完成如此复杂的项目是一项巨大的挑战，希望他们能继续努力，携手完善这个他们共同构建的“Metaverse”。

更多理工精彩