智能6G：网络的边缘部署和轻量化*

智能6G：网络的边缘部署和轻量化*一文创作于：2023-04-12 12:00:57，全文字数：17038。

智能6G：网络的边缘部署和轻量化*

��VRAR）、智慧医疗、公共安全、智慧城市等服务场景。车联网结合MEC可以在车辆行驶过程中，通过分析环境信息、同网络内其他车辆交互信息，为驾驶员提供合理建议，排除隐患并规避交通拥堵的风险；智慧医疗需要实时处理大量数据，应用MEC 可以为远程医疗提供更有力的技术支持；智能家居系统可以利用大量物联网设备进行实时数据监测，结合MEC 对家居设备的使用状态进行调度，进而提高当代人们的家居安全性、便利性以及舒适性[10]。

MEC 在边缘计算的基础上进一步细化，将MEC 与人工智能、传感探测等技术相融合,不断深入研究、适应新场景、提升用户体验，进而扩展6G 业务的适用范围，为智能入户提供一个更光明的前景。

2 基于用户终端的网络模型轻量化

上文探讨了6G 智能网络的边缘部署，但边缘节点只是用户终端和云服务器的中间环节，对于一些小数据量的分析任务，仍需终端设备自行处理。对于传统的神经网络模型，过去的学者们更注重于提升模型的识别精度和复杂环境下的适应能力，使得模型参数量和复杂度不断提高，致使能耗成本激增。近几年，得益于AI 技术的飞速发展，各行业的视线逐渐转向人工智能在实际生活中的应用。由于移动端、嵌入式设备等平台存储资源少、处理器性能低、能耗受限，当前大部分高精度模型无法部署在用户终端且难以实时运行。这要求传统的深度神经网络模型在保证性能的同时减少参数量和复杂度，模型轻量化也因此成为一个研究热点[11]。

2.1 知识蒸馏（KD,Knowlegde Distillation）

知识蒸馏是一种新兴的模型压缩方法，其主要思想是让规模小、结构简单的学生模型通过学习在保证性能的前提下，获取结构复杂的教师模型的知识。该方法可以看作是迁移学习的一种，其关键问题是如何将教师模型的知识迁移到学生模型，并在迁移过程中保证模型的性能不会降低甚至有所提升，这需要学者们加深对迁移过程的研究。

知识蒸馏的框架主要包含三部分，其结构如图4 所示。该框架中，首先从教师模型输出的结果中蒸馏出“知识”，再经过进一步的转换交付给轻量级的学生模型，在该过程中要保证性能波动较小。在该过程中最重要的部分是“知识”的获取。一方面，这个“知识”可以解释为教师模型的输出数据所包含的某些相近特性，且这些特性可以用于其它模型的训练，部分文献称其为“暗知识”[12]；另一方面，可将其理解为教师模型生成的一切可被其它模型利用的特征、参数等数据，“蒸馏”的过程就是发现并放大这些数据的相似性，并用于其它模型的训练[13]。

图4 知识蒸馏框架

近几年，研究人员已进行大量实验，从表2 的数据中，可以看出蒸馏后的模型体量大幅度降低，并在保证精确性的同时提高模型效率。

表2 知识蒸馏性能表现

此外，很多主流技术的瓶颈问题，都可以通过知识蒸馏技术来解决，这些主流技术可参考如下示例：

（1）生成对抗网络（GANs,Generative Adversarial Networks）往往计算复杂、存储资源需求高，难以直接部署在移动设备上，结合知识蒸馏技术可以对生成器[14]、判别器[15]或同时对生成器判别器[16]进行简化。目前在压缩上，虽然GANs 结合知识蒸馏已获取很多优异成绩，但仍存有一些问题（如不易训练、不可解释等）需要研究人员进行更深入的研究。

（2）强化学习（RL,Reinforcement Learning），在很多领域中都存在深度强化学习模型的应用[17]，如机器人控制[18]、完全信息博弈[19]和非完全信息博弈[20]等。但是该模型需要与外界进行大量交互来更新网络参数，造成巨大的训练开销，结合知识蒸馏辅助训练过程可以提升训练效果并实现模型的轻量化。

（3）联邦学习（FL,Federated Learning）可以在训练的过程中最大程度保护数据隐私，这种方法将传统机构的数据边界打破，在现实中具有非常广泛的应用前景。联邦学习还支持本地数据训练，并将训练后的数据加密传输到服务器，但过大的数据量往往会占用大量带宽，产生高昂的通信成本。将知识蒸馏部署在联邦学习的各个环节，可以减少分布式联邦学习所占带宽。

从上述各个例子中可以看出，知识蒸馏可以在保证模型性能的前提下降低体量，实现复杂模型的小型化，进而部署到资源有限的边缘设备上[21]，使智能入户成为现实。

2.2 神经网络剪枝

近年来，神经网络剪枝作为一种有效的模型压缩方法为人们熟知。虽然多数的大型神经网络学习能力出众，但通过分析实验过程中的数据可以发现，模型中存在部分结构无法发挥应有作用，因此神经网络剪枝的想法油然而生：在不影响网络性能的情况下去除多余的模型结构，从而降低模型体量[22]。具体做法如下：对网络中的节点进行分析与评估，去除评估结果不理想的节点，进而实现模型轻量化（剪枝效果参考表3 数据），将中大型深度神经网络部署在边缘节点以及边缘设备上。

表3 SPF方法网络剪枝性能表现

神经网络剪枝主要分为两种方式，分别为结构化剪枝和非结构化剪枝，其中非结构化剪枝主要通过删减权重参数达成目的，而结构化剪枝则包含其它技术，如卷积核剪枝、通道剪枝等。

非结构化剪枝往往需要额外信息，在保持模型性能的同时提高稀疏性。剔除的参数可通过如下方法确定：最优脑损伤方法（OBD,Optimal Brain Damage）使用二阶导数建立误差函数的局部模型，选择性地删除网络权重[23]；最优脑外科医生方法（OBS,Optimal Brain Surgeon）使用误差函数的所有二阶导数信息来执行修剪[24]；以最小贡献方差为修剪指标，通过偏置参数，比较偏置前后输出数据的差异度来去除贡献方差最小的连接参数[25]。

非结构化剪枝仅剔除部分参数，在降低计算量、参数量等方面表现较为平庸。结构化剪枝则对卷积核、通道进行优化，可以在整体结构上对神经网络的性能进行提升。通过删除一些对网络整体贡献度小的卷积核可有效地加速网络推理时间，如通过比对每一层卷积核对输出结果的贡献度，选出冗余的卷积核进行修剪[26]；从降低计算量角度进行考量，将网络输出精度较小的过滤器删除，最大程度减少矩阵乘法运算，如基于过滤器剪枝的压缩技术[27]；通过对具有层相关阈值的通道进行修剪，将重要的通道和可忽略通道进行最优分离，如最优阈值法（OT,Optimal Thresholding）[28]。

上述的各种方法都可以在保持性能的前提下尽可能地缩小模型体量，降低运算量，为移动便携式设备搭载更多的人工智能应用提供可能。

3 边缘节点和模型轻量化在6G生态中的结合

随着AI 技术的不断发展，人们对智能生活的要求也会逐渐提高，AI 的设计路线也会向追求智能、灵活、安全、易部署的道路前进，在投入使用的过程中，智能设备需要面对四个角色：（1）设备制造商；（2）云厂商；（3）通信厂商；（4）算法供应商，构建完整的6G 智能生态需要

提醒您：因为《智能6G：网络的边缘部署和轻量化*》一文较长还有下一页，点击下面数字可以进行阅读！

《智能6G：网络的边缘部署和轻量化*》在线阅读地址：智能6G：网络的边缘部署和轻量化*