报告题目：神经网络样本效率的乐观估计

报告时间：2024-11-05  15:30-16:30

报 告 人：张耀宇 副教授（上海交通大学）

报告地点：理学院东北楼四楼报告厅（404）

Abstract:估计神经网络的样本效率，即拟合目标函数所需的样本量，是深度学习理论中的一个重要问题。实验表明，传统的基于最差情况的样本量估计显著低估了神经网络的实际性能。为了克服传统估计的局限性，我们提出了一种乐观估计方法，用于定量估计最佳可能情况下的样本效率。我们的实验表明，样本效率的乐观估计能够定量地反映模型的实际性能。对于神经网络模型，我们的乐观估计表明，通过增加网络的宽度以提高参数量不会损害神经网络的样本效率。然而，通过增加（非必要的）连接来提高参数量则会显著损害样本效率。我们的分析为实践中普遍采用增加宽度、而较少增加连接的规模扩张策略提供了理论依据。