深度神经网络为何学得如此参数，依然是个未解之谜。

• 2013年研究表明，训练好的模型中仅5%的权重能预测剩余95%的权重分布，暗示参数间高度冗余。

• 2019年成果显示，经过“剪枝”保留20%参数的模型，输出几乎无差异，挑战了参数规模与性能的直观关联。

• 最新研究通过有策略地剔除2/3训练数据，反而训练出更优质模型，揭示数据选择对训练效果的深远影响。

• 迄今为止，绝大多数有效技巧均源于偶然，缺乏系统理论指导，无法精准优化训练过程。

• 运行大型模型的能耗远超人脑，效率差距达百万倍，且尚无清晰路径缩小这一鸿沟。

• 在规模扩展遇瓶颈时，破解“模型为何学到该学内容”、理解参数冗余与数据效用，将是AI突破的关键。

深刻洞察AI本质，推动理论与实践的融合，方能迈向更高效、更智能的未来。🔍

详情🔗 x.com/burkov/status/1948817539288461366

相关论文🔗 arxiv.org/abs/2309.04564

人工智能 深度学习 神经网络 模型剪枝 AI理论 能效优化