实时神经网络代理模拟技术的补充

[黑糖燕麦]

https://mp.weixin.qq.com/s/jlYdEVXHnZcPP5Y2GNAjlA
城市工厂风速CFD数据集中使用的方法算是过拟合了这个场景，并且ML也有这方面的研究，Spectrum-Informed Multistage Neural Networks: Multiscale Function Approximators of Machine Precision（ICML2024）论文就是用多阶段神经网络（SI-MSNN）将这个过拟合的能力强化到在二维均匀各向同性耗散湍流问题上的误差缩小至机器精度（-16次）。

[李东岳]

如何判断出来时过拟合？

[黑糖燕麦]

过拟合没有特别明确的划分，一般指训练误差远小于测试误差。您的-8次是训练误差，如果在其他条件下模型误差为-6次甚至更高，说明模型过拟合。一般来说泛化性能良好的模型训练和测试误差不会差很多。

[李东岳]

一些比较简单的问题，比如$y=x$这种，取10个数据，损失也会特别小

[黑糖燕麦]

可能因为您用的激活函数是ReLU，正好可以很好地拟合甚至泛化y=x，但如果学习一个高次多项式，损失就不一定很小了。