openfoam如何减小大规模并行计算输出文件占据的存储
-
30T只是两块硬盘的容量,用机械硬盘加缓存或者机械硬盘阵列的方案,成本都还可以接受;如果在远程服务器算的话,数据传输可能是个问题。CFD的最终产出无非是报告、论文、视频,都是小数据,openfoam输出的物理场数据并不需要长期保存。
另,数据规模越大越不建议压缩,paraview后处理可以自动解压,无需干预,但性能会大幅下降。 -
@heike256 感谢您的建议。我是在超算上并行计算,因此30T的存储确实有点难接受,毕竟课题组还要很多人也需要存储空间。 因为要捕捉到关键的非稳态的过程,所以保存的时刻较多。实际后处理的时候,我仅仅需要几个时刻的数据。并且由于我是做燃烧模拟,每个时刻的文件之所以那么大也是由于化学机理的组分很多。因此我的想法就是计算的时候先压缩,然后从超算上只传输我我想要的某几个时刻的某几个场,这样,后处理文件就小很多。您刚刚提到大的数据不建议压缩,不知道您是之前遇到过什么问题吗?
另外不知道您是否知道,为什么每个时刻的文件里面,每个组分Y都会有一个相应的Y_0 并且还会输出并且还会输出
ddt0(rho,Y)这些,其实我并不需要这些,但是我并不知道这些是如何产生的,以及如何可以不输出这些量。
-
A Swin-transformer-based model for efficient compression of turbulent flow data
Image and video compression of fluid flow data我其实想研究研究这个水几篇论文
2023年10月7日 03:35
11/11
2024年5月28日 03:10