Skip to content
  • 最新
  • 版块
  • 东岳流体
  • 随机看[请狂点我]
皮肤
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
CFD中文网

CFD中文网

  1. CFD中文网
  2. OpenFOAM
  3. 关于集群计算积累buff/cache缓存过高的处理办法

关于集群计算积累buff/cache缓存过高的处理办法

已定时 已固定 已锁定 已移动 OpenFOAM
8 帖子 3 发布者 2.2k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 郑 离线
    郑 离线
    郑学习
    写于 最后由 编辑
    #1

    我们组的硬件是个9节点的机架式服务器,平常算fluent、OpenFOAM都有。一般在一天的计算后,每个节点都会积攒不定大小的buff/cache缓存,如图
    58198e4b-f5e8-4570-80d5-43495959838a-1727168532622.png

    本着能跑就别动它的原则,一开始没有管,继续用,后来很多用fluent的人反映算到一半算例炸了,就开始怀疑是缓存太高,留给计算用的不够。于是我自己在每个节点上,写了个定时任务,每天凌晨自动清理缓存,如图
    0ff7d66e-ace1-4683-b033-55cb8cba854b-image.png
    buffccache_clean.sh文件:
    363de15c-2f86-4bd3-9ca0-b81e337cd401-image.png

    不知道这种处理办法是否合理,还请各位交流发表下意见。目前隔三差五还是有同学反应算例内存不够,我怀疑还是一天内就把缓存积累满了。

    1 条回复 最后回复
  • bestucanB 离线
    bestucanB 离线
    bestucan 版主 大神
    写于 最后由 编辑
    #2

    性能上的设置,只会影响速度,不会影响“炸不炸”。buff/cache 是用来加速的,所以,即使没有,顶多慢,不会炸。

    应该是内存炸了,swap太太小了,个人计算机都不会这么小。可以把swap理解为虚拟内存。物理内存不够用,就会暂时使用虚拟内存。虽然虚拟内存慢,总不至于完全无法工作。要是物理内存用完了,虚拟内存也用完了,就会炸。

    有一次OpenFOAM的大赛版本升级,导致编译的时候需要十几G的内存,很多人都炸了还找不到原因。


    一般 swap 设置为真实内存的一倍就差不多了。古早时候个人计算机内存小,2G、4G的时候,虚拟内存都设置为三倍左右。现在大了,一倍就差不多了。你这个服务器内存也够大了,哪怕0.5倍呢;再大了即使不炸,也会很慢;结果4G。。。。

    按说那么大内存,能控制好计算任务范围,不用虚拟内存也行。但是你们那么多人用。调大了,即使不炸也会很慢。swap就是抗一下内存占用尖峰,保证不炸,不能依靠。


    另外,很多人用fluent不知道怎么杀干净,留一堆僵尸进程,也会很影响性能。如果有很多cleanup开头的fluent脚本,就是了。正常关闭不会留下这些文件。异常退出就是要用这些文件清理僵尸进程

    滚来滚去……~(~o ̄▽ ̄)~o 滚来滚去都不能让大家看出来我不是老师么 O_o

    异步沟通方式(《posting style》from wiki)(下载后打开):
    https://www.jianguoyun.com/p/Dc52X2sQsLv2BRiqnKYD
    提问的智慧(github在gitee的镜像):
    https://gitee.com/bestucan/How-To-Ask-Questions-The-Smart-Way

    郑 1 条回复 最后回复
  • 郑 离线
    郑 离线
    郑学习
    在 中回复了 bestucan 最后由 编辑
    #3

    @bestucan 谢谢大佬,所以您的建议是,我们把虚拟内存swap拉高到256,然后buff/cache没有必要清除或者长周期清除一次,是这样嘛?

    bestucanB C 2 条回复 最后回复
  • bestucanB 离线
    bestucanB 离线
    bestucan 版主 大神
    在 中回复了 郑学习 最后由 编辑
    #4

    @郑学习 是的

    滚来滚去……~(~o ̄▽ ̄)~o 滚来滚去都不能让大家看出来我不是老师么 O_o

    异步沟通方式(《posting style》from wiki)(下载后打开):
    https://www.jianguoyun.com/p/Dc52X2sQsLv2BRiqnKYD
    提问的智慧(github在gitee的镜像):
    https://gitee.com/bestucan/How-To-Ask-Questions-The-Smart-Way

    郑 1 条回复 最后回复
  • 郑 离线
    郑 离线
    郑学习
    在 中回复了 bestucan 最后由 编辑
    #5

    @bestucan 十分感谢!

    1 条回复 最后回复
  • C 离线
    C 离线
    coolhhh 神
    在 中回复了 郑学习 最后由 编辑
    #6

    @郑学习 现在我也遇到了buff/cache过大导致计算变慢问题。想问下现在把swap拉高到256,后面还会出现buff/cache过大问题吗?

    郑 1 条回复 最后回复
  • 郑 离线
    郑 离线
    郑学习
    在 中回复了 coolhhh 最后由 编辑
    #7

    @coolhhh 目前是没有出现过类似的报错,感觉应该是起效了。具体方法网上很多你搜一下

    C 1 条回复 最后回复
  • C 离线
    C 离线
    coolhhh 神
    在 中回复了 郑学习 最后由 编辑
    #8

    @郑学习 好的,感谢回复

    1 条回复 最后回复

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 最新
  • 版块
  • 东岳流体
  • 随机看[请狂点我]