vmdk文件越来越大,没得治了?
-
大家都在分享,我也提供自己的解决方案。
以前有一个玩具笔记本,装 arch + emacs, 编写算例文件,以及一些处理脚本。 用 GitHub 来管理算例文件,注意写好忽略文件就好。
传送文件以前用 transfer.sh 特别方便,现在不行了。用 ftp 之类工具传送网格文件。在集群上用 GitHub 来同步算例并计算。集群上的硬盘资源还是相对丰富一些。但是有时候,也会出现一些问题。我最困难的时候,面对 30TB 的数据文件(因为自己的无知),管理员善意的提醒,面对兼顾数据分析和备份的需求,我发现 GoogleDrive 是一个不错的替代。 对于教育用户,Google 宣传无限容量!
然而,真正我在使用的时候,发现并不是这样, Google 对容量没有做限制,但是对 API 请求要求做了手脚,最终每天我只能以 700+ GB 数据量上传。
经过了这些,现在我做计算的时候,特别注意数据的压缩,再也不想被友好的管理员善意提醒了。
-
发完帖子,我发现 transfer.sh 复活了!!! 太棒了!
Don’t Panic! transfer.sh will live on!
After running and supporting transfer.sh for 4 years on my own, I’m happy to announce we are partnering with Storj Labs to keep the project going. From day one, the transfer.sh code has been open source. Storj has a commitment to open source sustainability and reached out to help us find a way to keep our project alive. Stay tuned for updates on the partnership with Storj, but for now, please continue to enjoy the service!
Blue skies, Remco Verhoef