如何高效的上传训练数据,下载训练结果

/data   用来中转数据,该目录容量巨大且数据不会丢失,但直接在它下面压缩或解压速度会非常慢。

下面的目录可用于解压和压缩,不会随着实例迁移,目录中的所有数据停机再启动后会丢失。如需保留数据,请把数据拷回/data即可。
/input  用来临时存放训练需要的输入数据。
常用的解压命令(从 /data 解压到 /input 准备训练):
从 /data 拷贝到 /input 或 /root 文件夹可以使用rsync,能断点续传和看见进度
GPU 类型中 网速Dxxx/Uxx 代表此机型的网络为 下载xxxMbps / 上传xxMbps
从 /data 往 /input或/root 文件夹拷数据使用的是下载带宽。

unzip /data/somefile.zip -d /input/dir_you_want
rsync -ah --progress /data/somefile.gz /input/ && gzip -d /input/somefile.gz
rsync -ah --progress /data/somefile.7z /input/ && 7z x /input/somefile.7z -o/input/
rsync -ah --progress /data/somefile.bz2 /input/ && bzip2 -d /input/somefile.bz2
mkdir -p /input/dir_you_want && rar x /data/somefile.rar /input/dir_you_want/
mkdir -p /input/dir_you_want && tar xvf /data/somefile.tar -C /input/dir_you_want/
mkdir -p /input/dir_you_want && tar zxvf /data/somefile.tar.gz -C /input/dir_you_want/
mkdir -p /input/dir_you_want && tar jxvf /data/somefile.tar.bz2 -C /input/dir_you_want/

如果不想下次使用时再次解压可以通过命令 cp /input/dir_you_want /data/ 将解压好的数据移动到 /data 下
这样 /data 下就会存一份解压后的数据,下次开机后可以直接读取 /data 下解压好的数据,不用再次解压(但从/data拷贝许多小文件速度会比单个压缩包慢一些)
注意:这样 /data 下存储的数据量会增大,收取的存储费用会有所增加(每GB数据每月存储费用0.5元)

技巧:遇到 tar.7z rar.7z rar.gz rar.bz2 这样扩展名的文件先通过 p7zip gzip bzip2 解压掉最后面的扩展名,
再通过 tar rar 解压出已经解压掉一层的 .tar .rar 文件
压缩命令(将训练结果压缩后存入 /data 目录,就可以在 我的数据 里下载了):
从 /input 或 /root 拷贝到 /data 文件夹 不要使用rsync ,使用rsync速度会非常的慢。
GPU 类型中 网速Dxxx/Uxx 代表此机型的网络为 下载xxxMbps / 上传xxMbps
从 /input或/root 往 /data 文件夹拷数据使用的是上传带宽。

将 /output/dir_you_want 目录压缩为 /input/file_you_want.zip 文件然后移动到 /data/ 目录下
zip -r /input/file_you_want.zip /output/dir_you_want && cp /input/file_you_want.zip /data/