分享

超高速 | 使用 MuseTransfer 进行文件传输

 生信药丸 2022-03-13

半年多以前,给大伙推荐了数次「奶牛快传」,当我发现他几乎能完美解决我遇到的数据传输问题时,我充值成为VIP。至今,「TBtools」相关数据文件传输和下载,全部在用奶牛。但近期不明原因,原有的数据传输方式似乎不再可行,为此需要替代方案。我暂时没相关需求,不过老友冯某遇上了,我给他推荐了 MuseTransfer。事实上,我确实尝试过,也找到某个或许可行方式,但我没时间测试。推荐给他原因简单:

    1.  很明显,我迟早会在遇到类似需求

    2.  让他先当小白鼠,看看到底行不行

结果出来,可以!

于是要来推文稿,将目前可行且有效的方式推荐给大伙。希望对各位的数据分析和项目合作工作有基本推进作用。- CJ-陈程杰

  1. 扯淡时间

  • 在追求高效的今天,会发现数据传输时常存在不高效的状态,如下图说明:

    • 你有A、B两台计算机,要实现大量数据传输,会发现A和B之间的传输很慢,或者根本ping不通,这时候数据传输变慢,slow 到 die !

    • 但是总有那么一群热心肠的人,他们不辞辛劳,架设起C到A的高速通道,C到B的高速通道,这样你能通过C高效传输数据,fast to high !

  • 比较流行的高速通道很多,有些收费,有些免费,高速的速度,稳定性都存在一定差别。

  • 今天要说的主角是 奶牛快传Cowtransfer,配角是奶牛的克隆版Musetransfer

  • 奶牛快传,支持网页上传数据,网址 https:///高速,免费,VIP具有额外大空间

    • 官方当前支持Windows下上传文件,不支持Linux命令行上传,好在有热心肠的基友Mikubill支持,大家可以从
      TBtools的Website Awesome进入基友Mikubill的GitHub项目下载奶牛命令行版

    • 然而,现在,当前!奶牛的命令版暂时使用不了了,奶牛获得2亿的融资,正在安全升级,这非常考验基友们的基友力 (快跑~)

  • 今天的配角是,奶牛的克隆版Musetransfer,网址 https:///

    • 基友编写的python脚本,详情见地址:museuploader.py

    • 高速、免费,支持最大单个10G文件传输,

    • 官方暂时不支持Linux命令行版本,好在咱基友多,个个都那么有才,基友Nomeqc

2. 运行脚本

  • 作者脚本可在Windows下运行,笔者做了一点点修改,后可用于 Linux运行

2.1 使用说明

  • 没啥好说明的,就一个参数-fp指定上传的文件即可

2.2 示例

  • 输出结果文件upload.info记录了成功上传文件的文件名、网页链接、直接下载链接

##单文件python museuploader_linux.py -fp A.fa > upload.info
##多个文件python museuploader_linux.py -fp A.fa B.fa > upload.info
#整个目录python museuploader_linux.py -fp ./tmp/* > upload.info

2.3 速度测试

  • ./tmp/文件夹下准备了,2个sra文件,共2.7G,

    • 所以速度为 2764M/1161s ~= 2.38 M/s,此次测试虽然算不上快,

    • 通过本地上传 (23.88+26.47)M/220s ~= 0.23 M/s, 远低于上述速度。

简单来说

    1. 在远程服务器用 MuseTransfer 上传数据

    2. 在本地通过 MuseTransfer 网页端,浏览器下载数据

    3. 本地再传输到本地服务器

PS:如果你服务器可以直接开浏览器,那就可以略过第 3 步

如需修改优化后的脚本,评论留言~

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多