最新消息:天气越来越冷,记得加一件厚衣裳

Aliyun OSS命令行客户端下载文件

工具技巧 w3sun 1686浏览 0评论

合作方的实验数据目前存储在阿里云OSS上,对方每次数据更新都需要我们重新获取。起初数据量比较小办公电脑通过OSS浏览器就可以下载,这次传输的数据由于超过50G因此选择通过服务器进行拉取。合作方只给了配置信息没有给详细路径只能自己先用OSS浏览器确认下文件路径然后在服务器上通过OSS命令行客户端获取数据。

OSS浏览器

github地址:https://github.com/aliyun/oss-browser

Supported platform Download link
Window x32 Window x32
Window x64 Window x64
MAC MAC
Linux x64 Linux x64

本次下载的是最新版本的1.9.5版本,下载到本地后解压运行oss-browserer二进制文件:

点击登入可以看到.odps目录,再进入一层即可看到目标目录:

可以确定此次我们下载的文件夹路径为:oss://partner-client-tmp-data/external_table_to_oss_dip_sol_poc_embed_company/.odps/20200903061331806gk0m2811

OSS命令行客户端

服务器在IDC机房位于主干网中因此下载数据还是非常快的,移步官网下载命令行客户端:

服务器版本为CentOS7 64,下载相应版本:

wget http://gosspublic.alicdn.com/ossutil/1.6.18/ossutil64

修改文件执行权限:

chmod 755 ossutil64

使用交互式配置生成配置文件:

./ossutil64 config
请输入配置文件名,文件名可以带路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径): 
未输入配置文件路径,将使用默认配置文件:/home/user/.ossutilconfig。 
对于下述配置,回车将跳过相关配置项的设置,配置项的具体含义,请使用"help config"命令查看。
请输入语言(CH/EN,默认为:CH,该配置项将在此次config命令成功结束后生效):CH 
请输入endpoint:http://oss-cn-shenzhen.aliyuncs.com 
请输入accessKeyID:yourAccessKeyID 
请输入accessKeySecret:yourAccessKeySecret
请输入stsToken: (可选)

对于endpoint的选择可以参考:访问域名和数据中心

OSS命令行客户端使用

配置完毕后可以看下指定目录下数据是否存在:

列目录

./ossutil64 config
请输入配置文件名,文件名可以带路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径): 
未输入配置文件路径,将使用默认配置文件:/home/user/.ossutilconfig。 
对于下述配置,回车将跳过相关配置项的设置,配置项的具体含义,请使用"help config"命令查看。
请输入语言(CH/EN,默认为:CH,该配置项将在此次config命令成功结束后生效):CH 
请输入endpoint:http://oss-cn-shenzhen.aliyuncs.com 
请输入accessKeyID:yourAccessKeyID 
请输入accessKeySecret:yourAccessKeySecret
请输入stsToken: (可选)

下载文件

./ossutil64 cp -r oss://partner-client-tmp-data/external_table_to_data_company/.odps/directory/ local_directory
Succeed: Total num: 62, size: 41,463,407,245. OK num: 62(download 62 objects).
average speed 217539000(byte/s)
190.602476(s) elapsed

更多命令行参数可以参考:

https://help.aliyun.com/document_detail/120069.html?spm=a2c4g.11186623.3.4.53dc34afKWsGfu

转载请注明:雪后西塘 » Aliyun OSS命令行客户端下载文件

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址