目录
合作方的实验数据目前存储在阿里云OSS上,对方每次数据更新都需要我们重新获取。起初数据量比较小办公电脑通过OSS浏览器就可以下载,这次传输的数据由于超过50G因此选择通过服务器进行拉取。合作方只给了配置信息没有给详细路径只能自己先用OSS浏览器确认下文件路径然后在服务器上通过OSS命令行客户端获取数据。
OSS浏览器
github地址:https://github.com/aliyun/oss-browser
Supported platform | Download link |
---|---|
Window x32 | Window x32 |
Window x64 | Window x64 |
MAC | MAC |
Linux x64 | Linux x64 |
本次下载的是最新版本的1.9.5版本,下载到本地后解压运行oss-browserer二进制文件:
点击登入可以看到.odps目录,再进入一层即可看到目标目录:
可以确定此次我们下载的文件夹路径为:oss://partner-client-tmp-data/external_table_to_oss_dip_sol_poc_embed_company/.odps/20200903061331806gk0m2811
OSS命令行客户端
服务器在IDC机房位于主干网中因此下载数据还是非常快的,移步官网下载命令行客户端:
- Linux x86 32bit
- Linux x86 64bit
- Windows x86 32bit
- Windows x86 64bit
- mac x86 32bit
- mac x86 64bit
- ARM 32bit
- ARM 64bit
服务器版本为CentOS7 64,下载相应版本:
wget http://gosspublic.alicdn.com/ossutil/1.6.18/ossutil64
修改文件执行权限:
chmod 755 ossutil64
使用交互式配置生成配置文件:
./ossutil64 config 请输入配置文件名,文件名可以带路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径): 未输入配置文件路径,将使用默认配置文件:/home/user/.ossutilconfig。 对于下述配置,回车将跳过相关配置项的设置,配置项的具体含义,请使用"help config"命令查看。 请输入语言(CH/EN,默认为:CH,该配置项将在此次config命令成功结束后生效):CH 请输入endpoint:http://oss-cn-shenzhen.aliyuncs.com 请输入accessKeyID:yourAccessKeyID 请输入accessKeySecret:yourAccessKeySecret 请输入stsToken: (可选)
对于endpoint的选择可以参考:访问域名和数据中心
OSS命令行客户端使用
配置完毕后可以看下指定目录下数据是否存在:
列目录
./ossutil64 config 请输入配置文件名,文件名可以带路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径): 未输入配置文件路径,将使用默认配置文件:/home/user/.ossutilconfig。 对于下述配置,回车将跳过相关配置项的设置,配置项的具体含义,请使用"help config"命令查看。 请输入语言(CH/EN,默认为:CH,该配置项将在此次config命令成功结束后生效):CH 请输入endpoint:http://oss-cn-shenzhen.aliyuncs.com 请输入accessKeyID:yourAccessKeyID 请输入accessKeySecret:yourAccessKeySecret 请输入stsToken: (可选)
下载文件
./ossutil64 cp -r oss://partner-client-tmp-data/external_table_to_data_company/.odps/directory/ local_directory Succeed: Total num: 62, size: 41,463,407,245. OK num: 62(download 62 objects). average speed 217539000(byte/s) 190.602476(s) elapsed
更多命令行参数可以参考:
https://help.aliyun.com/document_detail/120069.html?spm=a2c4g.11186623.3.4.53dc34afKWsGfu
转载请注明:雪后西塘 » Aliyun OSS命令行客户端下载文件