Aliyun OSS命令行客户端下载文件

2020年9月3日 0 条评论 1.19k 次阅读 0 人点赞

合作方的实验数据目前存储在阿里云OSS上，对方每次数据更新都需要我们重新获取。起初数据量比较小办公电脑通过OSS浏览器就可以下载，这次传输的数据由于超过50G因此选择通过服务器进行拉取。合作方只给了配置信息没有给详细路径只能自己先用OSS浏览器确认下文件路径然后在服务器上通过OSS命令行客户端获取数据。

OSS浏览器

github地址：https://github.com/aliyun/oss-browser

Supported platform Download link
Window x32 Window x32
Window x64 Window x64
MAC MAC
Linux x64 Linux x64

本次下载的是最新版本的1.9.5版本，下载到本地后解压运行oss-browserer二进制文件:

点击登入可以看到.odps目录，再进入一层即可看到目标目录：

可以确定此次我们下载的文件夹路径为：oss://partner-client-tmp-data/external_table_to_oss_dip_sol_poc_embed_company/.odps/20200903061331806gk0m2811

OSS命令行客户端

服务器在IDC机房位于主干网中因此下载数据还是非常快的，移步官网下载命令行客户端：

服务器版本为CentOS7 64，下载相应版本：

Shell
1
wget http://gosspublic.alicdn.com/ossutil/1.6.18/ossutil64

修改文件执行权限：

Shell
1
chmod 755 ossutil64

使用交互式配置生成配置文件：

Shell
1
2
3
4
5
6
7
8
9
./ossutil64 config
请输入配置文件名，文件名可以带路径（默认为：/home/user/.ossutilconfig，回车将使用默认路径。如果用户设置为其它路径，在使用命令时需要将--config-file选项设置为该路径）：
未输入配置文件路径，将使用默认配置文件：/home/user/.ossutilconfig。
对于下述配置，回车将跳过相关配置项的设置，配置项的具体含义，请使用"help config"命令查看。
请输入语言(CH/EN，默认为：CH，该配置项将在此次config命令成功结束后生效)：CH
请输入endpoint：http://oss-cn-shenzhen.aliyuncs.com
请输入accessKeyID：yourAccessKeyID
请输入accessKeySecret：yourAccessKeySecret
请输入stsToken： (可选)

对于endpoint的选择可以参考：访问域名和数据中心

OSS命令行客户端使用

配置完毕后可以看下指定目录下数据是否存在：

列目录

Shell
1
2
3
4
5
6
7
./ossutil64 ls oss://partner-client-tmp-data/external_table_to_oss_data_company/
LastModifiedTime                   Size(B)  StorageClass   ETAG                                  ObjectName
2020-09-03 14:15:07 +0800 CST           39      Standard   F3A1C64FA6FD6D97EB89505F00000000      oss://directory/.odps/.meta
2020-09-03 14:14:03 +0800 CST    684455774      Standard   6802DFEAD0FA534DAB89505F00000000      oss://directory/.odps/slice-0-.csv
2020-09-03 14:14:02 +0800 CST    675384257      Standard   D4775029834A0B72AA89505F00000000      oss://directory/.odps/slice-1-.csv
2020-09-03 14:14:03 +0800 CST    675770947      Standard   B88E5C8A6D0A401DAB89505F00000000      oss://directory/.odps/slice-2-.csv
2020-09-03 14:14:00 +0800 CST    672969197      Standard   F9B1D23C93FC28E4A889505F00000000      oss://directory/.odps/slice-3-.csv

下载文件

Shell
1
2
3
4
./ossutil64 cp -r oss://partner-client-tmp-data/external_table_to_data_company/.odps/directory/ local_directory
Succeed: Total num: 62, size: 41,463,407,245. OK num: 62(download 62 objects).
average speed 217539000(byte/s)
190.602476(s) elapsed

更多命令行参数可以参考：

https://help.aliyun.com/document_detail/120069.html?spm=a2c4g.11186623.3.4.53dc34afKWsGfu

© 著作权归作者所有

勇敢，和生活的艰难无关。

文章评论（0）