对象存储测试工具-s3cmd

一、环境安装

官网：https://s3tools.org/s3cmd
下载安装包：https://s3tools.org/download
GitHub：https://github.com/s3tools/s3cmd/releases
本文安装包：https://github.com/s3tools/s3cmd/releases/download/v2.0.2/s3cmd-2.0.2.tar.gz

s3cmd安装
Linux
1）取包 https://github.com/s3tools/s3cmd/releases/download/v2.0.2/s3cmd-2.0.2.tar.gz
2)  安装：
     tar -zxf s3cmd-2.0.2.tar.gz -C /usr/local/
     mv /usr/local/s3cmd-2.0.2/ /usr/local/s3cmd/
     ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd
windows环境安装：
1）下载并从Python官方网站安装python 2.4或更高版本，并安装它。 https://www.python.org/downloads/ 安装Python后，追加了Python中路径环境变量。打开命令提示符并验证Python版本
      C:> python --version Python 2.7.6
2）Windows上安装GPG    http://www.gpg4win.org/download.html    ----下面配置s3cmd的时候，GPG路径按照安装路径配置
3）下载s3cmd包，并解压到C:s3cmd 位置   

二、初始化配置

以linux版本为例

使用s3test用户
useradd s3test
su - s3test
chmod -R 777 s3test

要进入到非root用户s3test中进行版本包解压和工具使用

$ tar -zxf s3cmd-2.0.2.tar.gz 

$ cd s3cmd-2.0.2
$ python s3cmd - -configure
New settings:
  Access Key: 65194N70K1OQE556
  Secret Key: XyP3EkHvx-BenwGMagJC7PxKwv0=
  Default Region: US
  S3 Endpoint: 10.238.xx.1:8889
  DNS-style bucket+hostname:port template for accessing a bucket: %(bucket)s.s3test.chos.com（不填）空格后回车
  Encryption password: 
  Path to GPG program: /usr/bin/gpg
  Use HTTPS protocol: False
  HTTP Proxy server name: 
  HTTP Proxy server port: 0

Test access with supplied credentials? [Y/n] n

Save settings? [y/N] y
Configuration saved to '/home/s3test/.s3cfg'

修改/home/s3test/.s3cfg中signature_v2 = True

域名解析配置
/etc/hosts中添加
10.238.xx.1 s3.aws.com
10.238.xx.1 s3test-autotest-1.aws2.com

10.238.161.1 s3test-autotest-2.aws2.com

三、相关命令

创建bucket：
# s3cmd mb s3://

列bucket:   python s3cmd ls
查看bucket下的object：python s3cmd ls s3://ywp
清空bucket: python s3cmd rb s3://ywp
上传文件到bucket:  python s3cmd put setup.cfg s3://ywp/setup.cfg
下载文件到本地:  python s3cmd get s3://ywp/test.txt wl.txt
删除bucket中某个文件：  python s3cmd del s3://ywp/s3cmd.ini
获取某个bucket占用空间大小：  python s3cmd du -H s3://ywp
批量下载文件： python s3cmd get s3://ywp/* ./test/
上传并将权限设置为所有人可读： python s3cmd put --acl-public wl.txt s3://ywp/123.txt
上传文件到bucket：  python s3cmd put -r test s3://ywp/
上传文件夹里的文件到bucket： python s3cmd put -r test/ s3://ywp/
批量上传：python s3cmd put ./* s3://ywp/

分块上传：python ./s3cmd-2.1.0/s3cmd put --multipart-chunk-size-mb=10 --signature-v2 put ./1g.tar.gz s3://s3cmd/1g-${i}.tar.gz

python s3cmd -c /home/s3test/.s3cfg put --multipart-chunk-size-mb=5 testsuite-out/urandom.bin s3://s3test-s3cmd-autotest-1/urandom.bin
curl --silent --head -include --location http://s3test-s3cmd-autotest-1.10.238.x.1/xyz/etc/logo.png
curl --silent --head -include --location http://s3test-s3cmd-autotest-1.10.238.x.1/xyz/etc/logo.png
curl --silent --head -include --location http://s3test-s3cmd-autotest-1.10.238.x.1/xyz/etc/logo.png
curl --silent --head -include --location http://s3test-s3cmd-autotest-2.10.238.x.1/copy/etc2/Logo.PNG
curl --silent --head -include --location http://s3test-s3cmd-autotest-2.10.238.x.1/copy/etc2/Logo.PNG
python s3cmd -c /home/s3test/.s3cfg info s3://s3test-s3cmd-autotest-1
python s3cmd -c /home/s3test/.s3cfg payer --requester-pays s3://s3test-s3cmd-autotest-2
python s3cmd -c /home/s3test/.s3cfg info s3://s3test-s3cmd-autotest-2
python s3cmd -c /home/s3test/.s3cfg payer s3://s3test-s3cmd-autotest-2
python s3cmd -c /home/s3test/.s3cfg info s3://s3test-s3cmd-autotest-2