华为云对象存储服务第三方客户指南S3cmd日端用户指.pdf

资源描述

华为云对象存储服务第三方客户指南S3cmd日端用户指.pdf

《华为云对象存储服务第三方客户指南S3cmd日端用户指.pdf》由会员分享，可在线阅读，更多相关《华为云对象存储服务第三方客户指南S3cmd日端用户指.pdf（46页珍藏版）》请在冰点文库上搜索。

华为云对象存储服务第三方客户指南S3cmd日端用户指.pdf

保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明商标声明和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。

除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。

除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司华为技术有限公司地址：

深圳市龙岗区坂田华为总部办公楼邮编：

518129网址：

http:

/客户服务邮箱：

客户服务电话：

4008302118文档版本02（2017-09-28）华为专有和保密信息版权所有华为技术有限公司i目目录录1简介简介.12兼容性列表兼容性列表.23设置设置.43.1工具准备.43.2注册云服务帐号.43.3开通OBS服务.43.4登录OBS管理控制台.53.5创建访问密钥（AK和SK）.53.6对接OBS.64操作指南操作指南.94.1桶管理.94.1.1创建桶.94.1.2获取桶列表.104.1.3查看桶存量信息.104.1.4查看桶的基本信息.104.1.5配置桶策略.114.1.6配置静态网站托管.154.1.7配置跨域资源共享（CORS）.174.1.8配置日志记录.204.1.9配置生命周期管理规则.214.1.10删除桶.244.2对象管理.254.2.1上传对象.254.2.2获取对象列表.274.2.3同步对象.274.2.4复制对象.284.2.5移动对象.294.2.6查看对象的基本信息.294.2.7配置对象的ACL权限.304.2.8配置对象过期规则.314.2.9下载对象.324.2.10删除对象.33对象存储服务第三方客户端用户指南（S3cmd）目录文档版本02（2017-09-28）华为专有和保密信息版权所有华为技术有限公司ii4.3多段上传任务管理.334.3.1查看多段上传任务.334.3.2查询段列表.344.3.3中断多段上传任务.354.4其他操作.354.4.1修改配置文件.354.5操作实例.365常见问题常见问题.385.1S3cmd是否支持分段上传对象？

.385.2S3cmd对上传对象的大小有限制吗？

.385.3S3cmd对下载对象的大小有限制吗？

.385.4S3cmd是否支持服务端加密？

.385.5S3cmd是否支持批量上传多个对象？

.395.6S3cmd是否支持批量删除多个对象？

.395.7S3cmd是否支持断点续传？

.396异常处理异常处理.406.1采用HTTPS方式无法与OBS建立连接.406.2使用HTTPS访问名称带点的桶或对象失败.41A文档修订记录文档修订记录.42对象存储服务第三方客户端用户指南（S3cmd）目录文档版本02（2017-09-28）华为专有和保密信息版权所有华为技术有限公司iii1简介简介S3cmd是一款基于Python开发的开源命令行工具，可用于上传、检索和管理存储在AmazonS3或者其他使用S3协议的云存储服务中的数据，具有免费、简单、易用等优势。

对于熟悉命令行程序的用户，S3cmd是执行批量处理、自动化任务的理想选择。

您在使用对象存储服务（ObjectStorageService，OBS）时，除可以使用官方提供的客户端之外，也可使用S3cmd接入，对OBS中的桶和对象进行操作，比如上传、下载、删除、设置权限等等。

S3cmd适用于Linux和MAC操作系统。

本文档以S3cmd1.6.1版本为例，在LinuxSuse操作系统上对S3cmd的使用进行介绍。

S3cmd与OBS大部分接口兼容，本文提供了兼容性列表和命令使用示例供您参考，详情请参见2兼容性列表兼容性列表。

如果S3cmd软件升级等造成软件操作与本文档所述不一致，请以S3cmd的官网（http:

/s3tools.org/usage）指导为准。

4.1.1创建桶创建桶获取桶列表获取用户在OBS中所有的桶。

4.1.2获取桶列表获取桶列表查看桶存量信息查看指定桶的存量信息。

4.1.3查看桶存量信息查看桶存量信息查看桶的基本信息查看指定桶的基本信息。

4.1.4查看桶的基本信息查看桶的基本信息配置桶策略管理（包括配置、更新和删除）桶策略。

4.1.5配置桶策略配置桶策略配置静态网站托管管理（配置和删除）静态网站托管。

4.1.6配置静态网站托管配置静态网站托管配置跨域资源共享（CORS）管理（配置、更新和删除）桶的跨域资源共享规则。

4.1.7配置跨域资源共享配置跨域资源共享（CORS）配置日志记录管理（包括开启和关闭）桶的日志记录功能。

4.1.8配置日志记录配置日志记录配置生命周期管理规则管理（包括配置、更新、删除）桶的生命周期管理规则。

4.1.9配置生命周期管理配置生命周期管理规则规则删除桶删除指定的OBS桶。

4.1.10删除桶删除桶上传对象上传对象至指定桶中。

4.2.1上传对象上传对象获取对象列表获取指定桶中的对象列表。

4.2.2获取对象列表获取对象列表同步对象同步本地与OBS之间的对象。

4.2.3同步对象同步对象复制对象在OBS上为已存在的对象创建一个副本。

4.2.4复制对象复制对象移动对象在OBS桶间或桶内移动对象。

4.2.5移动对象移动对象查看对象的基本信息查看指定对象的基本信息。

4.2.7配置对象的配置对象的ACL权权限限配置对象过期规则配置指定对象的过期规则。

4.2.8配置对象过期规则配置对象过期规则下载对象从OBS桶下载对象至本地。

4.2.9下载对象下载对象删除对象删除存储在OBS上的指定对象。

4.2.10删除对象删除对象查看多段上传任务查看指定桶的多段上传任务。

4.3.1查看多段上传任务查看多段上传任务查看段列表查看多段上传任务的列表。

4.3.2查询段列表查询段列表中断多段上传任务中断多段上传任务。

/s3tools.org/s3cmd），按要求准备S3cmd的安装环境和软件安装包，并按照软件包中说明文件（INSTALL）安装好S3cmd工具。

S3cmd安装完成后，可通过以下方式验证是否成功。

步骤步骤1打开命令行工具。

步骤步骤2执行以下命令。

s3cmd-help如果返回S3cmd使用帮助，表示S3cmd安装成功。

-结束结束3.2注册云服务帐号注册云服务帐号使用OBS之前必须要有一个云服务帐号。

操作步骤操作步骤步骤步骤1打开浏览器。

步骤步骤2登录华为云网站。

步骤步骤3单击“注册”。

步骤步骤4在注册页面，根据提示信息完成注册。

注册成功后，系统会自动跳转至您的个人信息界面。

-结束结束3.3开通开通OBS服务服务使用OBS服务之前必须先充值，才能正常使用OBS服务。

步骤步骤2单击页面右上角的用户名并选择“用户中心”进入用户中心页面。

步骤步骤3单击“充值”，系统自动跳转到充值窗口。

步骤步骤4根据界面提示信息，对账户进行充值。

步骤步骤5充值成功后，关闭充值窗口，返回管理控制台首页。

步骤步骤6单击“对象存储服务”，开通并进入OBS管理控制台。

-结束结束3.4登录登录OBS管理控制台管理控制台您可以通过网页登录OBS管理控制台。

操作步骤操作步骤步骤步骤1登录云服务网站。

步骤步骤2单击页面右上角的“管理控制台”。

步骤步骤3使用帐号密码登录。

如您尚未注册云服务，可单击“免费注册”，根据界面提示注册一个云服务帐号。

步骤步骤4在管理控制台首页，选择“所有服务存储对象存储服务”。

-结束结束3.5创建访问密钥（创建访问密钥（AK和和SK）此处介绍如何通过OBS管理控制台创建访问密钥（AK和SK），访问密钥（AK和SK）用于对请求加密签名，确保请求的机密性、完整性和请求双方身份的正确性。

背景信息背景信息AK和SK支持IAM的认证机制，以下是对AK和SK的解释说明：

lAK：

AccessKeyID，接入键标识，用户在对象存储服务系统中的接入键标识，一个接入键标识唯一对应一个用户，一个用户可以同时拥有多个接入键标识。

对象存储服务系统通过接入键标识识别访问系统的用户。

lSK：

SecretAccessKey，安全接入键，用户在对象存储服务系统中的安全接入键，是用户访问对象存储服务系统的密钥，用户根据安全接入键和请求头域生成鉴权信息。

安全接入键和接入键标识一一对应。

约束和限制约束和限制每个用户最多可以创建两个有效的访问密钥。

操作步骤操作步骤步骤步骤1登录OBS管理控制台。

步骤步骤2单击页面右上角的用户名，并选择“我的凭证”。

步骤步骤3进入“我的凭证”页面，单击“管理访问密钥”页签下方的“新增访问密钥”。

步骤步骤4在弹出的“新增访问密钥”对话框中，输入登录密码和对应验证码。

说明说明l用户如果未绑定邮箱和手机，则只需输入登录密码。

l用户如果同时绑定了邮箱和手机，可以选择其中一种方式进行验证。

步骤步骤5单击“确定”。

步骤步骤6在弹出的“下载确认”提示框中，单击“确定”后，密钥会直接保存到浏览器默认的下载文件夹中。

说明说明为防止访问密钥泄露，建议您将其保存到安全的位置。

如果用户在此提示框中单击“取消”，则不会下载密钥，后续也将无法重新下载。

如果需要使用访问密钥，可以重新创建新的访问密钥。

步骤步骤7打开下载下来的“credentials.csv”文件既可获取到访问密钥（AK和SK）。

-结束结束后续处理后续处理当用户发现访问密钥被异常使用（包括丢失、泄露等情况），或不再使用访问密钥时，建议在访问密钥列表中单击“删除”，立即删除相关密钥。

删除访问密钥时，需要输入登录密码和邮箱或者手机验证码进行验证。

删除的访问密钥将永久删除且无法恢复。

3.6对接对接OBSS3cmd安装完成后，需要在S3cmd配置与OBS的对接信息，获得OBS的认证后，才能对OBS进行访问。

前提条件前提条件l已完成对接前的资源准备（包括安装S3cmd和获取OBS访问密钥）。

l（可选）当需要使用客户端加密方式时，需提前完成GPG加密软件的安装，并获取到软件的安装路径。

操作步骤操作步骤步骤步骤1使用root用户登录至S3cmd工具所在主机。

步骤步骤2打开命令行工具。

s3cmd-configure步骤步骤4根据命令行提示，依次输入OBS的AK、SK、region等信息，具体的参数配置如表表3-1所示。

说明说明选填的配置信息可以按Enter键跳过。

表表3-1配置信息参数参数说明说明是否必填是否必填AccessKeyOBS访问密钥的AK。

必填SecretKeyOBS访问密钥的SK。

必填DefaultRegion默认区域，即桶将存储在哪个区域。

必填Encryptionpassword当使用客户端加密方式传输数据时，需要用到的加密密码。

选填PathtoGPGprogram当使用客户端加密方式传输数据时，GPG加密软件所在的路径。

选填UseHTTPSprotocol是否启用HTTPS协议。

l是，配置为Yes。

l否，配置为No。

选填HTTPProxyservername在不启用HTTPS协议时，选择是否启用HTTP代理，如果配置为空，则表示不使用HTTP代理。

选填完成以上基本参数配置后，会生成一个当前设置供用户确认，并在命令行末尾显示如下提示。

Testaccesswithsuppliedcredentials?

Y/n步骤步骤5输入n，放弃验证访问密钥。

说明说明S3cmd默认向AmazonSimpleStorageService（AmazonS3）发送请求消息，因此如果输入Y，则会显示AK、SK验证不通过的提示。

命令行末尾将会显示如下提示。

Savesettings?

y/N步骤步骤6输入y，保存当前配置。

保存配置后，S3cmd会在$HOME目录下自动生成一个名为.s3cfg的文件，它包含了S3cmd的所有配置信息。

步骤步骤7执行以下命令，打开.s3cfg文件。

host_base=OBS域名地址步骤步骤9修改完成后，按Esc键，输入:

wq!

，按Enter键，保存并退出vi编辑器。

步骤步骤10（可选）配置完成后，您可以执行以下命令，查看S3cmd的配置信息。

s3cmd-dump-config步骤步骤11执行以下命令，重新进入S3cmd配置。

s3cmd-configure说明说明已有配置信息的参数，会在参数后的内显示当前的配置值。

步骤步骤12按Enter键跳过AK、SK等配置，直至命令行界面出现如下提示：

Testaccesswithsuppliedcredentials?

Y/n步骤步骤13输入Y，开始验证与OBS的对接。

当命令行界面出现如图图3-1红框所示提示时，表示S3cmd与OBS对接成功。

图图3-1验证对接步骤步骤14输入y，再次保存当前设置。

前提条件前提条件已完成S3cmd工具的安装和配置。

操作步骤操作步骤步骤步骤1打开命令行工具。

步骤步骤2按照以下格式输入命令，创建一个OBS桶。

s3cmdmbs3:

/my-bucket说明说明其中my-bucket为待创建桶的桶名，桶名需在OBS中全局唯一，并按照如下规则进行命名：

l363个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。

l禁止使用IP地址。

l禁止以“-”或“.”开头及结尾。

l禁止两个“.”相邻（如：

“my.bucket”）。

l禁止“.”和“-”相邻（如：

“my-.bucket”和“my.-bucket”）。

当屏幕出现如下回显时，表示OBS桶创建成功。

Buckets3:

/my-bucket/created步骤步骤3（可选）执行以下命令，获取桶列表，确认新创建的桶存在桶列表中。

操作步骤操作步骤步骤步骤1打开命令行工具。

步骤步骤2执行以下命令，获取OBS桶列表。

s3cmdls说明说明用户只能查询到由自己创建的桶。

-结束结束4.1.3查看桶存量信息查看桶存量信息桶的拥有者，或者是通过桶策略配置了s3:

ListBucket权限的用户，可以查看指定桶的存量信息，包括桶大小、对象数量等。

说明说明桶策略的配置方法请参见4.1.5配置桶策略配置桶策略。

操作步骤操作步骤步骤步骤1打开命令行工具。

步骤步骤2按照以下格式输入命令，查看指定桶的存量信息。

s3cmddus3:

/my-bucket说明说明其中my-bucket为待查看桶的桶名。

在命令行的回显信息中，桶存量信息将按照如下格式显示：

桶大小对象数objectss3:

/my-bucket/说明说明桶大小的单位为KB。

-结束结束4.1.4查看桶的基本信息查看桶的基本信息桶的拥有者或者是对桶同时拥有以下权限的用户，可以查看桶的基本信息，包括桶位置、过期规则、桶策略、CORS规则和ACL规则等。

ls3:

GetBucketLocationls3:

GetLifecycleConfigurationls3:

GetBucketPolicyls3:

GetBucketCORSls3:

操作步骤操作步骤步骤步骤1打开命令行工具。

步骤步骤2执行以下命令，获取指定桶的基本信息。

s3cmdinfos3:

/my-bucket说明说明其中my-bucket为待查看桶的桶名。

在命令行的回显信息中，桶的基本数据信息将按照以下格式显示：

s3:

/my-bucket/（bucket）:

Location:

Payer:

NoneExpirationRule:

policy:

cors:

ACL:

元数据中各参数解释如表表4-1所示。

表表4-1对象元数据元数据元数据说明说明Location桶所在的位置，即区域。

Payer桶请求者的付款策略。

OBS暂不支持用户修改付款策略，此时Payer的值为None。

ExpirationRule桶中指定对象的过期规则。

policy桶策略，定义了OBS中的资源（桶和对象）的访问控制策略。

cors桶的跨域资源共享规则。

ACL桶的访问控制权限规则。

-结束结束4.1.5配置桶策略配置桶策略OBS支持通过桶策略对OBS中桶和对象做更详细的权限控制访问，比如指定OBS户可访问指定桶、限制特定地址访问指定桶等等。

您可以对自己的桶配置桶策略。

操作步骤操作步骤步骤步骤1打开命令行工具。

步骤步骤2执行以下命令，创建一个用于存储桶策略的文件。

步骤步骤3按i进入编辑模式，并按照以下格式，配置桶策略。

Version:

2008-10-17,Id:

PolicyId,Statement:

Sid:

StmtId,Effect:

Allow,Principal:

AWS:

arn:

aws:

iam:

domainid:

root,Action:

s3:

Get*,Resource:

arn:

aws:

s3:

my-bucket桶策略各字段含义如表表4-2所示。

详细的桶策略含义描述，请参考对象存储服务接口参考中的“BucketPolicy”章节。

表表4-2桶策略各字段含义字段字段描述描述必选必选Version保持与AmazonS3一致，当前支持“2008-10-17”唯一取值。

否Id桶策略ID，桶策略的唯一标识。

否Statement桶策略描述，定义完整的权限控制。

每条桶策略的Statement可由多条描述（statement）组成，每条描述可包含以下字段：

lSidlEffectlPrincipallNotPrincipallActionlNotActionlResourcelNotResourcelCondition说明说明在单条Statement中，Principal与NotPrincipal必须二选一，Action与NotAction二选一，Resource与NotResource必须二选一。

是Sid本条桶策略描述的ID。

l接受请求：

配置为“Allow”。

l拒绝请求：

配置为“Deny”。

是Principal被授权人，即指定本条桶策略描述所作用的用户，支持通配符“*”，表示所有用户。

当对Domain进行授权时，Principal支持以下三种格式：

lAWS:

domainidlAWS:

arn:

aws:

iam:

domainid:

rootlCanonicalUser:

domainid当对User进行授权时，Principal格式为AWS:

arn:

aws:

iam:

domainid:

user/userId。

否NotPrincipal不被授权人，当定义此项时，桶策略将匹配除此之外的其他人。

取值同Principal。

否Action操作，即指定本条桶策略描述所作用的OBS操作。

以数组形式表示，可配置多条操作，以逗号间隔。

不区分大小写。

支持通配符“*”，表示该资源能进行的所有操作。

例如：

Action:

List*,Get*。

OBS支持的所有Action，请参考对象存储服务接口参考中的“BucketPolicy”章节。

否NotAction指定一组操作，桶策略匹配除该组操作之外的其他操作。

取值同Action。

否Resource资源，即指定本条桶策略描述所作用的目标资源。

当目标资源为桶时，Resource格式为arn:

aws:

s3:

my-bucket。

当目标资源为对象时，Resource格式为arn:

aws:

s3:

my-bucket/*。

注意注意目标桶必须是已存在的桶，且与命令指定的桶一致，否则桶策略设置不成功。

否NotResource指定一组资源，桶策略匹配除该组资源之外的其他资源。

否Condition条件语句，指定本条桶策略所限制的条件。

否步骤步骤4桶策略文件配置完成后，按Esc，输入:

wq!

，按Enter，即可保存并退出vi编辑模式。

步骤步骤5执行以下命令，将桶策略设置给指定桶。

s3cmdsetpolicypolicy-file-names3:

/my-bucket说明说明其中policy-file-name为存储桶策略的文件名，my-bucket为待配置桶策略桶的桶名。

对象存储服务第三方客户端用户指南（S3cmd）

展开阅读全文