创建迁移任务

前提条件

操作步骤

  1. 双击桌面的RDA图标或安装目录中的RDA.exe，打开RDA客户端，输入用户名和密码登录RDA控制台。
  2. 单击左侧导航栏的“存储迁移服务>迁移实施>存储迁移”，进入“存储迁移”页面。
  3. 在“存储迁移”页面，单击“创建任务”，进入“创建任务”页面。
  4. 根据表1，配置基本信息参数，单击“下一步”。

    表1 基本信息参数说明

    参数

    说明

    任务名称

    用户自定义

    描述

    用户自定义

    集群

    当前为默认集群，不可更改

  5. 根据表2，配置连接端参数，单击“下一步”。

    表2 连接端参数说明

    参数

    说明

    源端类型

    支持华为云 OBS/阿里云 OSS/百度云 BOS/腾讯云 COS/金山云 KS3/七牛云 KODO/NAS/谷歌云 GCS/优刻得 US3/亚马逊 S3/微软 Blob/移动云 EOS/HTTP/HTTPS

    目的端类型

    支持NAS/华为云 OBS存储类型。

    说明：

    目的端为华为云OBS桶时，OBS桶的存储类别只能为标准存储或者低频访问存储。迁移完成后，可以自行修改桶的存储类别。

    NAS协议

    目前仅支持NFSV3/SMB协议。

    地址

    文件系统的挂载地址。

    格式为：IP地址+:/ xxx，例如：192.1.1.1:/0001

    路径
    • 待迁移文件路径。
    • 接收文件的路径。

    格式为：/文件夹

    访问密钥

    OBS桶的访问密钥access_key。

    访问私有密钥

    OBS桶的私有密钥secret_key。

    注意：

    不能使用临时AK/SK。

    Endpoint

    OBS桶所在的Endpoint。

    说明：

    可在OBS桶的基本信息查看。

    json密钥

    谷歌云GCS的鉴权方式，源端为谷歌云时，填写谷歌云帐号的json密钥。获取方式请参见如何获取谷歌云帐号的json密钥？

    桶名

    OBS的桶名称。单击右侧获取桶列表可以辅助桶名填写。

    目的端前缀

    对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt

    认证

    当源端/目的端选择SMB协议时，可勾选，并填写有权限访问SMB文件夹的用户名、密码和域等认证信息。如无认证信息，可不勾选。

  6. 根据表3、表4、表5，配置源端参数、高级选项、过滤策略等参数，单击“下一步”，确认信息无误后，单击“开始”即可开始迁移。

    表3 源端参数说明

    参数

    说明

    约束说明

    选择迁移方式
    • 不勾选或不填写时默认按连接端配置迁移。
    • 源端类型为NAS时，可选指定对象列表；源端类型为OBS时，可选指定对象列表/输入对象前缀。
      • 选择输入对象前缀，填写迁移前缀，单击“添加”后加入前缀列表，前缀添加成功后，会迁移桶中所有以该前缀开头的对象。不可添加列表中已有的更短或相同的前缀。
      • 选择指定对象列表，将对象列表文件放置在目的端，并将对象列表文件所在目录地址填入对象列表输入框。校验规则：^(((?![.]/)[^\"'<>&\\\\])*[/]|[/]|)$

    对象列表文件约束与限制：

    • 目的端为OBS
      • 对象列表文件大小不能超过30MB
      • 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain
      • 对象列表文件必须是UTF-8无BOM格式编码格式
      • 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码
      • 对象列表文件行长度不超过16KB，否则迁移失败
      • 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败
      • 对象列表文件行数不超过10000
    • 目的端为NAS:
      • 对象列表文件大小不能超过30MB
      • 对象列表文件类型必须为.txt类型
      • 对象列表文件必须是UTF-8无BOM格式编码格式
      • 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码
      • 对象列表文件行长度不超过16KB，否则迁移失败
      • 对象列表文件行数不超过10000

    元数据迁移策略

    选择是否保留元数据。

    支持迁移的元数据列表

    解冻

    如果源端有归档/深度归档类型的存储对象要实现迁移，必须预先解冻此类存储对象。勾选此选项，在迁移前会先将源端待迁移对象中处于归档/深度归档类型的存储对象进行解冻，并优先迁移解冻完成的对象。

    关于解冻功能的更多介绍，请参见什么是解冻操作？。
    表4 高级选项参数说明

    参数

    说明

    最大并发子任务数

    配置的数目不能超过可用迁移执行节点数x5。例如：可用的执行节点数为2，则最大job数配置数目需要≤10。

    覆盖策略
    • 直接覆盖：对于同名文件，不进行任何判断，一律执行覆盖。
    • 条件覆盖：覆盖大小不相同或源端LastModified小于等于目的端LastModified对象。
    • 不覆盖：对于同名文件，不进行任何判断，一律执行跳过。

    配置存储策略

    选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。

    限速

    设置任务在某个时间段内的迁移速度。

    须知：
    • 限速取值范围：1 MB~1024 GB。
    • 创建多条限速规则时，限速时段不能重叠。

      例如：已有一条规则，限速时段是8:00~12:00，那么7:00~13:00，7:00~8:00，9:00~12:00...有时间重叠的规则，都无法创建成功。

    • 开始时间不能晚于等于结束时间。

      例如：不能设置时间段为23:00~01:00。
    表5 过滤策略参数说明

    参数

    说明

    填写规则

    约束说明

    黑名单

    命中黑名单规则，则文件不进行迁移/一致性对比。支持精确匹配和模糊匹配。
    • 精确匹配，填写文件绝对路径

      全路径精确匹配，特殊字符用反斜杠（\）转义

    • 模糊匹配
      • *匹配任何字符0个或者多个，但不匹配斜杠(/)
      • 使用**匹配任何字符0个或者多个，包括斜杠(/)
      • ?匹配除斜杠(/)之外的任何字符，只能匹配一个
      • {和}定义元素之间的选择：包含一个以逗号分隔的模式列表, 其中任何一种模式都可能匹配，可以包含通配符。
      • 特殊字符可以在它们之前使用 \进行转义，\后面为通配符时，表示转义，否则表示\本身
    • 除{ 和 } 以外，不能出现连续的规则符号，例如：***、*?、**?、?*、?**、*{*、*}*、*}?、?{*、{*}、{,}、{*,、 ,*}、,*,。
    • { 和 } 之间的模式，只能使用*做通配符。
    • { 和 } 之间的模式，不能有{}嵌套。
    • 文件绝对路径在黑名单和白名单同时命中，则黑名单生效，即不做迁移。
    • 需要配置多个匹配规则时，用英文分号隔开。

    白名单
    • 白名单为空时，迁移所有文件。
    • 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。

    时间段

    配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。

    开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。

    过滤策略场景规则示例以及举例见下表。

    场景

    规则示例

    NAS

    OBS

    说明

    第一级目录路径

    test

    /test

    test

    xx可以是包含*和?的表达式

    文件路径以xx结尾(特定后缀)

    **xx

    /xx /**xx

    xx/**xx

    根路径下第一层xx开始的文件

    /xx*

    /testssss 匹配

    /test/xx 不匹配

    testssss 匹配

    test/xx 不匹配

    文件路径以xx开始

    /xx**

    /xx/**

    /xx**

    /xx/**

    xx**

    xx/**

    文件名包含xx

    **xx*

    **xx*

    **xx*

    文件路径包含xx

    **xx**

    **xx**

    **xx**

    文件路径以xx开始，以yy结尾

    /xx**yy

    /xx**yy

    xx**yy

    xx，yy可以是包含*和?的表达式

    文件路径以xx，yy结尾(特定后缀)

    **{xx,yy}

    **{xx,yy}

    **{xx,yy}

    文件名包含xx，yy

    **{xx,yy}*

    **{xx,yy}*

    **{xx,yy}*

    文件路径包含xx，yy

    **{xx,yy}**

    **{xx,yy}**

    **{xx,yy}**

父主题： 存储迁移服务