186
云计算
负载均衡
产品简介
产品价格
快速入门
用户指南
实践操作
常见问题
购买指南
云服务器
产品简介
计费规则
购买指导
控制台使用指南
常见问题
云数据库
产品简介
计费规则
购买指导
快速入门
连接实例
控制台使用指南
对象存储
产品简介
控制台使用指南
程序员百科
Python

 对象存储经典版I型  >  天翼云对象存储（经典版）OOS数据迁移工具 迁移步骤

天翼云对象存储（经典版）OOS数据迁移工具 迁移步骤

产品推荐：

1、安全稳定的云服务器租用，2核/2G/5M仅37元，点击抢购>>>；

2、高防物理服务器20核/16G/50M/200G防御仅350元，点击抢购>>>

3、百度智能建站（五合一网站）仅880元/年，点击抢购>>> 模板建站（PC+手机站）仅480元/年，点击抢购>>>



点击这里注册天翼云特邀VIP帐号，立即体验天翼云对象存储>>>


天翼云对象存储（经典版）OOS数据迁移工具 迁移步骤


迁移需要的步骤：

1. 迁移准备；

2. 安装迁移工具；

3. 修改配置文件；

4. 执行迁移。


迁移准备

  • 已拥有OOS账户，获得OOS的AccessKey和SecretKey，且在OOS中创建了目标存储桶Bucket。

  • 下载OOS数据迁移工具

安装迁移工具

  • 对于Windows客户端，直接解压缩迁移工具zip包即可。

  • 对于Linux客户端，执行unzip CTYUN_OOS_Import_1.2.5.zip，解压缩

迁移工具解压缩后的文件结构如下：

CTYUN_OOS_Import_1.2.5 |----config |-------log4j2.xml |-------migrate.conf |-------system.conf |----lib |----import.sh |----import.bat复制

修改配置文件


更新迁移任务配置文件migrate.conf，配置源和目的资源池信息、迁移配置项。

说明：

  • 迁移过程中，如果想停止正在迁移的任务，可以修改系统配置system.conf中的stopScan为true停止本次迁移，重启时需要将系统配置system.conf中的stopScan修改为false。

  • 如果迁移过程中想修改迁移任务，需停止本次迁移，然后修改migrate.conf，并重启。如果迁移过程中未停止本次迁移任务，进行修改迁移任务配置文件migrate.conf，修改后的迁移任务配置文件不生效。

（可选）根据需要更新系统配置文件system.conf，在迁移过程中可以修改此配置文件中的配置项。仅影响修改后加入迁移任务的迁移对象，修改前已加入迁移任务的迁移对象，不受本次修改影响。

migrate.conf

迁移任务配置文件（migrate.conf）参数

参数

说明

是否必填

srcType

迁移源类型：

  • OOS：天翼云对象存储；

  • OSS：阿里云；

  • COS：腾讯云；

  • OBS：华为云；

  • S3：AmazonS3；

  • LOCAL：本地。

是

srcEndpoint

源资源池Endpoint。

  • 迁移源类型为COS、LOCAL：不配置此参数；

  • 迁移源类型为OOS、OSS、OBS、S3：此项必须填。

条件

srcAccessKey

源资源池账户AccessKey。

  • 迁移源类型为LOCAL：不配置此参数；

  • 迁移源类型为OOS、OSS、COS、OBS、S3：此项必须填。

条件

srcSecretKey

源资源池账户SecretKey。

  • 迁移源类型为LOCAL：不配置此参数；

  • 迁移源类型为OOS、OSS、COS、OBS、S3：此项必须填。

条件

srcBucket

源资源池Bucket。

  • 迁移源类型为LOCAL：不配置此参数；

  • 迁移源类型为OOS、OSS、COS、OBS、S3：必须填。

条件

srcRegionName

源资源池RegionName

  • 迁移源类型为COS、S3：必须填；

  • 迁移源类型为OOS、OSS、OBS、LOCAL：不配置此参数。

条件

 

localFolderPath

本地文件夹路径，或以执行脚本的相对路径。

需要完整路径，以单个正斜线（/）进行分割并且以单个正斜线（/）结尾，仅支持如c:/example/ 或者/data/example/   的格式。

  • 迁移源类型为LOCAL：必须填；

  • 迁移类型为OOS、OSS、COS、OBS、S3：不配置此参数。

条件

destEndpoint

目标资源池Endpoint,即要迁移到的OOS资源池Endpoint，参见域名（Endpoint）列表 

是

destAccessKey

目标资源池AccessKey，可以从OOS控制台中获取，参见密钥。

是

destSecretKey

目标资源池SecretKey。

是

destBucket

目标资源池Bucket。

是

srcPrefix

源对象名前缀，默认为空。该前缀不包括Bucket名称，仅为对象名前缀。

说明：此参数空或者未配置此参数，表示迁移所有的对象。

否

destPrefix

目标前缀，即为迁移对象指定具体存放文件夹。

注意：如果不需要目标前缀，此参数不要写在配置文件中。

取值：字符串形式，以“/”结尾，且不能以“/”开头；不能包含以下字符：'、"、//。

说明：

  • 如果不指定，迁移对象直接存放在目标资源池Bucket下。

  • 如果指定前缀，则将迁移对象存放在目标资源池Bucket下以前缀命名的文件夹中；如果前缀命名的文件夹不存在，则在该Bucket下创建以前缀命名的文件夹。

  • 如果目标前缀包含字符“\”，会识别为转义字符，不建议使用字符“\”。

否

srcMarker

  • 迁移源类型为OOS表示按字典序，从srcMarker对象开始迁移。默认为空，表示从第一个对象开始迁移；

  • 迁移源类型为OSS、OBS、COS、S3表示按字典序，从srcMarker对象后的下一个对象开始迁移。默认为空，表示从第一个对象开始迁移。

  • 迁移源类型为LOCAL，此项不起作用，不配置此参数。

否

srcStopObject

迁移的截止对象名，默认为空。

  • 如果配置了srcStopObject，则迁移到配置的对象后停止迁移，即迁移到该对象的前一个对象，此对象及后续对象都不迁移；

  • 如果指定的srcStopObject不存在，则迁移满足迁移条件的所有对象。

注意：迁移源类型为LOCAL，此项不起作用，不配置此参数。

否

isSkipExistFile

是否跳过目标资源池中已有的对象。

  • true：跳过已有对象，根据Etag和size进行判断数据是否为已有对象。

  • false：覆盖已有对象（默认）。

否

migrateLogFile

表示是否根据日志文件加载迁移对象。

日志文件仅支持通过本迁移工具生成的四种类型的日志文件：successObjectLog_time.txt、errorObjectLog_time.txt、skipObjectLog_time.txt、otherObjectLog_time.txt。

  • true：仅处理日志文件中的项，不扫描源资源池或者local文件夹、不加载备份文件。

  • false：扫描资源池或local文件夹，加载备份文件。

默认值为false。

否

logFile

表示日志文件路径。

migrateLogFile为true时，此项必须填。

条件

importSince

表示迁移大于此时间的数据，Unix时间戳。即仅迁移此时间点后的对象。

取值：大于等于0的整数，单位是秒。默认值为0，表示迁移所有的数据。

否

objectSize

表示迁移对象的大小范围。格式是N-M，表示迁移N至M大小的对象。

取值：N和M是大于等于0的整数，且N≤M，单位是字节。默认不配置此项，表示迁移所有大小的对象。

否

storageClass

设置迁移后对象的存储类型。

取值：

  • STANDARD：标准存储；

  • STANDARD_IA：低频访问存储。

默认值为STANDARD。

注意：仅对象存储网络、香港节点支持STANDARD_IA，其他地域不支持。		否
contentType迁移之后，对象的标准MIME类型。否

system.conf

系统配置文件（system.conf）参数


参数

说明

是否必填

threadNum

并发数。

取值范围：1~3000的整数，默认值为1。

否

maxSimpleObjectSizeM

对象大小限制，单位是MiB。

取值范围：大于等于5的整数，默认值为10。

超过对象大小限制，源对象将被拆分成分段对象进行迁移。

否

partSizeM

拆分为分段对象时的分片大小，单位MiB。

取值范围：大于等于5的整数，默认值为5。

否

stopScan

是否终止遍历源对象。

  • true：终止；

  • false：不终止。

默认false。

否

maxThroughput

对源端流量进行限制，单位是KiB/s。

取值范围：100~102400的整数。默认不限速。

说明：

  • 如果填写负数，则表示不进行限速；

  • 如果0≤maxThroughput<100，则按100KiB/s限速；

  • 如果maxThroughput>102400，则按102400KiB/s限速。

否

log4j2.xml


迁移工具的日志配置文件log4j2.xml，可以配置日志输出级别等属性。

默认只输出基本日志信息，配置参数：

<loggers>
    <AsyncRoot level="info" includeLocation="true">
        <AppenderRef ref="info"/>
        <AppenderRef ref="error"/>
    </AsyncRoot>
</loggers>


如果用户希望打印更详细的迁移信息，可以开启debug日志，配置参数：

<loggers>
    <AsyncRoot level="debug" includeLocation="true">
        <AppenderRef ref="info"/>
        <AppenderRef ref="error"/>
        <AppenderRef ref="debug"/>
    </AsyncRoot>
</loggers>

执行迁移

对于Windows客户端，执行import.bat启动迁移。

  1. 打开开始菜单，搜索cmd，打开命令提示符窗口。

  2. cd到压缩工具所在的目录下，例如 cd c:\CTYUN_OOS_Import_1.2.5。

  3. 执行import.bat。

 

对于Linux客户端，执行import.sh启动迁移。

  1. 为import.sh增加执行权限，执行命令：chmod +x import.sh。

  2. 运行import.sh，执行命令：./import.sh。

断点续传

数据迁移工具支持断点续传，如果迁移过程中程序被终止了，可以重新启动迁移任务，从之前中断的位置继续开始迁移。继续迁移的步骤如下：

  1. 保留上次迁移执行过程中产生的backup文件。如果是在另外一台服务器上重新开始迁移任务，需要将backup文件拷贝到新服务器的迁移工具所在目录下。

  2. （可选）查看nextMarker.txt文件中记录的上次数据迁移位置。修改migrate.conf，设置srcMarker为上次迁移位置。


日志

数据迁移工具执行过程中，会生成一个migratelog文件夹，用于记录迁移情况。日志类型分为异常日志、成功日志、跳过对象日志、其他日志。

运行日志生成在logs/migrate文件夹下，根据log4j2.xml配置可生成server.log、error.log、dubug.log等。

这条帮助是否解决了您的问题？ 已解决 未解决

提交成功！非常感谢您的反馈，我们会继续努力做到更好！ 很抱歉未能解决您的疑问。我们已收到您的反馈意见，同时会及时作出反馈处理！



新用户注册立享888元代金券大礼包！
免费注册
  • 100倍故障赔偿
  • 3天无理由退款
  • 7x24小时服务
  • 0元快速备案
  • 1V1专席秘书

13135010006

Email：ceo@zuntop.com

长沙市高新开发区尖山路中电软件园A9

Copyright © 2023 版权所有：TOP云 工信部ICP备案号：湘ICP备2022009064号-1　湘公网安备 43019002001723号　统一社会信用代码：91430100MA7AWBEL41　本站为小鸟云代理商：《增值电信业务经营许可证》B1-20160477

TOP云在线客服