赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 表格存储
  4. 实践教程
  5. 数据同步迁移
  6. 迁移工具

迁移工具

  • 数据同步迁移
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

使用DataWorks/DataX、表格存储的通道服务等迁移工具,在不影响业务的情况下,您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。

迁移工具选择

迁移数据时,请根据实际业务选择合适的迁移工具。表格存储支持的迁移工具请参见下表。

迁移工具

说明

应用场景

DataWorks/DataX

DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台,底层实现依赖于DataX离线数据同步工具。适用于MySQL、Oracle、SQLServer等多种异构数据源之间的数据迁移同步。

DataWorks/DataX将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件。更多信息,请分别参见DataWorks数据集成或者DataX。

  • 使用DataX同步

  • 将HBase数据同步到表格存储

  • 将MaxCompute数据同步到表格存储

  • 导出全量数据到MaxCompute

  • 导出全量数据到OSS

  • 将表格存储数据表中数据同步到另一个数据表

  • 将表格存储时序表中数据同步到另一个时序表

通道服务

通道服务(Tunnel Service)是基于表格存储数据接口之上的全增量一体化服务。适用于源表为表格存储数据表的数据迁移同步。

通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道,可以简单地实现对表中历史存量和新增数据的消费处理。更多信息,请参见通道服务。

将表格存储数据表中数据同步到另一个数据表

数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建安全、可扩展、高可用的数据架构。更多信息,请参见什么是数据传输服务DTS。

使用DTS同步MySQL数据

canal

canal基于MySQL数据库增量日志解析,提供增量数据订阅和消费功能,是阿里开源CDC工具,它可以获取MySQL binlog数据并解析,然后将数据变动传输给下游。基于canal,您可以实现从MySQL到其他数据库的实时同步。更多信息,请参见canal官网。

使用canal同步MySQL数据

Tapdata Cloud

Tapdata Cloud是由Tapdata提供的集数据复制、数据发为一体的实时数据服务,能够在跨云、跨地域、多类型数据源的场景下,提供毫秒级的实时数据同步服务和数据融合服务。更多信息,请参见什么是Tapdata。

  • 使用Tapdata Cloud导入MySQL数据

  • 将Oracle数据同步到表格存储

DataWorks/DataX

使用DataWorks/DataX不仅可以将数据库迁移同步到表格存储,也可以实现表格存储表中数据的跨实例或者跨账号的迁移同步。

  • 将数据库数据迁移到表格存储

    DataWorks/DataX提供各种异构数据源之间稳定高效的数据同步功能,可以实现将多种数据库迁移到表格存储,如下图所示。

    说明

    DataWorks/DataX支持的数据源与读写插件详情请分别参见DataWorks支持的数据源与读写插件或者DataX支持的数据源与读写插件。

    fig1

  • 表格存储数据跨实例或者跨账号迁移同步

    通过在DataWorks/DataX中配置表格存储相关的Reader和Writer插件,即可以完成表格存储数据表或者时序表的数据复制,如下图所示。表格存储相关的插件说明请参见下表。

    插件

    说明

    OTSReader

    用于读取表格存储表中的数据,并可以通过指定抽取数据范围实现数据增量抽取的需求。

    OTSStreamReader

    用于增量导出表格存储表中的数据。

    OTSWriter

    用于向表格存储中写入数据。

    fig2fig_dataworks_ots

通道服务

使用通道服务可以轻松构建高效和弹性的数据复制解决方案。fig3

数据传输服务DTS

数据传输服务DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段:

  • 同步初始化:DTS先开始收集增量数据,然后将源数据库的结构和存量数据加载到目标数据库。

  • 数据实时同步:DTS同步正在进行的数据变更,并保持源数据库和目标数据库的同步。

fig_dts

canal

使用canal同步数据时,Deployer服务负责从上游拉取binlog数据、记录位点等,Client-Adapter服务负责对接Deployer解析过的数据,并将数据传输到目标库中。

fig_binlogtotablestore

Tapdata Cloud

使用Tapdata Cloud同步数据时,Tapdata agent负责从Tapdata cloud manager(TCM)获取任务信息,通过流式技术从源系统获取数据、处理转换数据并发送到目标系统。

fig_20230424_tapdata

计费说明

使用的迁移工具不同时,计费规则如下:

  • 在使用迁移工具或其他产品(例如DTS、阿里云物联网平台等)访问表格存储时,表格存储会根据具体的读写请求按照读写吞吐量计量计费。

  • 当前通道服务本身没有额外的费用开销。在消费通道服务数据时,表格存储会根据实际拉取的数据产生读吞吐量计量计费。

更多信息,请参见计量计费项。

相关文章

迁移工具 2025-04-22 14:37

使用DataWorks/DataX、表格存储的通道服务等迁移工具,在不影响业务的情况下,您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。 迁移工具选择

数据集成服务 2025-04-22 14:37

当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高,且需要使用复杂的检索或大数据分析时,如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大,则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成

数据导入 2025-04-22 14:37

本文介绍表格存储数据导入支持的数据源以及导入方式。 支持的数据源 MySQL、Kafka、

数据导出 2025-04-22 14:37

通过数据导出,您可以将表格存储的数据导出到OSS、MaxCompute或者下载到本地文件中。 导出方式

同步MySQL数据 2025-04-22 14:37

您可以根据业务需求使用DataX、DTS、canal或者Tapdata Cloud工具将MySQL数据库中的数据同步迁移到表格存储(Tablestore)中。 使用场景

使用DataX同步MySQL数据 2025-04-22 14:37

本文介绍如何使用 DataX 工具将 MySQL 数据库中的数据同步到表格存储(Tablestore)。 背景信息 DataX 是阿里云的离线数据同步工具,它通过 JDBC 连接 MySQL 数据库,

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号