导出全量数据到OSS

（推荐）向导模式

1. 在配置任务步骤的配置数据来源与去向区域，根据实际配置数据来源和数据去向。

   数据来源配置

   参数	说明
   表	表格存储中的数据表名称。
   主键区间分布（起始）	数据读取的起始主键和结束主键，格式为JSON数组。 起始主键和结束主键需要是有效的主键或者是由INF_MIN和INF_MAX类型组成的虚拟点，虚拟点的列数必须与主键相同。 其中INF_MIN表示无限小，任何类型的值都比它大；INF_MAX表示无限大，任何类型的值都比它小。 数据表中的行按主键从小到大排序，读取范围是一个左闭右开的区间，返回的是大于等于起始主键且小于结束主键的所有的行。 假设表包含pk1（String类型）和pk2（Integer类型）两个主键列。 如果需要导出全表数据，则配置示例如下： 主键区间分布（起始）的配置示例 [ { "type": "INF_MIN" }, { "type": "INF_MIN" } ] 主键区间分布（结束）的配置示例 [ { "type": "INF_MAX" }, { "type": "INF_MAX" } ] 如果需要导出pk1="tablestore" 的行，则配置示例如下： 主键区间分布（起始）的配置示例 [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MIN" } ] 主键区间分布（结束）的配置示例 [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MAX" } ]
   主键区间分布（结束）
   切分配置信息	自定义切分配置信息，普通情况下不建议配置。当Tablestore数据存储发生热点，且使用Tablestore Reader自动切分的策略不能生效时，建议使用自定义的切分规则。切分指定的是在主键起始和结束区间内的切分点，仅配置切分键，无需指定全部的主键。格式为JSON数组。

   数据去向配置

   参数	说明
   文本类型	写入OSS的文件类型，例如csv、txt。 说明 不同文件类型支持的配置有差异，请以实际界面为准。
   文件名(含路径)	当设置文本类型为text、csv或orc时才能配置该参数。 OSS中的文件名称，支持带有路径，例如tablestore/20231130/myotsdata.csv。
   文件路径	当设置文本类型为parquet时才能配置该参数。 文件在OSS上的路径，例如tablestore/20231130/。
   文件名	当设置文本类型为parquet时才能配置该参数。 OSS中的文件名称。
   列分隔符	当设置文本类型为text或csv时才能配置该参数。 写入OSS文件时，列之间使用的分隔符。
   行分隔符	当设置文本类型为text时才能配置才参数。 自定义的行分隔符，用来分隔不同数据行。例如配置为 \u0001。您需要使用数据中不存在的分隔符作为行分隔符。 如果要使用Linux或Windows平台的默认行分隔符（\n、\r\n）建议置空此配置，平台能自适应读取。
   编码	当设置文本类型为text或csv时才能配置该参数。 写入文件的编码配置。
   null值	当设置文本类型为text、csv或orc时才能配置该参数。 源数据源中可以表示为null的字符串，例如配置为null，如果源数据是null，则系统会视作null字段。
   时间格式	当设置文本类型为text或csv时才能配置该参数。 日期类型的数据写入到OSS文件时的时间格式，例如yyyy-MM-dd。
   前缀冲突	当设置的文件名与OSS中已有文件名冲突时的处理方法。取值范围如下： 替换：删除原始文件，重建一个同名文件。 保留：保留原始文件，重建一个新文件，名称为原文件名加随机后缀。 报错：同步任务停止执行。
   切分文件	当设置文本类型为text或csv时才能配置该参数。 写入OSS文件时，单个Object文件的最大大小。单位为MB。最大值为100 GB。当文件大小超过指定的切分文件大小时，系统会生成新文件继续写入数据，直到完成所有数据写入。
   写为一个文件	当设置文本类型为text或csv时才能配置该参数。 写入数据到OSS时，是否写单个文件。默认写多个文件，当读不到任何数据时，如果配置了文件头，则会输出只包含文件头的空文件，否则只输出空文件。 如果需要写入到单个文件，请选中写为一个文件复选框。此时当读不到任何数据时， 不会产生空文件。
   首行输出表头	当设置文本类型为text或csv时才能配置该参数。 写入文件时第一行是否输出表头。默认不输出表头。如果需要在第一行输出表头，请选中首行输出表头复选框。

2. 在字段映射区域，单击来源字段后的图标，手动编辑要同步到OSS的来源字段，目标字段无需配置。

3. 在通道控制区域，配置任务运行参数，例如任务期望最大并发数、同步速率、脏数据同步策略、分布式处理能力等。关于参数配置的更多信息，请参见配置通道。

4. 单击图标，保存配置。

   说明

   执行后续操作时，如果未保存配置，则系统会出现保存确认的提示，单击确认即可。

脚本模式

全量数据的同步需要使用到Tablestore（OTS） Reader和OSS Writer插件。脚本配置规则请参见Tablestore数据源和OSS数据源。

1. 在配置任务步骤，单击图标，然后在弹出的对话框中单击确认。

2. 在脚本配置页面，请根据如下示例完成配置。

   重要

   • 由于全量导出一般是一次性的，所以无需配置自动调度参数。如果需要配置调度参数，请参见增量同步中的调度参数配置。

   • 如果在脚本配置中存在变量，例如存在${date}，则需要在运行同步任务时设置变量的具体值。

   • 为了便于理解，在配置示例中增加了注释内容，实际使用脚本时请删除所有注释内容。

   {
       "type": "job", //不能修改。
       "version": "2.0", //版本号，不能修改。
       "steps": [
           {
               "stepType":"ots",//插件名，不能修改。
               "parameter":{
                   "datasource":"otssource",//表格存储数据源名称，请根据实际填写。
                   "newVersion":"true",//使用新版otsreader。
                   "mode": "normal",// 行模式读取数据。
                   "isTimeseriesTable":"false",// 配置该表为宽表（非时序表）。
                   "column":[//需要导出到OSS的列名，不能设置为空。
                       {
                           "name":"column1"//Tablestore中列名，此列需要导入到OSS。
                       },
                       {
                           "name":"column2"
                       },
                       {
                           "name":"column3"
                       },
                       {
                           "name":"column4"
                       },
                       {
                           "name":"column5"
                       }
                   ],
                   "range":{
                       "split":[ //用于配置Tablestore的数据表的分区信息，可以加速导出。一般情况下无需配置。
                       ],
                       "end":[//Tablestore中结束主键信息。如果需要导出全量数据，此处请配置为INF_MAX；如果只需导出部分数据，则按需配置。当数据表存在多个主键列时，此处end中需要配置对应主键列信息。
                           {
                               "type":"STRING",
                               "value":"endValue"
                           },
                           {
                               "type":"INT",
                               "value":"100"
                           },
                           {
                               "type":"INF_MAX"
                           },
                           {
                               "type":"INF_MAX"
                           }
                       ],
                       "begin":[//Tablestore中起始主键信息。如果需要导出全量数据，此处请配置为INF_MIN；如果只需导出部分数据，则按需配置。当数据表存在多个主键列时，此处begin中需要配置对应主键列信息。
                           {
                               "type":"STRING",
                               "value":"beginValue"
                           },
                           {
                               "type":"INT",
                               "value":"0"
                           },
                           {
                               "type":"INF_MIN"
                           },
                           {
                               "type":"INF_MIN"
                           }
                       ]
                   },
                   "table":"datatable"//Tablestore中的数据表名称。
               },
               "name":"Reader",
               "category":"reader"
           },
           {
               "stepType": "oss",//插件名，不能修改。
               "parameter": {
                   "nullFormat": "null", //定义null值的字符串标识符方式，可以是空字符串。
                   "dateFormat": "yyyy-MM-dd HH:mm:ss",//日期格式。
                   "datasource": "osssource", //OSS数据源名称，请根据实际填写。
                   "envType": 1,
                   "writeSingleObject": true, //将同步数据写入单个oss文件。
                   "writeMode": "truncate", //当同名文件存在时系统进行的操作，全量导出时请使用truncate，可选值包括truncate、append和nonConflict。truncate表示会清理已存在的同名文件，append表示会增加到已存在的同名文件内容后面，nonConflict表示当同名文件存在时会报错。
                   "encoding": "UTF-8", //编码类型。
                   "fieldDelimiter": ",", //每一列的分隔符。
                   "fileFormat": "csv", //导出的文本类型，取值范围包括csv、text、parquet和orc。
                   "object": "tablestore/20231130/myotsdata.csv" //Object的前缀，无需包括Bucket名称，例如tablestore/20231130/。如果是定时导出，则此处需要使用变量，例如tablestore/${date}，然后在配置调度参数时配置${date}的值。
               },
               "name": "Writer",
               "category": "writer"
           },
           {
               "name": "Processor",
               "stepType": null,
               "category": "processor",
               "copies": 1,
               "parameter": {
                   "nodes": [],
                   "edges": [],
                   "groups": [],
                   "version": "2.0"
               }
           }
       ],
       "setting": {
           "executeMode": null,
           "errorLimit": {
               "record": "0" //当错误个数超过record个数时，导入任务会失败。
           },
           "speed": {
               "concurrent": 2, //并发度。
               "throttle": false
           }
       },
       "order": {
           "hops": [
               {
                   "from": "Reader",
                   "to": "Writer"
               }
           ]
       }
   }

3. 单击图标，保存配置。

   说明

   执行后续操作时，如果未保存脚本，则系统会出现保存确认的提示，单击确认即可。