高级预览

操作步骤

1. 登录日志服务控制台。

2. 进入数据加工页面。

   1. 在Project列表区域，单击目标Project。

   2. 在日志存储 > 日志库页签中，单击目标Logstore。

   3. 在查询和分析页面，单击数据加工。

3. 在页面右上角，选择数据的时间范围。

   选择时间范围后，请确认原始日志页签中存在日志。

4. 在编辑框中，输入数据加工语句。
   加工语句的语法请参见数据加工语法。

   说明 编辑框中的加工语句支持注释，您可以使用此功能逐行调试。

5. 预览数据。

   1. 在页面右上角，单击高级。

   2. 单击预览数据。

   3. 在添加预览配置页面，配置如下参数，然后单击确定。

      首次预览数据时，需配置如下参数。后续可通过单击修改预览配置，修改如下参数。

      参数	说明
      授权方式	您可以通过如下方式授予数据加工任务读取源Logstore数据的权限。 默认角色：授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。 自定义角色：授予数据加工任务使用自定义角色来读取源Logstore中的数据。 您需先授予自定义角色读取源Logstore数据的权限，然后在角色ARN中输入您自定义角色的ARN。如何授权，请参见通过自定义角色访问数据。 密钥：授予数据加工任务使用阿里云账号或RAM用户的访问密钥来读取源Logstore中的数据。 阿里云账号：阿里云账号的访问密钥具备源Logstore数据读取权限，您在AccessKey ID和AccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥，请参见访问密钥。 RAM用户：您需先授予RAM用户读取源Logstore数据的权限，然后在AccessKey ID和AccessKey Secret中输入RAM用户的访问密钥。如何授权，请参见通过访问密钥访问数据。
      高级参数配置	对于加工语句中需要使用的密码信息（例如数据库连接密码），日志服务支持使用键值对形式保存在密钥对中，即您可以在加工语句中通过变量${key}进行引用。 单击+，可添加多个键值对。例如config.vpc.vpc_id.test1：vpc-uf6mskb0b****n9yj，表示RDS实例所属的专有网络ID。

      完成预览设置后，您可以在加工结果页签中查看预览结果。

      • 如果加工语句错误或者权限配置错误，导致数据加工失败，请根据页面提示处理。

      • 如果确认数据加工结果无误，可保存加工结果。具体操作，请参见创建数据加工任务。

示例

• 加工语句

  # e_set("insert_field", "test_value")
  e_table_map(
      res_rds_mysql(
          address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
          username="test_username",
          password="****",
          database="test_db",
          table="test_table",
      ),
      "ip",
      ["country", "province"],
  )

• 原始日志

  {
    "__source__": "192.0.2.0",
    "__time__": 1624523917,
    "__topic__": "topic",
    "id": "1001",
    "ip": "127.0.0.1"
  }

• 高级预览设置

• 加工结果