赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 开发参考
  5. 日志服务SDK
  6. Python SDK
  7. 使用Python SDK管理索引

使用Python SDK管理索引

  • Python SDK
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

索引是一种倒排的数据存储结构,由关键词和指向实际数据的逻辑指针组成,用于快速根据关键词定位到具体数据行,类似于数据的目录。您只有配置索引后,才能进行查询和分析操作。本文通过代码示例介绍如何创建、修改、查询、删除索引。

前提条件

  • 已开通日志服务。更多信息,请参见开通日志服务。

  • 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权。

  • 已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见在Linux、macOS和Windows系统配置环境变量。

    重要
    • 阿里云账号的AccessKey拥有所有API的访问权限,建议您使用RAM用户的AccessKey进行API访问或日常运维。

    • 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。

  • 已安装日志服务Python SDK。具体操作,请参见安装Python SDK。

  • 已创建日志服务Project、Logstore并完成日志采集。具体操作,请参见创建项目Project、创建Logstore和数据采集概述。

注意事项

本示例以华东1(杭州)的公网Endpoint为例,其公网Endpoint为https://cn-hangzhou.log.aliyuncs.com。如果您通过与Project同地域的其他阿里云产品访问日志服务,请使用内网Endpointhttps://cn-hangzhou-intranet.log.aliyuncs.com。关于日志服务支持的地域与Endpoint的对应关系,请参见服务入口。

计费说明

Logstore的计费方式,包含按写入数据量计费和按使用功能计费。具体信息,请参见管理Logstore、按使用功能计费模式计费项和按写入数据量计费模式计费项。

按写入数据量计费的logstore

  • 创建的索引会占用存储空间,存储类型请参见管理智能存储分层。

  • 重建索引不产生费用。

按使用功能计费的logstore

  • 创建的索引会占用存储空间,存储类型请参见管理智能存储分层。

  • 创建索引会产生流量,索引流量计费请参见按使用功能计费模式计费项中的索引流量-日志索引和索引流量-日志索引-查询型。降低索引流量的建议,请参见文末的相关文档。

  • 重建索引会产生费用。计费项、计费价格和创建索引相同。

原始日志样例

body_bytes_sent:1750
host:www.example.com
http_referer:www.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.XX.XX
remote_addr:203.0.XX.XX
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
http_code:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66

创建索引示例代码

控制台界面支持界面化配置索引,操作更便捷。具体操作,请参见创建索引。

以下代码用于创建索引。该示例中,基于原始日志样例,开启全文索引,为request_method、status字段开启字段索引。

索引配置

from aliyun.log import LogClient, IndexConfig
import os

# 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服务的服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 创建日志服务Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名称。
project_name = "ali-test-project"
# Logstore名称。
logstore_name = "ali-test-logstore"


if __name__ == '__main__':
    # 创建索引前,必须规划好全文索引、字段索引配置。该示例中,开启全文索引,为request_method、status字段开启字段索引。
    logstore_index = {'line': {
        'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n',
                  '\t',
                  '\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text',
                                                                                 'token': [',', ' ', "'", '"', ';', '=',
                                                                                           '(', ')', '[', ']', '{', '}',
                                                                                           '?', '@', '&', '<', '>', '/',
                                                                                           ':', '\n', '\t', '\r'],
                                                                                 'caseSensitive': False, 'alias': '',
                                                                                 'doc_value': True, 'chn': False},
                                                                         'status': {'type': 'long', 'alias': '',
                                                                                'doc_value': True}},
        'log_reduce': False,
        'max_text_len': 2048}

    print("ready to create index")
    index_config = IndexConfig()
    index_config.from_json(logstore_index)
    client.create_index(project_name, logstore_name, index_config)
    print("create index success ")

预期结果如下:

ready to create index
create index success

更新索引示例代码

控制台界面支持界面化配置索引,操作更便捷。具体操作,请参见创建索引。

以下代码用于更新索引。该示例中,基于原始日志样例,开启全文索引,为request_method、status开启字段索引,并设置request_method字段大小写敏感为True。

更新索引

from aliyun.log import LogClient, IndexConfig
import os

# 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服务的服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 创建日志服务Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名称。
project_name = "ali-test-project"
# Logstore名称。
logstore_name = "ali-test-logstore"


if __name__ == '__main__':
    # 设置request_method字段大小写敏感为True。
    logstore_index = {'line': {
        'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n',
                  '\t',
                  '\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text',
                                                                                 'token': [',', ' ', "'", '"', ';', '=',
                                                                                           '(', ')', '[', ']', '{', '}',
                                                                                           '?', '@', '&', '<', '>', '/',
                                                                                           ':', '\n', '\t', '\r'],
                                                                                 'caseSensitive': True, 'alias': '',
                                                                                 'doc_value': True, 'chn': False},
                                                                         'status': {'type': 'long', 'alias': '',
                                                                                'doc_value': True}},
        'log_reduce': False,
        'max_text_len': 2048}

    print("ready to update index")
    index_config = IndexConfig()
    index_config.from_json(logstore_index)
    client.update_index(project_name, logstore_name, index_config)
    print("update index success ")

预期结果如下:

ready to update index
update index success

查询索引示例代码

以下代码用于查询指定Logstore的索引信息。

from aliyun.log import LogClient, IndexConfig
import os

# 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服务的服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 创建日志服务Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名称。
project_name = "ali-test-project"
# Logstore名称。
logstore_name = "ali-test-logstore"


if __name__ == '__main__':
    # 查询索引。
    print("ready to list index")
    res = client.get_index_config(project_name, logstore_name)
    print("The index config is :%s" % res.get_index_config().to_json())
    print("list index success ")

预期结果如下:

ready to list index
The index config is :{'line': {'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n', '\t', '\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text', 'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n', '\t', '\r'], 'caseSensitive': True, 'alias': '', 'doc_value': True, 'chn': False}, 'status': {'type': 'long', 'alias': '', 'doc_value': True}}, 'log_reduce': False, 'max_text_len': 2048}
list index success

删除索引示例代码

以下代码用于删除指定Logstore的索引信息。

from aliyun.log import LogClient, IndexConfig
import os

# 本示例从环境变量中获取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服务的服务接入点。此处以杭州为例,其它地域请根据实际情况填写。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 创建日志服务Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名称。
project_name = "ali-test-project"
# Logstore名称。
logstore_name = "ali-test-logstore2"


if __name__ == '__main__':
    # 删除索引。
    print("ready to delete index")
    client.delete_index(project_name, logstore_name)
    print("delete index success ")

预期结果如下:

ready to delete index
delete index success

相关文档

  • 阿里云OpenAPI开发者门户提供调试、SDK、示例和配套文档。通过OpenAPI,您无需手动封装请求和签名操作,就可以快速对日志服务API进行调试。更多信息,请参见OpenAPI开发者门户。

  • 控制台操作索引请参见创建索引。

  • 为满足越来越多的自动化日志服务配置需求,日志服务提供命令行工具CLI(Command Line Interface)。更多信息,请参见日志服务命令行工具CLI。

  • 关于Index API接口说明,请参见如下:

    • CreateIndex - 创建索引

    • GetIndex - 获取索引

    • UpdateIndex - 更新索引

    • DeleteIndex - 删除索引

  • 更多示例代码,请参见Aliyun Log Python SDK on GitHub。

相关文章

Python SDK概述 2025-04-22 10:35

日志服务Python SDK封装了日志服务的大部分API接口。您可以通过日志服务Python SDK方便地调用日志服务的大部分API接口。 版本说明

安装日志服务Python SDK 2025-04-22 10:35

本文介绍安装Python SDK的方法。安装日志服务Python SDK后,即可在编写代码时调用日志服务SDK的接口。本文介绍如何安装日志服务Python SDK。 前提条件

初始化日志服务Python SDK 2025-04-22 10:35

LogClient是日志服务的客户端,它为调用者提供了一系列的方法,可以用来创建Project和Logstore、写入日志、读取日志等。使用Python SDK发起请求,您需要初始化一个LogClient实例,并根据需要修改默认配置项。 前提条件 安装日志服务Python SDK。

Python SDK快速入门 2025-04-22 10:35

本文介绍如何快速使用日志服务Python SDK完成常见操作,包括创建项目(Project)、创建日志库(Logstore)、写入日志和查询日志等。 前提条件

通过Python SDK使用SQL独享版 2025-04-22 10:35

本文介绍通过Python SDK使用SQL独享版的代码示例。 前提条件 您已完成以下操作:

通过Python SDK管理告警 2025-04-22 10:35

本文介绍通过Python SDK使用告警的代码示例。 前提条件 您已完成以下操作:

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号