Azure 中使用 Elasticsearch(Elastic Cloud)的要点(上篇)

本文作为Azure 中使用 Elasticsearch(Elastic Cloud)的要点上篇,将介绍操作 Elastic Cloud 所需的各类设置的实施步骤。

本文中,Elastic Cloud(Elasticsearch Service)将统一表述为 “Elastic Cloud”。

1. 监控设置(Metric/Logs)

关于监控功能

利用监控功能,可一目了然地掌握集群状态;且当发生任何问题时,能够从资源和日志两方面快速开展问题排查。

在 Elastic Cloud 中启用监控功能

监控功能默认未启用,需通过以下步骤进行启用:

(1) 访问 Elastic Cloud 的 Deployment页面,点击菜单中的 “Logs and metrics”

点击 “Logs and metrics”

(2) 点击 “Ship to a deployment”中的 “Enable”

点击 “Enable”

(3) 选择已构建的 Deployment,点击 “Save”

监控功能即启用成功。

点击 “Save”

查看 Metric

通过 Metric 可查看 Elastic Stack 各组件的服务器资源占用情况:

(1) 在 Kibana 页面左侧菜单中,点击 “Stack Monitoring”

点击 “Stack Monitoring”

(2) 点击 Elasticsearch 的 “Overview”

在概览中,可实时查看 Elasticsearch 整体的搜索性能与索引性能。

点击 “Overview”

(3) 在 Elasticsearch 的「Nodes」中,选择一个实例并点击

从「Nodes」(节点)中选择一个实例并点击

可实时查看每台服务器的资源状况。

查看 Metric

查看 Logs(日志)

通过 Logs 可实时查看、筛选日志并开展排查工作:

(1) 在 Kibana 页面左侧菜单中,点击 “Logs”

点击 “Logs”

在 Stream(流)页面中,会实时显示已导入 Elasticsearch 的各类日志。

日志实时显示

(2) 在画面顶部的搜索框中输入 “error”,执行日志筛选

可通过筛选日志开展问题排查。

输入 “error” 并执行日志筛选

修改 Metric(指标)的保留期限

Metric 的默认保留期限为 3 天。由于不同需求对应的保留期限可能不同,下面我们来修改这一设置:

(1) 在 Kibana 页面左侧菜单中,点击 “Stack Management”

点击 “Stack Management”

(2) 点击 “Index Lifecycle Policies”(索引生命周期策略)

点击 “Index Lifecycle Policies”

(3) 在搜索框中输入 “.monitoring”,点击显示结果中的 “.monitoring-8-ilm-policy”

点击 “.monitoring-8-ilm-policy”

Elasticsearch 会将索引按 “阶段(Phase)” 进行管理,阶段的转换条件通过 ILM(Index Lifecycle Management,索引生命周期管理)进行定义。

详情可参考以下链接:ILM: Manage the index lifecycle | Elasticsearch Guide [8.14] | Elastic

修改前的设置如下表所示:

阶段设置值
Hot 阶段索引创建后 3 天,或主分片大小达到 50GB 以上时,对索引执行 Rollover(滚动更新)
Warm 阶段执行 Forcemerge(强制合并),将分片段数合并为 1
Delete 阶段滚动更新后 3 天,删除该索引

简单来说,Hot 阶段中定义的 “Rollover(滚动更新)” 是指当满足特定条件时,自动创建新索引的功能。

详情可参考以下链接:Rollover | Elasticsearch Guide [8.14] | Elastic

(4) 将 Delete 阶段的数值从 “3 days”修改为 “31 days”,点击 “Save Policy”

修改设置并点击 “Save Policy”

通过上述步骤,已完成设置修改,滚动更新后 31 天的索引将被自动删除。

2. Snapshot设置

关于 Snapshot设置

在 Elastic Cloud 中,默认设置为每 30 分钟获取一次快照。下面我们对该设置进行确认与修改:

(1) 在 Kibana 页面左侧菜单中,点击 “Stack Management”

点击 “Stack Management”

(2) 点击 “Snapshot and Restore”

点击 “Snapshot and Restore”

(3) 点击 “Policies”标签页,点击 “cloud-snapshot-policy” 右侧的 “Edit”按钮

点击 “Edit” 按钮

(4) 修改「Schedule」的设置值

时间设置可通过 Cron 表达式进行配置。另外,请注意时间采用 UTC 时区。

详情可参考:API conventions | Elasticsearch Guide [8.14] | Elastic

修改 “Schedule” 的设置值

(5) 根据需要修改 “Expiration”、“Snapshots to retain”的设置值

根据需要修改设置

(6) 点击 “Save policy”

点击 “Save policy”

(7) 点击 “cloud-snapshot-policy”,查看 “Summary”

修改后,Snapshot将在每天 0 点自动获取。

查看 “Summary”

3. 告警设置

关于 Elastic Cloud 的告警功能

在 Elastic Cloud 中,可通过 Alert功能实现监控与通知。此外,系统默认提供了多个可配置的监控项,便于快速完成 Alert设置。下面我们通过创建默认规则来使用 Alert功能:

(1) 从左侧菜单点击 “Stack Monitoring”,在监控页面右上角选择 “alerts and rules”,点击 “Create default rules”

点击 “Create default rules”

(2) 点击 “Create”至此,告警设置完成。最后我们来确认已创建的规则列表。

点击 “Create”

(3) 点击 “Stack Management”,选择 “Alerts”,然后点击页面右上角的 “Manage rules”

点击 “Manage rules”

此时会显示已创建的规则列表。通过编辑规则,可修改触发条件及配置通知方式。

已创建的规则列表

例如,“CPU Usage”规则会在 CPU 使用率 5 分钟平均值超过 85% 时触发检测并发送通知。

CPU Usage(CPU 使用率)

另外,默认设置下通知会输出至 Kibana 日志,但也可使用邮件、Slack 等多种连接器作为通知渠道。

连接器列表

总结

在实际操作过程中,除了上述 设置外,可能还需要应对以下需求:

  • 版本升级对应
  • 审计日志

因此,我们将在下次的文章中对上述内容进行讲解。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注