日志服务

日志服务接入指南

整体流程

步骤一：确认应用所属项目及管理员信息

ops：https://ops.cmft.com/info/unit

cmbook：https://cmbook.cmft.com/cmdb/#/analysis/system?page=1&type=subsystem

云管平台：https://cloud.cmft.com/#/projectManage

确认方式：

  1. 在Ops确认项目信息，其中一般子系统即为对应的项目信息
  2. 或在CMBook确认项目信息，其中子系统即为对应的项目信息
  3. 在云管平台确认项目管理员信息

OPS：

图片

CMBook：

图片

云管平台：

image-20210914162519381

备注：如果登录过程中出现报错，如下图： image-20220427-Vbd7F7P8b3NBmOi3.png

是因为iaas安全策略，90天都没登录过的账号会被禁用，可在itsm中提单解禁，再登录即可； 附itsm提单示例： image-20220427-1idGYVVKnxT7sbYp 账号解禁过程中，如有其它疑问，可联系iaas同事 【兰慧】 或 【叶智慧】 支持。

步骤二：管理员维护团队信息

PaaS 门户：https://paas.cmft.com/paas-console/#/index

服务路径：首页 -> 项目 -> (目标项目) -> 项目成员

image-20210914162802656

注意：请严格管理普通用户和管理员权限，且余下步骤均需要管理员执行

如果找不到项目成员，可以让项目成员先登录PaaS 门户，随后管理员刷新成员管理即可看到。

步骤三：管理员维护应用信息

服务路径：(目标项目) -> 应用管理 图片

步骤四：确认资源组数据

在门户确认是否有资源组信息，且在该应用所部署的 VPC 有资源组信息，假如没有，则新建一个虚拟机资源组，用于创建日志空间，理想情况下需要为开发、测试、生产创建3个资源组

如需更多请联系日志管理员

服务路径：(目标项目) -> 资源组 图片

步骤五：开通日志服务、创建日志空间

日志服务：https://paas.cmft.com/paas-logs/#/overview

在新建空间的时候，选择关联上一步创建的资源组即可，空间编码推荐使用租户编码-环境，例如 cmhk-uat。

图片

步骤六：配置应用的采集数据

服务路径：日志服务->应用管理->目标应用->采集配置

新建日志配置的时候，要录入正确的日志文件路径、编码、行首正则表达式(象征一行日志的开始，一般以时间戳为开始)、日志解析规则

图片

P.S.假如为金科规范日志的话，建议使用导入功能，导入配置后，修改日志文件路径信息即可

步骤七：验证应用日志

服务路径：日志服务->检索分析->历史日志

已配置应用会实时采集日志数据

图片

注：应用部署后，由于采集配置获取的延滞性，最多在不超过10min可以查看到对应日志

如果无法查看，请检查应用部署时的标签配置是否与控制台配置一致，尤其是租户、项目、应用这三个标签内容

日志服务使用指南

项目概览

项目概览模块提供了丰富、完善的日志概览数据说明，通过该页面，用户可以快速查看当前项目的日志、告警、收集器、应用等的使用情况

使用说明

概览模块包含两个子页面：

  • 今日数据，用于快速查看当天项目日志服务的使用情况，如日志数量、告警数量等
  • 资源统计，用于快速查看当前项目的日志服务资源使用情况，如日志空间、应用数量等

日志空间

日志空间是日志服务的基本管理单元，用于区分部署在不同环境的日志，提供独立的日志数据生命周期管理及日志服务。

新建日志空间

  1. 选择新建空间

  1. 填写空间编码、描述等信息，选择需要保存的天数

修改日志空间

  1. 点击空间列表右侧隐藏式菜单

  1. 选择编辑，修改对应内容

    删除日志空间

  2. 点击空间列表右侧隐藏式菜单，操作同【修改日志空间】

  3. 选择删除按钮即可

注：删除日志空间会清理空间对应的日志数据，操作请谨慎

应用管理

应用管理用于管理应用的日志收集配置、日志结构化解析规则、日志监控规则配置，管理应用的虚拟机采集器资源等。

页面概览如下图所示

注：如果无法检索到对应应用名称，请按照如下步骤检查：

  1. 检查名称是否正确
  2. 检查应用是否已接入paas门户，如未接入，请先在paas门户接入应用，再进行操作

点击对应应用名称，即可进入应用配置详情页面，如下图所示

应用配置详情页面包含四个子页面

  1. 采集配置
  2. 告警规则
  3. 应用实例
  4. 收集器

    采集配置

采集配置，用于查看、配置、修改日志采集信息，操作页面如下图所示

如果是符合金科标准日志规范，可以直接通过导入按钮快速导入日志采集配置信息，点击导入，选择日志类型即可，如下图所示

如果是其他类型应用，则需要根据具体情况来配置采集配置，点击新建，填写对应的日志采集信息，如下图所示

其中，日志解析规则用于配置自定义日志解析(不配置则已经可以正常查看日志，但不会对日志进行解析)，如果配置了解析，请先通过解析测试验证配置表达式是否正确，如下图所示

告警规则

告警规则页面，用于将应用与对应的告警规则进行绑定，只有绑定了具体应用的规则，才会进入触发状态，规则添加方式参考：【监控告警】- 【告警规则管理】

上线告警规则：

  1. 在【监控告警】-【告警规则管理】页面添加对应规则
  2. 选择目标应用，选择上线操作
  3. 填写对应绑定信息

应用实例

应用实例用于查看当前应用的每个实例的具体日志信息，如下图所示

收集器

收集器页面用于管理当前项目所属收集器，如查看、安装、卸载等

检索分析

检索分析，用于对采集上来的日志数据进行检索，分析，根据日志数据存储的时间范围，检索分析分为：历史日志分析、归档日志分析

历史日志分析

历史日志分析，是指最近一段时间内的日志检索分析，支持的时间范围较短，但检索功能全面，粒度精细，速度快

注：检索框除关键字检索外，还支持ES检索语法，具体参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax

归档日志分析

归档日志是指存储时间较长久的日志数据，支持检索的时间范围长，且具备简单的基础检索能力

注：归档日志分析检索框仅支持简单的关键字检索

日志可视化

日志可视化分析，是指基于历史日志分析之上，对最近一段时间内的日志检索分析，在保留了检索功能全面，粒度精细，速度快，的基础上添加了丰富的统计函数：最小值(Min),最大值(Max),和(Sum),中位数(Median),平均数(Average),分位(Percentiles)

及聚合函数，日期直方统计(Date Histogram)，直方统计(Histogram)，时间范围统计（Date Range），范围统计（Range），关键字端统计（Terms）。

监控告警

监控告警模块，提供了基于日志的告警模式进行应用监控，便于开发、运维人员及时发现应用问题，提高系统可用性

告警规则管理

告警规则管理页面，用于配置告警规则，操作页面如下所示

新建告警规则：

  1. 点击新建按钮
  2. 填写规则名称、基本、触发条件、触发窗口等

  1. 选择对应告警组，如果目标告警组不存在，则需先到门户新建告警组，录入告警组成员等信息，如下图所示

注：告警规则添加后，需要到【应用管理】- 【告警规则】绑定对应需要触发的应用才会实际进入触发模式

告警历史管理

告警历史页面，用于直观查看规则触发时间、趋势等情况，操作页面如下图所示：

告警明细：

运营数据

监控画像

监控画像，通过对监控告警数据进行深度分析，提供更加全面、精细、直观的监控数据分析能力

应用告警分布情况：

规则告警分布：

告警趋势：

运营分析

运营分析，通过对应用的请求信息等进行深度分析，提供更高维度的应用信息分析能力。

运营分析包含两个子模块：

  • 应用总览，直观、全面地展示应用性能及运行状况
    • 请求数据总览
    • 请求频次分布
    • 请求响应分布
    • 请求耗时分布
    • 请求流量分布
    • ....
  • 接口详情，精细化地针对接口进行分析
    • 接口请求分布
    • 接口耗时分布
    • 接口状态码分布
    • ...

请求总览：

请求频次分布：

请求响应分布：

请求耗时分布：

请求流量分布：

接口详情：

results matching ""

    No results matching ""