← 返回文章列表
更新日志 4 分钟阅读 炬鲸团队

炬鲸 OBSERVE v2.5.0 发布:日志管道与告警降噪

v2.5.0 上线日志管道、告警降噪引擎与跨服务指标关联三大新功能,SQL 聚合平均提速 40%,并修复 arm64 时区、Collector 内存泄漏等多项问题,附升级步骤。

新功能

本次更新的重点是把日志从"存下来能搜"升级到"可加工、可路由":

  • 日志管道(Log Pipeline):支持在采集端对日志做解析、过滤、字段提取、脱敏后再入库。比如把 nginx access log 拆成 status、upstream_time、request_uri 等字段,后续直接用 SQL 查
  • 告警降噪引擎:同源告警自动聚合,支持静默窗口、告警抑制(升级后自动压制低级别告警)、去重去抖
  • 跨服务指标关联:在链路视图里直接叠加下游服务的 QPS、错误率,一眼看出瓶颈在哪一段

管道配置支持 YAML 声明式管理,改完热生效,不用重启采集器。一个 nginx 拆字段的例子:

pipelines:
  - name: nginx-access
    match: source == "nginx"
    steps:
      - parse:
          format: regex
          pattern: '^(?P<ip>\S+) .* "(?P<method>\S+) (?P<request_uri>\S+)" (?P<status>\d+) .* (?P<upstream_time>\S+)$'
      - mask:
          fields: [ip]

配置保存后立刻对新增日志生效,存量日志不做回刷。

改进

  • 查询性能:SQL 聚合查询平均快 40%,得益于新的向量化执行与分区裁剪
  • 索引管理:新增自动冷热分层,30 天前数据自动转对象存储,查询透明
  • 链路采样:支持按错误率动态调整采样比例,异常时段自动提高采样
  • 控制台:拓扑图支持按 namespace、环境过滤,大屏支持自定义指标卡

修复

  • 修复 arm64 环境下 timezone 初始化失败导致日志时间偏移的问题(对应麒麟部署里的坑)
  • 修复 Collector 高并发下偶发的内存泄漏,长时间运行不再缓慢上涨
  • 修复达梦数据库元数据连接在重启后断连不重试的问题
  • 修复日志检索中高基数字段 GROUP BY 偶发超时

升级说明

从 v2.4.x 升级:

./upgrade.sh --version 2.5.0

升级脚本会自动备份配置与元数据,数据目录原地保留。升级顺序建议:先升级查询层,再升级采集器,最后升级告警模块,全程滚动、不中断写入。升级后建议先在灰度环境验证管道配置语法,再推到生产。

已知问题:v2.4.0 及更早版本直接升级时,旧的自定义告警规则需要手动迁移一次(脚本提供 migrate-alerts 子命令);迁移只跑一次,重复执行会重复创建规则,务必在单节点上执行。完整的变更记录见官网文档 Changelog 页。