场景
可观测性平台通过采集、存储、可视化分析日志(Logs)、追踪(Trace)和指标(Metrics)等数据,帮助企业洞察分布式系统的运行状态,支撑资源优化、预警机制、故障分析等重要场景,以提升系统可靠性与用户体验。随着数据量增加和系统越来越复杂,可观测性平台都面临着诸多挑战。
成本效益
随着业务的拓展,企业在确保查询性能的同时,面临海量数据写入和存储成本的不断增加。
半结构化数据
在日志和追踪中,常见 JSON 等半结构化数据,需要满足 Schema 灵活性同时,实现高效存储和分析。
多样性与开放性
在多样化的技术环境中,可观测性系统的开放性和多样性至关重要,需要支持灵活部署和提供丰富的工具生态。
高性能、低成本
在保持倒排索引的同时,磁盘空间较 Elasticsearch 减少 80%,整体性价比达 10 倍
提升数据解析、索引构建的性能,使写入速度提升 5 倍
全文搜索速度提升 2 倍
灵活的半结构化数据类型
自动识别 JSON 数据中的字段名和类型,并采用列式存储
借助单副本写入,实现 3 倍压缩率
通过灵活 Schema,使分析性能提升 8 倍
开源开放、多云一致
与常见可观测性工具集成,如 ELK、OpenTelemetry 和 Grafana
提供多云一致服务,包括阿里云、腾讯云、华为云以及亚马逊云科技
Apache Doris 开源项目的主要贡献者
易于操作与使用
支持自动扩展和负载均衡
易于操作的可视化集群管理工具
支持标准 SQL 和 MySQL 兼容性,使开发对接更简单
早期日志系统基于 Grafana Loki,存在资源消耗大、写入性能差和稳定性不足的问题。在改用基于 Apache Doris 的新系统后,接入了所有业务线的日志数据,数据规模达 PB 级,系统可用性超 99.9%,10 亿级日志检索达秒级响应。
借助 SelectDB 的倒排索引、Variant 数据类型以及冷热数据分层存储等功能,观测云的日志存储和分析服务得到了显著增强。这不仅使我们的 存储成本降低了 70%,还将查询性能提升 4 倍,最终实现了整体性价比的 10 倍提升。
与 Elasticsearch 相比,Apache Doris 查询速度提升 11 倍,存储资源节省 70%。Doris 的列式存储和 ZSTD 高压缩比,让同样数据存储空间大幅减少,还能用 SSD 替代 HDD 存储热数据,进一步提升查询性能。此外,Doris 查询更加稳定,查询耗时基本在 4 秒内,最快 1 秒响应。
中信银行信用卡中心每天新增 140 亿条日志数据(80TB),总归档量超 40PB。早期的日志平台,存储成本高,写入和检索速度慢,分析能力也有限。升级至 Apache Doris 后,资源投入降了 50%,查询速度提升了 2 - 4 倍,运维效率也大幅提高。
基于 HTTP 的数据接入
为 ELK 生态系统提供 Logstash 和 Filebeat 输出插件,OpenTelemetry 导出器,Fluentbit 输出插件,以及通过例行加载任务拉取 Kafka 消息。
高性能、低成本的统一存储引擎
统一存储日志 (Log)、追踪 (Trace) 和指标 (Metrics) 数据,具备高压缩比和快速查询功能,包括全文搜索和聚合分析。
可视化搜索与分析
兼容两大主要的可观测性可视化工具,包括 ELK 生态系统中的 Kibana(即将推出) 和开放生态系统中的 Grafana。此外,提供专用日志检索的 GUI 工具 SelectDB Studio。