检索需求概述
- 目标：从 payment-* 索引中检索近 24 小时支付失败日志，条件为 status=failed 且 amount>0
- 输出：
- 返回原始样例 10 条（按时间倒序）
- 聚合 Top10 error_code 及出现次数
- 用途：用于告警阈值调整与接口排障
数据库环境说明
- 数据库类型：Elasticsearch（通过 REST API 调用）
- 索引模式：payment-*
- 时间字段假定为 @timestamp（如实际字段不同请替换）
- 字段类型建议：
- status：keyword（或使用 status.keyword 子字段）
- error_code：keyword（或使用 error_code.keyword 子字段）
- amount：numeric（integer/long/double）
- 权限要求（最小化）：对 payment-* 拥有 indices:data/read/search 权限
具体检索指令
说明：以下请求在 24 小时窗口内进行过滤，按时间倒序返回 10 条原始样例，同时计算 Top10 error_code 的计数。考虑到国内常见东八区，可在 range 中配置 time_zone（若 ES 集群使用 UTC 或您希望使用 UTC，则可移除 time_zone）。
cURL 示例：
curl -s -X POST "https://:9200/payment-*/_search?ignore_unavailable=true&allow_no_indices=true"
-H "Content-Type: application/json"
-H "Authorization: ApiKey <your_api_key>"
-d '{
"track_total_hits": true,
"size": 10,
"sort": [
{ "@timestamp": { "order": "desc" } }
],
"query": {
"bool": {
"filter": [
{
"range": {
"@timestamp": {
"gte": "now-24h",
"lt": "now",
"time_zone": "+08:00"
}
}
},
{ "term": { "status.keyword": "failed" } },
{ "range": { "amount": { "gt": 0 } } }
]
}
},
"aggs": {
"top_error_code": {
"terms": {
"field": "error_code.keyword",
"size": 10,
"order": { "_count": "desc" },
"missing": "MISSING"
}
}
}
}'
Kibana Dev Tools 控制台（如无需鉴权与协议）：
GET payment-*/_search?ignore_unavailable=true&allow_no_indices=true
{
"track_total_hits": true,
"size": 10,
"sort": [
{ "@timestamp": { "order": "desc" } }
],
"query": {
"bool": {
"filter": [
{
"range": {
"@timestamp": {
"gte": "now-24h",
"lt": "now",
"time_zone": "+08:00"
}
}
},
{ "term": { "status.keyword": "failed" } },
{ "range": { "amount": { "gt": 0 } } }
]
}
},
"aggs": {
"top_error_code": {
"terms": {
"field": "error_code.keyword",
"size": 10,
"order": { "_count": "desc" },
"missing": "MISSING"
}
}
}
}
可选优化（若仅需关键字段而非完整原始 _source，可加快传输并减少内存占用）：
- 增加 _source 过滤（示例）
"_source": ["@timestamp","order_id","user_id","status","amount","error_code","message"]
执行步骤说明
- 确认字段与映射
- 确认时间字段为 @timestamp，否则替换为实际字段
- 确认 status、error_code 为 keyword 类型（或使用 .keyword 子字段）
- 确认 amount 为 numeric 类型
- 在具备相应读权限的环境中执行 cURL 或在 Kibana Dev Tools 运行请求
- 若索引可能不存在或当天无数据，保留 ignore_unavailable=true 与 allow_no_indices=true 避免报错
- 根据返回的聚合结果与样例日志，分析错误分布与典型失败样例，用于告警阈值调整与排障
- 如需特定时区统计，调整 time_zone；如使用 UTC，删除 time_zone 参数
预期结果描述
- hits.total：满足过滤条件的失败日志总量（track_total_hits=true 时为精确计数）
- hits.hits：返回 10 条最新的失败日志原始文档
- aggregations.top_error_code.buckets：长度最多为 10 的桶数组，元素示例：
- key：具体 error_code 值（或 "MISSING" 表示文档无该字段）
- doc_count：该 error_code 对应的失败次数
示例：
"aggregations": {
"top_error_code": {
"buckets": [
{ "key": "PAY_1001", "doc_count": 532 },
{ "key": "PAY_TIMEOUT", "doc_count": 417 },
...
]
}
}
注意事项提醒
- 字段映射
- 若 status 或 error_code 为 text 类型，请使用其 keyword 子字段（如 status.keyword），避免 terms 聚合报错或性能问题
- amount 必须为数值类型，否则 range 查询会失败
- 时区与时间窗口
- 使用 time_zone 对齐业务时区（如 +08:00），否则使用 UTC
- 如需固定窗口（非 rolling 24h），可用固定时间范围："gte": "2025-12-02T00:00:00+08:00", "lt": "2025-12-03T00:00:00+08:00"
- 性能优化
- 已使用 bool.filter 走 filter context，可被缓存，性能优于 must+term
- terms 聚合对高基数字段内存消耗较大，size=10 已限制返回；如基数极高且内存紧张，可在 off-peak 时段执行或改用采样策略（search.sample）
- 如仅调试样例，可去掉 track_total_hits 或设为整型阈值以降低计算成本
- 结果准确性
- 使用 track_total_hits=true 以获取准确总数，便于告警阈值对齐
- 索引滚动或延迟写入可能导致 near-real-time 偏差，若对一致性敏感，可在查询前刷新：POST payment-*/_refresh（需谨慎使用，避免频繁刷新带来开销）
- 安全与权限
- 仅在授权范围内访问 payment-* 索引
- 不要在生产上使用过大的 size 或无必要的大字段 _source 返回，避免泄露信息与资源消耗
如需把结果转为可直接用于告警的结构（例如只返回 top N 的 error_code + 计数与 total），可在当前检索基础上增加对返回 JSON 的二次处理；如需我输出一个 jq/脚本示例可继续告知。
