1、实战问题
2、问题分析类似问题,样例数据单看计算不复杂,“beijing” 2 个,“上海” 2 个,“beijing”占比: 2/(2+2) = 50%; "shanghai"同样计算,占比 50%。 业务层面,建议获取到分桶聚合结果后,直接代码求解百分比效率更高。 仅就上面数据解释如下,两个步骤搞定。
获取结果如下截图所示。 第二步:业务代码层面(python或Java或其他),直接来个除法搞定。 如上,才是效率最高的方案,尤其数据量巨大的业务场景。 问题来了,我就想让 Elasticsearch 搞定计算,怎么办? 我们需要在刚才分桶聚合的基础上,获取桶内“beijing”、“shanghai”的值,然后做除法。 这里的除法本质会用到 Elasticsearch Pipeline 子聚合 bucket_script 的概念。 讲到这里,有必要再把聚合梳理一遍。 3、聚合详解3.1 聚合全局认知聚合分类 核心分为三大类: (1)Bucket 分桶聚合通俗举例:开篇示例,按照“city”分桶,“beijing”一桶、“shanghai”一桶。 协议分桶聚合饼图 时间走势聚合示意图 (2)Metrics 指标聚合通俗举例:求一组数据中的最大值;求一组数的平均值。 (3)Pipeline子聚合(基于聚合的聚合)通俗举例:以B站视频为例,首先按年度统计每年最大观看量视频,然后再统计观看量最大视频所在的年份(基于聚合再聚合)。 如果基础概念还有点模糊,推荐阅读:基于儿童积木玩具图解 Elasticsearch 聚合。 3.2 Pipeline子聚合全局认知子聚合核心又可以分为两类:
分类的依据更通俗讲是语法规则的不同。 4、Pipeline子聚合详解为了更清楚的说明两者的不同,重构了样例数据如下。
4.1 sibling 子聚合举例
(1)按照月份统计:使用 bucket 分桶聚合的date_histogram时间走势直方图聚合实现。 (2)每个月的总销量:在按照月份统计的基础上进行嵌套聚合,借助Metric指标聚合的sum实现。 (3)获取月总销量最大的月份:使用 Pipeline 子聚合的 Max_bucket 实现。 最终实现:
4.2 parent 子聚合举例
(1)按照 city 分桶:获取“beijing”、“shanghai”的 bucket 分桶聚合结果。 (2)计算百分比:借助 “bucket_script” 脚本子聚合实现。 这里实现层面不简单是上面的两步就可以完成。 核心原因在于:bucket_script 是 “parent”类型的子聚合,进一步说,它需要嵌套在外层聚合的里面,外层聚合就相当于它的“parent”,新加的子聚合相当于“child”。 外层怎么加,这个类似咱们之前的实现:图解:Elasticsearch 8.X 如何求解环比上升比例? 需要借助 filters 过滤聚合整出一个全量数据集,然后在此基础上统计分桶、桶内数据量,并借助 bucket_script 实现百分比。 具体实现如下:
不常用参数:bucket_by_city['beijing']>_count 含义如下: 折叠图如下图所示,parent 类别的含义由此而来。 最终百分比结果如下: 至此,开篇问题求解完毕。 5、bucket_script、bucket_selector、bucket_sort 的定义和应用场景?
这三类都属于 parent 类型的子聚合。子聚合的核心是对前置聚合结果的二次聚合,所以,只有业务需求有对聚合结果再聚合的场景才考虑子聚合。 bucket_script 是一种特殊的子聚合功能,它允许我们在聚合的桶中执行脚本。 应用举例:可以使用脚本来计算每个桶的平均值、百分比(如本文示例)、环比及标准差等。 bucket_selector 是一种特殊的子聚合功能,它允许我们选择某些桶并对其进行子聚合。 应用举例:可以使用选择器选择某些桶并统计它们的总和。 bucket_sort 是一种排序功能,它允许我们按指定顺序对桶进行排序。 应用举例:可以按照每个桶的计数进行排序,以便查看最频繁的项目。 在实际应用场景中,可以根据需要选择使用上述功能中的一个或多个。 应用举例:可以对某个字段的值进行分组,然后使用 bucket_sort 对分组后的桶进行排序,并使用bucket_script在桶中执行脚本,最后使用bucket_selector选择某些桶并对其进行聚合。 这样,我们可以对业务数据进行多层次的分析和统计功能。 6、小结由百分比的问题引申出聚合分类,由聚合分类引申出Pipeline 子聚合的两个子类型:parent、sibling(兄弟)的区别,更进一步引申出bucket_script、bucket_selector、bucket_sort的定义和应用场景。为后续类似问题提供参考。 推荐视频解读: 参考https://www./guide/en/elasticsearch/reference/current/search-aggregations.html |
|