【开源自荐】一款通用型流式大数据统计系统

[xl-xueling]

推荐项目

• 项目地址：https://github.com/xl-xueling/xl-lighthouse.git

• 类别：Java

• 项目标题：一款通用型流式大数据统计系统

• 项目描述：XL-LightHouse是针对繁杂的数据统计需求而开发的一套集成了数据写入、数据运算和数据可视化等一系列功能，支持超大数据量，支持超高并发的【通用型流式大数据统计系统】。目前已涵盖了各种流式数据统计场景，包括count、sum、max、min、avg、distinct、topN/lastN等多种运算，支持多维度计算，支持分钟级、小时级、天级多个时间粒度的统计，支持自定义统计周期的配置。内置丰富的转化类函数、支持表达式解析，可以满足各种复杂的条件筛选和逻辑判断。并且提供了完善的可视化查询功能，对外提供API查询接口，此外还包括数据指标管理、权限管理、统计限流等多种功能。

可以用来做什么？
1、可以为企业决策层提供其所关注的平台交易额、交易量、下单用户数、订单平均金额、人均消费金额等指标；
2、可以为产品经理提供其所负责产品模块的pv、uv和点击率等指标；
3、可以为运营人员提供关注的拉新用户量，站内广告点击量、点击收益等指标；
4、可以为开发人员提供其关注的接口调用量、异常量、耗时情况等指标，可以辅助进行压力测试；
5、可以为算法工程师提供其关注的模型训练时长、模型上线后的效果评测等指标，可以辅助进行ABTest；
6、可以为运维人员提供其关注的是线上集群的CPU、内存、负载状况、IO、请求数、流量传输大小等监控指标；
7、可以为UI设计师提供其关注的不同设计方案的点击转化对比情况；
8、可以为数据分析师提供全面的数据指标更准确判断业务短板、业务走势、辅助决策层有针对性制定营销计划；
9、可以轻松实现对各类复杂业务逻辑各主要环节的数据监控，及时发现问题并辅助问题排查。
10、可以快速建立数据指标之间的交叉验证体系，轻松验证数据指标的准确性。
11、可以面向物联网及工业互联网场景实现各类设备上报数据相关指标统计和监控。

• 亮点：XL-LightHouse是开源社区第一个也是目前唯一一个通用型流式数据统计系统。本项目依据流式统计的运算特点而设计，并对每一种运算单元进行反复优化，使得每一种运算单元可以以非常低的成本，无限制复用。基于该项目可以短时间内快速实现庞大量级数据指标，而这是Flink、Spark、ClickHouse、Doris之类技术所不能比拟的。轻量级开箱即用，一键部署、一行代码接入、普通工程人员即可轻松驾驭，并且除了大数据版本外，同时支持单机版本，可以满足中小业务团队的使用。

• 截图：
  
  
  
  
  
  
  
  
  
  

• 后续更新计划：
  1、Web端持续增加各种实用的统计分析和数据可视化类功能；
  2、底层运算逻辑的持续优化；