大数据量统计运算提速方式探讨

1、抛开升级硬件，更换开发工具、数据库软件等手段，我们可以通过空间换时间的方式来达到提速的目的。将运算从集中运算分摊到系统的空闲时间来完成，并将中间结果（或最终结果）存储，用于用户统计时使用。对比如下图：

2、具体实施时我们常用的有两种方式：

方式1：

       实时计算中间结果并存储，统计时用中间结果快速生成统计结果。

方式2：

       计算最终统计结果并存储，使用时直接显示结果。这种方式根据使用情况不同又可分为两种：

       实时运算：如当前系统的年总用水量，每次系统中有新数据则累加到总量上即可，系统结果实时更新。

       定时运算：如每月20日为结算日，这时可以在20日2点执行结算统计，并将结果存储起来供调用。

3、方式1：

       实时计算中间结果并存储，统计时用中间结果快速生成统计结果。

       优点：中间结果可以作为多种统计运算的源数据。

       缺点：系统复杂度增加；存储的数据量变大。

       关键点：

       1.中间结果的量应远小于原始数据，否则达不到加速的目的。

       2.中间结果应根据项目情况来选取，没有哪种中间结果是适用所有统计的。

       3. 需处理好原始数据与中间结果的一致性问题。

4、方式2：

       计算最终统计结果并存储，使用时直接显示结果。这种方式根据使用情况不同又可分为两种：

       实时运算：如当前系统的年总用水量，每次系统中有新数据则累加到总量上即可，系统结果实时更新。

       定时运算：如每月20日为结算日，这时可以在20日2点执行结算统计，并将结果存储起来供调用。

       优点：仅存储最终结果，系统数据量小；使用时直接显示结果，显示速度快。

       缺点：运算模块通用性差，基本上属于定制。

       关键点：

       1.此种方式适用于不需要外部输入条件的统计。

       2.根据用户使用需求，正确选择是实时运算还是定时运算。

5、       以上只是对于大数据量的统计运算的一种处理思路，仅供参考。