基于数据分组方法的数据仓库并行预计算和查询(13)
作者:佚名; 更新时间:2014-12-05
同时加上计算总和的计算。这样才能保证元组条数的信息不至于丢失,在主进程最终做统计运算的时候才能得到正确的结果。

  (2)   对于基于顺序查询方法的并行查询,可以预先判断一下是否在该机上命中查询。如果可以预先判断出查询不命中,则可以减少许多额外的层次扫描开销,提高效率。预先的判断应该可以通过扫描本地预计算输入基表里有没有查询语句覆盖集内的元组进行。

  (3)   改进查询程序的算法。顺序查询是最简单、易行的查询方法,但这种方法的效率确实不高。

  (4)   改进立方体数据结构,商立方体存在着查询效率不高的问题,对此人们提出了各种基于商立方体的改善型立方体数据结构,如QC-Tree[LPZ03]和Semi-Closed Cube[LW05],基于此类型的立方体结构应该能够改善查询的响应速度。


参考文献

[Beo07]     Beowulf.org: The Beowulf Cluster Site:

[CCS93a]     E. Codd, S. Codd, C. Salley. Beyond decision support. Computer World, 27(30): 87-89, 1993

[CCS93b]    E. Codd, S. Codd, C. Salley. Providing OLAP to User-Analysts. PC World, (9), 1993

[Chen99]     陈国良. 《并行计算——结构·算法·编程》. 北京, 高等教育出版社, 1999

[Du01]       都志辉. 《高性能计算并行编程技术——MPI并行程序设计》. 北京, 清华大学出版社, 2001

[Fly72]      M. Flynn. Some Computer Organizations and Their Effectiveness. IEEE Transactions on Computers, C21(9), 1972

[GCB+97]     J. Gray, S. Chaudhuri, A. Bosworth, A. Layman, D. Reichart, M. Venkatrao, F. Pellow and H. Pirahesh. Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals. Journal of Data Mining and Knowledge Discovery, 1(1): 29-53, 1997

[GGKK03]     A. Grama, A. Gupta, G. Karypis, V. Kumar. Introduction to Parallel Computing (Second Edition). Pearson Education, 2003. 张武, 毛国勇, 程海英 等译. 《并行计算导论》. 北京, 机械工业出版社, 2005

[Hahn94]    C. Hahn et. al. Edited synoptic cloud reports from ships and land stations over the globe, 1982-1991. cdiac.est.ornl.gov/ftp/ndp026b/SEP85L.Z, 1994.

[HPF06]    High Performance Fortran Forum:

[Inm02]    W. H. Inmon. Building the Data Warehouse (Third Edition), John Wiley & Sons, Inc. 2002. 王志海, 林友芳等译. 《数据仓库》. 北京, 机械工业出版社, 2003

[LAM07]     LAM-MPI Parallel Computing:

[LPH02]     L. Lakshmanan, J. Pei and J.Han. Quotient Cube: How to Summarize the Semantics of a Data Cube. In VLDB’02

[LPZ03]    L. Lakshmanan, J. Pei and Y. Zhao. QC-Trees: An Efficient Summary Structure for Semantic OLAP. In Proceedings of the 2003 ACM SIGMOD International Conference on Management of Data, ACM, 2003

[LW05]      S. Li and S. Wang. Semi-Closed Cube: An Effective Approach to Trading Off Data Cube Size and Query Response Time. Journal of Computer Science and Technology, Vol.20, No.3, pp.367-372, 2005

[MPI03a]    MPI: A Message-Passing Interface Standard.

[MPI03b]    MPI-2: Extensions to the Message-Passing Interface.  

[MPI07]     MPICH2 home page:

[OMP07]    OpenMP: Simple, Portable, Scalable SMP Programming:

[PTP06]     POSIX Thread Programming:

[PVM07]    Parallel Virtual Machine Web Site:

[SRD02]   Y. Sismanis, N. Roussopoulos, A. Deligiannakis and Y. Kotidis. Dwarf: Shrinking the Petacube. In Proceedings of the 2002 ACM SIGMOD International Conference on Management of Data, ACM, 2002

[ST98]   D. Skillicorn and D. Talia. Models and Languages for Parallel Computation. ACM Computing Surveys, 30(2): 123-169, 1998

[WLFY02]   W. Wang, H. Lu, J. Feng and J. Yu. Condensed Cube: An Effective Approach to Reducing Data Cube Size. In Proceedings of the 18th International Conference on Data Engineering, IEEE Computer Society, 2002.

[ZCML06]   张林波, 迟学斌, 莫则尧, 李若. 《并行计算导论》. 北京, 清华大学出版社, 2006


附  录

 

 时间(秒)

维度

, ,

串行

并行

4

5.18

4.98

5

6.94

6.68

6

7.50

7.36

7

8.55

8.28

8

9.08

8.98

9

9.83

9.76

10

10.58

10.54

11

11.29

11.32

12

12.02

12.08

13

12.75

12.78

14

13.47

13.70

15

14.26

14.49

16

14.96

15.31

核心期刊快速发表
Copyright@2000-2030 论文期刊网 Corporation All Rights Reserved.
《中华人民共和国信息产业部》备案号:ICP备07016076号;《公安部》备案号:33010402003207
本网站专业、正规提供职称论文发表和写作指导服务,并收录了海量免费论文和数百个经国家新闻出版总署审批过的具有国内统一CN刊号与国际标准ISSN刊号的合作期刊,供诸位正确选择和阅读参考,免费论文版权归原作者所有,谨防侵权。联系邮箱:256081@163.com