注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

zjcjack的博客

 
 
 

日志

 
 

列式数据库研究infobright and infiniDB  

2012-04-04 23:32:45|  分类: 数据挖掘 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
小试InfiniDB

传说中的SybaseIQ为列式存储引擎,这个已经研究过了,很快——就是太贵。

今天小试的InfiniDB也是列式存储引擎,是在mysql5.1.39基础上构建的。

SybaseASE VS  InfiniDB

一、环境介绍
ASE服务器是一台1颗CPU双核、8GB内存(总共配置了6GB内存)
InfiniDB 服务器是一台win2008 的64位16核心cpu、16GB内存(内存总配置达到2GB)

两个表,其中DW_GROUP_JOIN_MSXSXZAJHB_WLAJ 有3762577条记录,D_FY有153条。
表结构……

二 、测试用例介绍
……
三、测试结果:

SybaseASE VS  InfiniDB
20秒            1.2秒
40秒            2秒
四、结论

在百万级别数据量InfiniDB与SybaseIQ执行效率差不多,查询统计性能比行式数据库高一个数量级。

但是,InfiniDB对于SybaseIQ也有弱点:

1、表不能有约束
2、DECIMAL限制18
3、创建表时先预先分配空间
4、insert非常非常慢(1条每秒)
五、后续还要试验infobright,进行中ing
……

admin 发表于 2011-10-26 10:47

解答:
不采用insert,而是采用load(load很快啊)——当然不会等几个月了。

要不我的300万,怎么搞进去的啊。哭!

再试验Infobright。

基本用法一样,但是Infobright的安装包要更完善些,工具也更多一些。说说测试结果吧。

测试一:2.5秒
测试二:8.3秒

问题:
1、Infobright建表很快;
2、测试二时,16颗cpu并不会全部用上。(这个没有InfiniDB好)
3、不支持insert操作,只能load(似乎insert太慢,也没有价值了)
4、默认安装时,会自动根据硬件内存情况做最优配置。
5、Infobright默认BRIGHTHOUSE存储引擎。
6、Infobright数据压力率很高,600m的原始数据,压缩后存储只占用了30多M——牛!

admin 发表于 2011-10-26 10:48

Infobright是一个与MySQL集成的开源数据仓库(Data Warehouse)软件,可作为MySQL的一个存储引擎来使用,SELECT查询与普通MySQL无区别。

  一、Infobright的基本特征:
  优点:
  查询性能高:百万、千万、亿级记录数条件下,同等的SELECT查询语句,速度比MyISAM、InnoDB等普通的MySQL存储引擎快5~60倍
  存储数据量大:TB级数据大小,几十亿条记录
  高压缩比:在我们的项目中为18:1,极大地节省了数据存储空间
  基于列存储:无需建索引,无需分区
  适合复杂的分析性SQL查询:SUM, COUNT, AVG, GROUP BY

  限制:
  不支持数据更新:社区版Infobright只能使用“LOAD DATA INFILE”的方式导入数据,不支持INSERT、UPDATE、DELETE
  不支持高并发:只能支持10多个并发查询 
  评论这张
 
阅读(2128)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017