浅析Sybase Adaptive Server IQ Multiplex和IWS

作者：SYBASE中国公司商务智能顾问 魏建

　　利用完整的信息及时作出正确的决策，这是数据仓库所要完成的任务。在经历了多年以业务为主的系统建设以及以强调数据收集为主的数据仓库建设之后，数据仓库正在向第二代过渡。专家认为，传统的以事务处理为主的应用，其重要性正退居其次。这种新体系构成所谓的“闭环决策处理系统”。其基本特征为：

　　BI成为事务处理的完整部分

　　要得到有关实施某一任务的忠告建议或步骤，就需要更接近实时的数据更新、即席查询，甚至人工智能。BI（商务智能）已经逐渐成为事务处理的完整部分。从技术上来讲，对数据管理、数据加载等提出了更高的要求。

　　多层面的用户扩展

　　数据仓库面向的使用对象将不再局限于企业管理层，随着Web及Internet的不断发展，通过Web方式向分布式企业的各类人员，及供应商、经销商、客户提供必要的商务智能应用正成为必需。用户层面的扩展同时带来了大量的用户并发。从技术上来讲，对数据仓库应用的并发性及可扩展性也提出了新的要求。DM Review公司调查（如图1）指出，各类用户对商务智能都表现出强烈的需求。

　　数据的融合

　　从DM Review最近的调查可以看到，人们希望商务智能能够提供各方面的分析，包括财务分析、客户关系分析、供应链分析等。数据的融合和完整的数据仓库正成为趋势。从技术上来说，对数据仓库的存储规模与查询性能提出了更大的挑战。

　　强调数据模型的设计

　　在传统的数据仓库建设中，往往强调数据的收集以及前端的数据展现，而对数据仓库的设计与建模关心不足，造成系统升级困难，甚至项目实施的失败。当前数据仓库的实施、设计与建模已经得到最终用户的高度重视，因为成功的设计对数据仓库的实施来说可以达到事半功倍的效果。然而成功的设计需要正确的设计方法、大量的需求调研以及丰富的实施经验，这是大多数厂商在实施过程中尤为头疼的问题。目前，只有Sybase公司提供了近乎完美的行业数据仓库设计模型IWS。IWS在全球已被广泛应用，近期在中国也逐步得到应用，如大鹏证券的数据仓库项目就采用Sybase公司的Adaptive Server IQ Multiplex和IWS产品。

　　Sybase商务智能解决方案

　　Sybase BI部门致力于为新一代商务智能提供核心的解决方案，所提供的软件产品与专业服务将数据转化为信息、知识与智慧，以使企业提高市场份额、减少客户流失、向已有客户进行衍生销售等。BI部门与其他领先的商务智能供应商缔结合作伙伴关系，为各类行业市场提供完整的商务智能解决方案，包括金融服务、信用卡市场、保险、银行、通信以及Internet等。

　　图1 BI在存储资源管理方面的需求状况

　　Sybase 商务智能解决方案涵盖数据仓库设计、实施、管理以及方法学的各个方面的软件产品。其中的两个核心产品如下：

　　Adaptive Server IQ Multiplex

　　一个高性能的关系型数据库，专为满足电子商务智能与Web化的数据仓库的需求而设计。

　　Industry Warehouse Studio

　　一个企业分析基础架构，能加速商务智能应用的设计、开发与部署。客户可以使用IWS建立一流的分析应用。

　　Sybase Adaptive Server IQ Multiplex

　　电子商务在不断发展，企业对电子商务的认识和态度也在转变，新技术如无线和移动网技术等的不断涌现，企业对竞争与商业绩效的进一步关注、个性化的潮流、企业对成本的关注，所有这些将商务智能带入了一个新的时代。

　　IQ Multiplex核心概念

　　Sybase IQ Multiplex是一个高度可扩展的分析型数据库引擎，专门为分析型应用与数据仓库而设计，使数据仓库应用拥有卓越的查询性能与最低的总拥有成本。IQ Multiplex是专门为分析型（不是事务型）而建构的，首先关注的是查询的性能。其垂直存储、专利索引技术以及独特的架构使其成为数据仓库的最佳选择。

　　带压缩的列存储 IQ Multiplex按列而不是行存储数据——这与所有其他关系型数据库引擎广泛使用的存储方法方向相反。

　　列存储加上数据压缩，IQ Multiplex在查询中一般比传统数据库引擎少做超过10-100倍的磁盘I/O。结果是，IQ Multiplex的列存储带来明显的性能改善。

　　独特的索引结构 IQ Multiplex中使用的索引结构的组合是独特的，为数据仓库高度优化的。比特式（bit-wise）索引及相应的压缩技术是Sybase 的一项专利。Sybase IQ Multiplex运用这一技术对数据仓库中的所有字段建立索引，不仅带来查询效率的大幅度提高，还降低了对磁盘空间的使用。

　　在IQ Multiplex中，对所有的列至少进行一次索引化，而且可以为每个列建立多个索引。同时，查询优化器可以进行多种选择以优化查询性能，对不同的查询使用不同的索引。Sybase与其客户的使用报告表明，IQ所需的磁盘一般只占原始输入数据所需空间的40%-60%，而且，查询速度会比传统的数据库引擎数以千倍的提高。

　　查询优化 IQ Multiplex拥有一个出色的查询优化器，能够对谓词评估、联合类型、排序、分组、数据访问以及其他查询评估步骤做出复杂的决定。由于IQ Multiplex架构允许维护大量索引，而且由于系统在多数情况下通过索引化的列值保留了精确的行的记录数，优化器能够比许多关系型引擎更好地利用这些信息来生成更佳的查询计划。

　　全新的多线索体系结构 在IQ名称后面加上“Multiplex”表明了它支持并行操作。Sybase IQ Multiplex采用了新的体系结构，即单进程多线索结构。这种结构在处理多个并发用户的请求时，能够降低处理和内存方面的开销,并支持数百甚至上千个并发用户的能力。

　　快速加载 IQ Multiplex支持批量与非批量数据库加载。并行操作已经内建到面向插入与更新操作的加载器中，因此，无需为多个数据仓库应用提交多个并行加载工作以获得并行化。

　　IQM 与“非共享的” MPP（大规模并行处理）之比较 IQ Multiplex 共享磁盘，不需要对数据库进行分区。MPP 系统由于需要对数据表进行水平数据分区，因此，大大地增加了工作量及维护和管理数据库所需的成本。IQM 不受错误的数据和查询的影响，与MPP 系统不同，它能够有效地管理不同规模的节点。

　　IQ Multiplex的特点

　　信息正成为驱动企业成功的引擎。为了赢得成功，你需要比你的对手或敌人更迅速地将巨量的信息转化为智慧的决策。

　　快速查询 Sybase IQ为你的最终用户提供的回答比使用传统数据仓库快10到1000倍，而不论存在多少数量的用户和查询。这意味着查询结果将在几秒或几分钟内返回，而传统的技术却需要花费几小时或几天。并且由于Sybase IQ可以对数据进行实时加载，而不影响查询性能，因此用户可以高效地对基于最实时的信息作出最佳的决策。

　　高度的可扩展性与灵活性 Sybase IQ的设计允许数据仓库从基础开始扩展，从很小扩展到规模非常巨大的扩展。可扩展性对Sybase IQ而言举重若轻，你可以从一个小型的数据仓库开始，扩展到大型的数据仓库。也可以从大型数据仓库开始扩展到超大型的数据仓库。

　　节约存储成本/数据压缩 Sybase IQ压缩数据仓库可以多至70%。在由TPC测试专家Francois Raab主持的基准测试中，Sybase IQ加载了48.2TB的原始数据，而将其压缩到22TB的数据仓库中。使用传统的关系型数据库，同样的48.2TB数据可能会膨胀到120-240TB。这一点比起传统的数据库来，大大节约了存储成本。

　　降低维护成本 由于消除为每个查询进行调优的需要以及为管理和维护新增节点和数据花费大量时间和资源的需要，Sybase IQ降低了数据管理成本，减少了维护工作量及其相关成本。

　　加快部署 由于Sybase IQ从下到上都是为分析而构建，所以相比传统的数据库，仅需很少的部署时间。使用IQ,不需要为了分析而在数据库上面花费很多工作。部署时间可以大幅减少，多达80%。这意味着企业可以快速获得结果。

　　图2 SYBASE IQ多丛结构

　　Industry Warehouse Studio

　　在过去的几年里，我们一直在研究使分析型应用的开发成为如此长时间、高成本与高风险的过程的因素。我们发现，在每个行业里存在一些共同的元素——工作流、衡量方法、报表需求、术语与数据类型，因此不需要为每个新的项目重新建立。我们把这些共同的元素集中到我们的IWS中，使你能够将其提交商务智能应用，以描述整个企业范围内不同却相关的客户行为、价值、潜力等因素。

　　IWS被喻为数据仓库实施的“新浪潮”，它将数据仓库基础架构的核心组件、核心的商业模型、物理数据规划、元数据管理和应用样本有效地组织为一个单一的软件包。

　　IWS方法论 建立一个成功的数据仓库可能是一个相当复杂的过程。没有一个“成功指南”。许多企业常常首先从选择技术开始建立一个数据仓库，结果是系统并未能描述开始建立一个数据仓库的原因，而商业问题正是这个原因。

　　如图3所示，数据仓库实施决策过程的第一步是考虑商业战略和明确商业目标。IWS方法论支持这个商业为核心的决策过程。IWS方法论专门为建立数据仓库而设计。它涵盖了建立与部署一个数据仓库的所有方面，划分为几个特定的阶段和步骤。每个步骤都要求被执行以生成一个成功的数据仓库。

地址：北京市西城区广安门外大街383号

邮箱：bjcia@mailbjca.miit.gov.cn

电话：(+86)010-68058119

北京市通信与互联网协会 京 ICP备05055837号-1

CopyRight @ 2021 www.bjcia.org.cn All Rights Reserved 技术支持：中科服

• 

  微信公众号

• 

  抖音号

• 

  头条号

• 

  百家号