|
大数据类的公司 1、 大数据决策平台，帆软。帆软是商业智能和数据分析平台提供商，从报表工具到商业智能BI，有十多年的数据应用的底子，在这个领域很成熟，但是很低调。像帆软的FineBI，可以部署自带的FineIndex（类cube,数据仓库），有数据缓存机制，可实现定量更新，定时更新，减少了数据仓库的建设维护。还有FineDirect(直连)可直接连接数据仓库或数据库，主要针对Hadoop一类的大数据平台和实时数据分析的需求。 2、 数据库，大数据平台类，星环，做Hadoop生态系列的大数据底层平台公司。Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及数据库工具。 3、 云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。实力不差，符合阿里巴巴的气质，很有野心。 4、 大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。 BI+Hadoop的案例 Hadoop是个很流行的分布式计算解决方案，是Apache的一个开源项目名称，核心部分包括HDFS及MapReduce。其中，HDFS是分布式文件系统，MapReduce是分布式计算引擎。时至今日，Hadoop在技术上已经得到验证、认可甚至到了成熟期，同时也衍生出了一个庞大的生态圈，比较知名的包括HBase、Hive、Spark等。HBase是基于HDFS的分布式列式数据库，HIVE是一个基于HBase数据仓库系统。Impala为存储在HDFS和HBase中的数据提供了实时SQL查询功能，基于HIVE服务，并可共享HIVE的元数据。Spark是一个类似MapReduce的并行计算框架，也提供了类似的HIVE的Spark SQL查询接口，Hive是基于hadoop的数据分析工具。 很多企业比如银行流水作业很多，数据都是实时更新且数据量很大。会采用hadoop作为底层数据库，借由中间商处理底层数据，然后通过BI系统去连接这些中间数据处理厂商的中间表，接入处理数据，尤其以星环、华为这类hadoop大数据平台商居多，使用也较为广泛。 以星环大数据+帆软大数据BI工具FineBI的结合为例。 由于星环也是处理hadoop下的hive数据库，其本质都是差不多的，可以使用Hive提供的jdbc驱动，这个驱动同样可以让FineBI连接星环的数据库并进行一些类关系型数据库的sql语句查询等操作。 将这些驱动拷贝到BI工程下面，然后重启BI服务器。重启后可以建立与星环数据库的数据连接，最后通过连接进行数据查询。 关于FineBI的FineIndex和FineDirect功能 hadoop是底层，hive是数据库，上述案例采用的是FineIndex（cube连）连接，用的是hiveserver的方式进行数据连接的；数据连接成功之后，将hive数据库中的表添加到业务包中，也就是将库中数据拿到我们的多维数据库（FineIndex），当然抓取的过程中也可以读取数据库关联和转义，也可以手动转义和进行关联，同时也可以做一些etl操作如新增公式列/行列转换/join/union/过滤/分组统计/自循环列/新增分组列/使用部分字段等，做过处理的这些数据表用于前端分析。 也就是说数据库-FineIndex-前端分析，这里的FineIndex相当于一个中间库的形式，用来存储数据表，关联转义索引等。这些都对后续前台分析处理数据效率有很大的提升（因为直接sql取数，效率受数据库本身的限制，数据量大时，一般分析工具很容易就卡死升职内存溢出导致系统无响应），这也是FineIndex方案的初衷。FineIndex存在有两个意义，一个是提升效率，一个就是对数据进行二次整合处理。 FineBI还有一个连接方式FineDirect（数据库直连），主要是应对如下需求： 1、分析结果的实时性 企业用户在使用BI工具的时候，多数情况下是对大量的历史数据进行OLAP分析，但是也有部分用户需要展现结果的实时性。例如金融行业对于交易风险的分析，是对每一笔流水实时进行分析的，如果需要经过构建多维数据库的过程，数据到来就会有延迟，影响分析结果的准确性。但是因为计算的过程交给了数据库，响应速度更多的取决于数据库的性能。 2、大数据平台的充分利用 随着各种分布式计算方案的不断优化，数据的计算性能也有了快速的发展，计算能力有了显著的提高，不少企业已经有了自己的大数据计算平台，例如hadoop，kylin，greenplum，vertica等，这些平台的对于大数据量的处理性能已经足以满足使用需求，不再有建模的需求，因此FineBI直连引擎提供了对接这些数据平台的功能。 |
|
|
