有一个新的本地Spark连接器(Native Spark Connector)用于MapR-DB JSON,它使开发人员可以使用Open JSON应用程序接口(OJAI)API从Apache Spark访问MapR-DB JSON文档。 Apache Spark是一个开源的大数据处理框架,用于流媒体和批量工作负载的分析。MapR-DB是一种高性能NoSQL数据库,支持两种主要数据模型:JSON文档和宽列表。Spark连接器可用于每种数据模型。使用Spark/MapR-DB连接器,你可以使用MapR-DB作为数据源和作为Spark作业的数据目标。 用于MapR-DB JSON的Native Spark连接器支持将MapR-DB表中的数据作为OJAI文档的Spark Resilient分布式数据集(RDD)加载,并将Spark RDD保存到MapR-DB JSON表中。(RDD是用于存储Spark使用的数据的基本格式。) 本机连接器批量镜像 该连接器包括一组API,使MapR用户能够编写使用MapR-DB JSON表并在Spark中使用它们的应用程序。它是Apache Spark的MapR-DB二进制连接器的伴侣,可用于编写使用HBase二进制表并在Spark中使用它们的应用程序。 该连接器具有两个API,可将数据从MapR-DB JSON表加载到Spark RDD,或将Spark RDD保存到MapR-DB JSON表中。它还提供对Scala bean类的支持,有一个自定义分区器,允许你分区数据以获得更好的性能,并支持数据本地化。当连接器从MapR-DB读取数据时,它使用MapR-DB的数据本地化功能来产生Spark执行器。 本地Spark连接器包括对数据帧和数据集API的支持,因此可以直接使用Spark查询HBase和MapR-DB二进制表。它提供的优点是它可以消除任何中间层,从而更容易构建更快的数据流水线,并减少与数据移动相关的延迟。 |
|