SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術(shù)部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數(shù)據(jù)開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數(shù)據(jù)庫，NoSQL、流處理等統(tǒng)一的數(shù)據(jù)開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認(rèn)證（開源、華為、星環(huán)）等平臺統(tǒng)一認(rèn)證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數(shù)據(jù)源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數(shù)據(jù)源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標(biāo)，支持show、DB、File、NoSQL、MQ 等眾多目標(biāo)，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務(wù)；
3．流式 ETL；
支持從多種獲得數(shù)據(jù)源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數(shù)據(jù)：Hive、HDFS
3．支持RDBMS數(shù)據(jù)庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數(shù)據(jù)庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今，五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關(guān)稅，能否乘機器人東風(fēng)翻身？
