SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數據開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數據庫，NoSQL、流處理等統(tǒng)一的數據開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認證（開源、華為、星環(huán)）等平臺統(tǒng)一認證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數據源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數據源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標，支持show、DB、File、NoSQL、MQ 等眾多目標，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務；
3．流式 ETL；
支持從多種獲得數據源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數據：Hive、HDFS
3．支持RDBMS數據庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數據庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權
- 3 深度報告｜中國AI產業(yè)正在崛起成全球力量，市場潛力和關鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 國家數據局局長劉烈宏調研格創(chuàng)東智
- 6 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 7 百億AI芯片訂單，瘋狂傾銷中東？
- 8 Robotaxi新消息密集釋放，量產元年誰在領跑？
- 9 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
- 10 “搶灘”家用機器人領域，聯通、海爾、美的等紛紛入局
