Kev pabcuam

Spark Streaming cov ntaub ntawv tu mechanism
(I) DStream thiab RDD
Raws li peb paub, Spark Streaming xam yog raws li Spark Core, thiab cov tub ntxhais ntawm Spark Core yog RDD, yog li Spark Streaming yuav tsum muaj feem xyuam nrog RDD thiab. Txawm li cas los xij, Spark Streaming tsis cia cov neeg siv siv RDD ncaj qha, tab sis paub daws teeb meem ntawm DStream cov ntsiab lus, DStream thiab RDD yog cov kev sib raug zoo, koj tuaj yeem nkag siab nws raws li tus qauv kho kom zoo nkauj hauv Java, uas yog, DStream yog kev txhim kho ntawm RDD, tab sis. tus cwj pwm zoo ib yam li RDD.
DStream thiab RDD ob leeg muaj ob peb yam xwm txheej.
(1) muaj cov kev hloov pauv zoo sib xws, xws li daim ntawv qhia, reduceByKey, thiab lwm yam, tab sis kuj muaj qee qhov tshwj xeeb, xws li Window, mapWithStated, thiab lwm yam.
(2) txhua tus muaj Action ua, xws li foreachRDD, suav, thiab lwm yam.
Tus qauv programming zoo ib yam.
(B) Taw qhia ntawm DStream hauv Spark Streaming
DStream muaj ntau chav kawm.
(1) Cov chav kawm cov ntaub ntawv, xws li InputDStream, tshwj xeeb xws li DirectKafkaInputStream, thiab lwm yam.
(2) Hloov cov chav kawm, feem ntau MappedDStream, ShuffledDStream
(3) cov chav kawm tso zis, feem ntau xws li ForEachDStream
Los ntawm cov saum toj no, cov ntaub ntawv los ntawm qhov pib (input) mus rau qhov kawg (tso tawm) yog ua los ntawm DStream system, uas txhais tau hais tias tus neeg siv ib txwm tsis tuaj yeem ncaj qha tsim thiab tswj RDDs, uas txhais tau hais tias DStream muaj lub sijhawm thiab lub luag haujlwm ua. lub luag haujlwm rau lub neej voj voog ntawm RDDs.
Hauv lwm lo lus, Spark Streaming muaj ib qhotsis siv neeg ntxuavmuaj nuj nqi.
(iii) Cov txheej txheem ntawm RDD tiam hauv Spark Streaming
Lub neej ntws ntawm RDDs hauv Spark Streaming yog ntxhib raws li hauv qab no.
(1) Hauv InputDStream, cov ntaub ntawv tau txais yog hloov mus rau RDD, xws li DirectKafkaInputStream, uas tsim cov KafkaRDD.
(2) tom qab ntawd los ntawm MappedDStream thiab lwm yam ntaub ntawv hloov dua siab tshiab, lub sij hawm no ncaj qha hu ua RDD coj mus rau hauv daim ntawv qhia txoj kev hloov dua siab tshiab
(3) Hauv kev ua haujlwm hauv chav kawm tso zis, tsuas yog thaum RDD raug nthuav tawm, koj tuaj yeem cia tus neeg siv ua cov khoom sib txuas, lwm yam kev suav, thiab lwm yam haujlwm.