സേവനം

സ്പാർക്ക് സ്ട്രീമിംഗ് ഡാറ്റ ക്ലീനിംഗ് സംവിധാനം
(I) DStream, RDD
നമുക്കറിയാവുന്നതുപോലെ, സ്പാർക്ക് സ്ട്രീമിംഗ് കമ്പ്യൂട്ടേഷൻ സ്പാർക്ക് കോർ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, കൂടാതെ സ്പാർക്ക് കോറിൻ്റെ കോർ RDD ആണ്, അതിനാൽ സ്പാർക്ക് സ്ട്രീമിംഗ് RDD യുമായി ബന്ധപ്പെട്ടിരിക്കണം.എന്നിരുന്നാലും, സ്പാർക്ക് സ്ട്രീമിംഗ് ഉപയോക്താക്കളെ RDD നേരിട്ട് ഉപയോഗിക്കാൻ അനുവദിക്കുന്നില്ല, എന്നാൽ DStream ആശയങ്ങളുടെ ഒരു കൂട്ടം സംഗ്രഹിക്കുന്നു, DStream, RDD എന്നിവ ഉൾക്കൊള്ളുന്ന ബന്ധങ്ങളാണ്, നിങ്ങൾക്ക് ഇത് ജാവയിലെ അലങ്കാര പാറ്റേണായി മനസ്സിലാക്കാം, അതായത്, DStream RDD യുടെ മെച്ചപ്പെടുത്തലാണ്, പക്ഷേ പെരുമാറ്റം RDD ന് സമാനമാണ്.
DStream, RDD എന്നിവയ്‌ക്ക് നിരവധി നിബന്ധനകളുണ്ട്.
(1) മാപ്പ്, റിഡ്യൂസ്ബൈകീ മുതലായവ പോലെയുള്ള സമാന രൂപാന്തര പ്രവർത്തനങ്ങൾ ഉണ്ട്, എന്നാൽ വിൻഡോ, മാപ്പ് വിത്ത്സ്റ്റേറ്റഡ് മുതലായവ പോലെയുള്ള ചില അദ്വിതീയ പ്രവർത്തനങ്ങളും ഉണ്ട്.
(2) എല്ലാവർക്കും ഫോർച്ച്ആർഡിഡി, എണ്ണം മുതലായവ പോലുള്ള പ്രവർത്തന പ്രവർത്തനങ്ങൾ ഉണ്ട്.
പ്രോഗ്രാമിംഗ് മോഡൽ സ്ഥിരതയുള്ളതാണ്.
(ബി) സ്പാർക്ക് സ്ട്രീമിംഗിൽ ഡിസ്ട്രീമിൻ്റെ ആമുഖം
DStream-ൽ നിരവധി ക്ലാസുകൾ അടങ്ങിയിരിക്കുന്നു.
(1) DirectKafkaInputStream പോലെയുള്ള InputDStream പോലുള്ള ഡാറ്റ ഉറവിട ക്ലാസുകൾ.
(2) പരിവർത്തന ക്ലാസുകൾ, സാധാരണയായി MappedDStream, ShuffledDSstream
(3) ഔട്ട്പുട്ട് ക്ലാസുകൾ, സാധാരണയായി ForEachDStream പോലുള്ളവ
മുകളിൽ പറഞ്ഞവയിൽ നിന്ന്, തുടക്കം (ഇൻപുട്ട്) മുതൽ അവസാനം വരെയുള്ള ഡാറ്റ (ഔട്ട്‌പുട്ട്) ചെയ്യുന്നത് DStream സിസ്റ്റം ആണ്, അതായത് ഉപയോക്താവിന് സാധാരണയായി RDD-കൾ നേരിട്ട് സൃഷ്ടിക്കാനും കൈകാര്യം ചെയ്യാനും കഴിയില്ല, അതായത് DStream-ന് അതിനുള്ള അവസരവും ബാധ്യതയും ഉണ്ട്. RDD- കളുടെ ജീവിത ചക്രത്തിൻ്റെ ഉത്തരവാദിത്തം.
മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, സ്പാർക്ക് സ്ട്രീമിംഗ് ഉണ്ട്ഓട്ടോമാറ്റിക് ക്ലീനപ്പ്പ്രവർത്തനം.
(iii) സ്പാർക്ക് സ്ട്രീമിംഗിൽ RDD ജനറേഷൻ പ്രക്രിയ
സ്പാർക്ക് സ്ട്രീമിംഗിലെ RDD-കളുടെ ലൈഫ് ഫ്ലോ ഇനിപ്പറയുന്ന രീതിയിൽ പരുക്കനാണ്.
(1) InputDStream-ൽ, ലഭിച്ച ഡാറ്റ RDD ആയി രൂപാന്തരപ്പെടുന്നു, അതായത് DirectKafkaInputStream, അത് KafkaRDD സൃഷ്ടിക്കുന്നു.
(2) പിന്നീട് MappedDStream വഴിയും മറ്റ് ഡാറ്റ പരിവർത്തനം വഴിയും, ഈ സമയത്തെ നേരിട്ട് RDD എന്ന് വിളിക്കുന്നു, ഇത് പരിവർത്തനത്തിനുള്ള മാപ്പ് രീതിയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു
(3) ഔട്ട്‌പുട്ട് ക്ലാസ് ഓപ്പറേഷനിൽ, ആർഡിഡി തുറന്നുകാട്ടപ്പെടുമ്പോൾ മാത്രമേ, അനുബന്ധ സംഭരണവും മറ്റ് കണക്കുകൂട്ടലുകളും മറ്റ് പ്രവർത്തനങ്ങളും നടത്താൻ നിങ്ങൾക്ക് ഉപയോക്താവിനെ അനുവദിക്കാൻ കഴിയൂ.