빅데이터 분석기사 1과목 part 3 핵심 정리
데이터 유형별 수집 기술 정형데이터 수집기술 : 관계형 데이터와 분산환경 데이터 간의 전송 데이터 ex) Sqoop 로그데이터 수집기술 : 시스템 로그, IOT 센서 로그, 전산장비 로그 데이터 ex) Flume, Scribe, Chukwa, FTP 크롤링 및 소셜 데이터 수집기술 : 웹 상에 존재하는 콘텐츠 데이터 ex) Crawler, Scrap, Nutch 정형 데이터 ( RDB, 스프레드시트 ) - 데이터 스키마 지원 수집기법 - ETL, FTP, Open API 반정형 데이터 ( HTML, XML, 웹로그, 센서데이터, JSON, 웹문서 ) - 데이터 내에 메타 속성 존재 수집기법 - 크롤링, RSS, Open API, FTP 비정형 데이터 ( 소셜 데이터, 문서, 멀티미디어 데이터) - 이미지..
2023. 9. 9.