빅데이터 분석기사 필기 1과목 요약 (3)
데이터 수집 (1) 데이터 수집 기술 1) 정형 : ETL, EFP, Open API 2) 비정형 : 크롤링, RSS, ETP, Open API, Scrapy, Apache Kafka 3) 반정형 : Sensing, Streaming, Flume, Scribe, Chukwa 데이터 유형 및 속성 파악 (1) 데이터 유형 정형 : 정형화된 스키마 구조 / 고정된 필드에 저장 ex) 관게형 데이터베이스(RDB) , 스프레드 시트 반정형 : 스키마 구조 / 값과 형식이 일관되지 않음 ex) XML,HTML,웹로그,RSS,JSON,센서 데이터 비정형 : 스키마 구조 X / 고정된 필드 X ex) SNS,이미지 오디오 비디오 실시간 존재 : 데이터 생성 즉시 분석 활용 ex) 센서 데이터, 시스템 및 네트워크 장..
2023. 9. 2.