본문 바로가기
카테고리 없음

빅데이터 분석기사 필기 1과목 요약

by 하랑별 2023. 9. 2.

(1) 빅데이터 특징

- DIKW피라미드

데이터 ( Data)

정보 ( Information)

지식 ( Knowledge)

지혜 ( Wisdom)

 

지식의 변환 과정

1) 공통화 ( 암묵지 -> 암묵지 )

= 경험으로 지식 공유

2) 표준화 ( 암묵지 -> 형식지 )

= 지식을 문서로 표현

3) 내면화 ( 형식지 -> 암묵지 )

= 형식지를 개인이 암묵지로 취득

4) 연결화 ( 형식지 -> 형식지 )

= 형식지를 결합하여 지식을 창조

 

(2) 빅데이터의 특징

3V - Volume(규모) , Variety(다양성), Velocity(속도)

5V - Volume(규모) , Variety(다양성), Velocity(속도) + Veracity(신뢰성), Value(가치)

 

(3) 빅데이터가 만들어 내는 변화

1) 사전처리 -> 사후처리

2) 표본조사 -> 전수조사

3) 인과관계 -> 상관관계

4) 질 보다

 

빅데이터의 가치

(1) 빅데이터의 위기요인과 통제 방안

1) 사생활 침해 : 동의제 -> 책임제 (사용주체가 책임)

2) 책임 원칙 훼손 : 예측에 의한 불이익 가능성을 최소화

3) 데이터 오용 : 분석결과에 대한 부당함을 반증할 방법에 대해 공개하도록 주문

 

데이터 산업의 이해

(1) 데이터 사이언스 ( 데이터 분석 + 인사이트 도출 + 효과적 전달 )

1) IT 기술 + 분석적 영역 + 비즈니스 컨설팅

2) Hard skil(분석 기술, 지식) + Soft skil(의사전달, 협력)

 

빅데이터 조직 및 인력

(1) 빅데이터 조직 구조

1) 집중구조

부서별로 분석 / 분석전담조직 O / 분석업무 이원화,이중화

2) 기능구조

부서별로 분석 / 분석전담조직 X / 전사적 핵심분석 어려움

3) 분산구조

분석 조직 인력들이 협업부서로 배치되어 분석업무 수행 / 분석수준 상향 평준화, 신속한 활동, 명확한 역할 분담 필요

 

(2) 조직성과 평가

목표설정 -> 모니터링 -> 목표조정 -> 평가실시 -> 피드백

성과목표는 균형 성과표(BSC)로 관리, KPI로 평가

 

빅데이터 기술 및 제도

 

빅데이터 플랫폼

1) 빅데이터 분석 프로세스

데이터 수집 -> 데이터 저장 및 관리 -> 데이터 처리(가공) -> 데이터 분석(계획수립, 시스템 구축) -> 시각화/활용-> 폐기

 

빅데이터와 인공지능

1) 인공지능

= 인간의 지적능력을 인공적으로 구현한 기술

2) 머신러닝

= 컴퓨터가 데이터와 모델을 학습하여 규칙을 찾도록 하는 알고리즘 및 기술

데이터마이닝 : 현재의 특징 분석 / 머신러닝 : 데이터 예측

3) 딥러닝 

= 인공신경망 방식으로 스스로 학습하는 기술 ( 사람 개입 X )

 

개인정보 법·제도

1) 빅데이터 개인정보 보호 가이드라인

수집 시부터 개인정보 비식별화 조치

이용자에 투명하게 공개

개인정보 재식별 시, 즉시 파기 및 비식별화 조치

민감정보 및 통신내용의 수집/분석 금지

정보 저장,관리 시 기술,관리적 보호조치 시행

 

2) 개인정보 비식별 조치 가이드 라인

- 개인정보 보호를 보장하면서 데이터를 활용하기 위해 만들어진 가이드라인- 사전검토 -> 비식별 조치 -> 적정성평가(K-익명성,I-다양성,t-근접성)-> 사후관리(안전조치 마련, 모니터링)

 

3) 데이터 3법- 개인정보 관리 및 감동은 개인정보보호위원회로 일원화- 가명정보 주체의 동의 없이 데이터 활용을 허용

 

개인정보 활용

(1)개인정보 비식별화 기술1) 가명처리 : 다른 값으로 대체 / 휴리스틱 익명화(일부 가공하여 개인정보를 숨김)2) 총계처리 : 통계값 적용3) 데이터 삭제 : 특정 데이터 값 삭제4) 데이터 범주화 : 대푯값,구간값으로 변환5) 데이터 마스킹 : 잡음,공백으로 대체

 

(2)마이데이터개인정보 전송요구권정보주체가 개인정보 권한을 가지고 개인정보를 직접 관리 -> 공공의 이익극대화 강조 / 개인의 승인 및 동의에 의해 활용원칙