전체 글72 빅데이터 분석기사 핵심 키워드 정리 빅데이터 플랫폼 구축 소프트웨어 1) Oozie : *워크플로우 관리* 하둡 작업을 관리하는 워크플로우 및 코디네이터 시스템 / 스케쥴링,모니터링과 같은 워크플로우 제 2) Flume : *로그 데이터 수집* 많은 양의 로그 데이터를 효율적으로 수집, 집계, 이동 / 이벤트와 에이전트를 활용 3) Sqoop : "정형 데이터 수집* 커넥터(Connector)사용하여 데이터 수집 및 이동 4) R : *빅데이터 분석* S 언어기반, 오픈소스 5) HBase : *분산 데이터베이스* 컬럼기반 저장소, HDFS와 인터페이스 제공 재현 데이터 - 실제로 측정된 원본 자료 (Real Data)를 활용하여 통계적 방법이나 기계학습 방법 등을 이용하여 새롭게 생성한 모의 데이터이다. 1) 완전 재현 데이터 ( Ful.. 2023. 9. 7. 빅데이터 분석기사 필기 4과목 요약 평가 지표 1) 회귀모형 평가 지표 - 오차(실제/예측값 차이)를 다양한 방식으로 평균하여 계산한 지표 MAE( 평균절대오차 ) : 직관적 / 오차크기 그대로 반영 MSE( 평균제곱오차 ) : 제곱하여 평균한 값 RMSE( 평균제곱근오차 ) : 일반적으로 사용 / MSE에 제곱근 MAPE( 평균절대백분율오차 ) : MAE를 퍼센트 변환 / 다른 단위 비교 가능 R² ( 결정계수 ) : 선형 회귀모형이 얼마나 잘 설명하였는지를 나타냄 2) 분류모형 평가 지표 - 예측 결과 값이 범주형태 (참/거짓) 평가지표 : 정확도 / 민감도 / 특이도 / 정밀도 F-1 스코어 : 2 * [(민감도 * 정밀도) / (민감도 + 정밀도)] 분석모형 진단 1) 회귀모형 진단- 잔차를 이용하여 검증선형성 : 종속변수는 독립변.. 2023. 9. 6. 빡공단 38기 코딩 입문 클래스 수강 6일차 6일 차 6강의 강의는 특별한 메모리 그릇 문자열과 행동을 정의하는 공간 메서드에서 알아보았다. 문자열 - 문장을 저장하는 것이다. 문자열은 특이한 방식으로 문자열 변수를 만든다. 문자열의 특징 1. 공간을 늘렸다가 줄일 수 있는 특징 2. 메모리 그릿이 하나가 아니고 조그마한 메모리 그릇을 여러 개 연결해서 사용하는 특 문자(char) = ' ' 문자열(String) = " " 끝( ) = 문자열을 사용할 때는 끝을 사용하는 코드를 사용하게 된다. 파이썬 - 형이 없다 - char str의 구분이 없다. - ' ' 와 " "의 를 아무렇게 사용해도된다. -> 문자열로 저장 - def 공간 자체가 메인이다. - 메모리 그릇에 대한 선언이 없다. [느낀점] str과 메서드에 대해서 배우는 시간이었다. 옛날.. 2023. 9. 6. 빡공단 38기 코딩 입문 클래스 5강 후기 오늘의 변수에 대해서 배웠다. 램 메모리는 크면 좋다. but 제한되어 있기 때문에 알뜰하게 써야 한다. 서랍을 예로 들면 칸막이로 공간을 효율적으로 쓸 수 있다. 따라서 프로그래밍할 때는 칸막이처럼 효율적으로 사용하기 위해 변수를 사용한다. 변수의 종류에는 여러 가지의 종류가 있다. 변수의 종류 1) 문자형 char - 16칸의 비트가 있는 비트 공간이다. 2) 정수형 int - 32칸 비트가 있다. 3) 소수형 float - 64칸의 비트가 있다. 4) 비트형 boolean - 0과 1 선언하기 문자형 그릇( char ) ABC = '가'; ABC : 변수 이름 변수를 선언한다 = 메모리 공간에 메모리 그릇이 만들어진다. 파이썬은 메모리 그릇이 없으며 그에 따라 변수형에 대한 인지가 없게 되면 뒷부분.. 2023. 9. 5. 이전 1 ··· 10 11 12 13 14 15 16 ··· 18 다음
