빅데이터 관련 학습노트 - 00 - 전체 정리

기계 즉 컴퓨터가 주변의 환경에서 발생하는 데이터를 학습하여 유의미한 패턴과 통계적인 함수를 발견하여 앞으로의 행동의 지침이 되는 지식을 얻어내는 행위

회귀

분류

추천

대체

데이터 멍밍(Munging)

랭글링(Wrangling)

Missing Data 처리

Outlier 처리 등

분류 문제를 풀기 위해 Tree 모양의 Map을 만드는 것이 효과적임

나무 모양을 만들어내는 알고리즘을 의사결정트리라고 함

의사결정트리를 만드는 과정

정보엔트로피를 구하는 공식 : \$sum_{i=1}^{n}p(x_{i})log_{2}p(x_{i})\$

의사결정트리 알고리즘의 특징

카이제곱스퀘어 검정의 용도

Cost Function 공식 : \$sum_{i}(y-y_{i})^{2}\$

단순회귀모형

다중회귀모형

선형회귀모형

비선형회귀모형

회귀모형이 현실데이터를 얼마나 잘 설명하는지 평가하기 위해 도입된 지수

0 에서 1 사이의 값

F값, P-value 결정계수 등의 변수 값으로 평가

덴드로그램(Dendrogram)

K-means(K 평균군집)

DBSCAN(Density-Based 군집)

계층형

비계층형

군집이 원의 형태(또는 구)에서 많이 벗어난 경우에는 (예: 길쭉한 형태) 오차가 많이 생기게 됨

밀도기반인 군집분석인 DBSCAN을 쓰면 효과적임

본격적인 군집분석을 하기 전에 대략적인 데이터의 패턴을 보고자 할 때 쓰임

메모리를 많이 쓰는 경향이 있어서 컴퓨터가 느려짐

\$y = argmax_{v} \sum_{D_{x}}I(v=y_{i})\$

KNN의 공식 X를 중심으로 하는 데이터 집합 \($D_{x}$\) 에서 가장 많은 Lavel을 가지고 있는 v 값을 찾음

\$$y = argmax_{v} \sum_{D_{x}}I(v = y_{i}) , w_{i} = {1}/{d(x,x_{i})^{2}}\$

Unknown lavel에서 거리의 제곱의 역수를 가중치로 하여 거리가 멀수로 가중치를 떨어뜨리도록 모델을 설계함

KNN Classifier와 KNN Regressor

KNN Classifier : 범주현 데이터 예측

KNN Regressor : 연속값 예측

target 값에 따라 사용하는 모델이 달라짐

옵션은 Weighted의 기능 여부에 따라 4가지로 분류됨

데이터 속성들을 하나의 scale로 통일해야 함

가장 많이 쓰이는 방법은 통계학에서 쓰이는 z정규화 방식임

\$z_{i} = {x_{i} - avg(x)} / {sigma} , sigma\$는 표준편자 \$avg(x)\$는 x평균

P(A) * P(B|A) = P(B) * P(A|B)

P(특정단어)가 나타날 확률은 일일이 구할 수 없으므로 모두 같다고 생각함

X문서 = {'단어1', '단어2', '단어3', …​ } 일 때에 P(X|스팸)인 확률은 서로 독립이라고 가정하고, 단순하게 P('단어1'|스팸) * P('단어2'|스팸) * P('단어3'|스팸) * …​ 으로 계산함

콜센터의 상담전화가 걸려 올 떄에 쓰는 단어들 목록을 보고 유추하여 해당하는 전문상담원을 연결시켜 주는 모델임

결혼을 준비 중인 30대 커플들의 선호하느 ㄴ신혼가구들의 분포를 예측하는 모델임

영화 댓글을 판별하여 긍정/부정을 예측하는 모델을 말함

텍스트 마이닝의 영역에서 '감정분석’은 나아가 NLP(자연어 처리)까지 발전될 수도 있음

2개의 서로 다른 Class를 구분하는 경계면

Hyper Plane에서 최대한 평행으로 양쪽으로 떨어지면서 가장 먼저 데이터와 만나는 지점을 통화하는 벡터

선형여부

target 데이터 종류

\$TF_{ij} ** IDF_{i} = TFIDF_{ij}\$

TF

IDF

Twitter

Komoran

꼬꼬마 등

html 이나 xml을 파싱하여 순수한 텍스트를 추출함 - BeautifulSoup 등

새로운 축은 독립이며 직각임

원본 데이터의 차원이 p라면 새롭게 만들어진 데이터의 차원은 k(<p)

원본 데이터 X는 U와 V의 곱으로 분리됨

U는 데이터를 새로운 차원 k로 설명함

V는 원본 차원과 축소 차원의 관계를 설명함

정보를 많이 잃어버리지 않고 차원을 축소시킴

밀도기반 vs 거리기반

어떤 형태의 군집도 잘 잡는 편 vs 원이나 구 모양에 최적화되어 있음

노이즈가 정의됨 vs 노이즈가 정의가 안됨

직관적 vs 수학적

프로그래밍으로 구현 vs 컴퓨터가 없어도 계산으로 풀 수 있음

고윳값 분해를 하여 가장 작으면서 분산을 많이 설명할 수 있는 상위 k개의 추상적인 축을 선택

신경세포인 뉴런의 동작을 모방함

마빈 민스키에 의해 개발됨

플랑크 로젠블랑의 이론임

신경망의 가중치 행렬에 대한 최적해를 구해야 함

Gradient Descent를 사용함

Gradient Descent를 구하기 위하여 Back Propagation(오류 역전파) 알고리즘을 사용함

\$W_{t + 1} larr W_{t} - lambda ** {delE(W_{t})} / {del W_{t}}\$

\$lambda\$는 학습률

W행렬은 W에 대한 에러함수의 변화율만큼 움직이면서 W를 갱신함

층이 깊어지면 W가 0에 가까워짐

오버피팅(Overfitting)이 생김

단어를 벡터로 취급함

단어 사이의 거리와 방향까지 알 수 있음

단어 임베딩의 size를 정함

많은 정보를 보여줌

더 확장하여 텍스트 간의 거리를 구하는 방법이 연구됨

TF-IDF나 BagOfWords의 한계를 극복함

단어의 주변에 나타나는 단어가 무엇인지 예측하는 신경망

최종적으로 나타나는 가중치 행렬은 해당 단어를 나타내는 임베딩 벡터의 모임

V : 사전의 크기로서 전체 단어들의 개수

N : 단어를 표현할 임베딩 벡터의 크기로서 신경망에서 hidden layer의 size

Window Size : 주변에 나타나는 단어를 선정할 때 반경

구조화되지 않는 대량의 텍스트로부터 숨겨져 있는 주제구조를 발견하기 위한 통계적 추론 알고리즘

문서 같은 데이터의 집합에 대한 Generative Probabilistic Model(생성적 확률모델)

\$beta_{ik}\$ : 단어 사전에서 i번째 단어가 k번째 주제에 해당할 확률

\$W_{ik}\$ : i번째 단어이면서 k번째 주제에 해당하는 단어

\$Z_{ik}\$ : i번째 단어의 k번째의 주제

\$theta\$ : 디리클레 분포에서 추출되는 차원 k를 갖는 주체벡터

\$k\$ : 주체(토픽)의 개수

\$N\$ : 문서의 길이

훈련데이터에서 중복을 허용하여 여러 표본그룹으로 분할하고 각각의 학습 데이터 그룹마다 약한 학습기를 생성하는 방법

결과를 취합할 때에는 다수결로 하거나 평균을 냄

가중치에 따라서 학습의 강도를 결정하거나 표본데이터의 크기도 변경하여 애매한 결과가 나오는 모델이나 데이터에 더 집중할 수 있도록 가중치를 변화시키는 방법

결과를 취합할 때도 가중치 평균이나 가중치를 투표함

'배깅’의 일종으로 약한 학습기를 '결정트리’로 만드는 경우의 모델임

'부스팅’의 일종으로 난이도가 높거나 오류율이 높은 데이터를 제대로 분류할 수 있도록 약한 핛ㅂ기마다 가중치에 변화를 주어 정확도를 높이는 방법

오류율이 높은 데이터는 더 큰 확률로 Resampling되도록 설계

네트워크 및 그래프 이론을 사용하여 사회구조를 분석하는 머신러닝의 한 분야임

근접 중심성

중개 중심성

아이겐벡터(고유벡터) 중심성

커뮤니케이션

사회심리학

정치

조직학

지리학 등

노트와 엣지(연결선)

방향 그래프와 무방향 그래프

Tf-idf의 특성변수가 나이브 베이즈의 입력변수로 들어간 머징 모델임

Tf-idf의 특성변수가 랜덤 포레스트의 입력변수로 들어간 머징 모델임

텍스트의 특성벡터를 Word2Vec으로 평균을 내어 계산한 다음 이것을 랜덤 포레스트에 입력변수로 넣어서 만든 머징 모델임

생물학적 진화와 자연선택의 기본원리에 영감을 얻은 확률적 탐색 알고리즘

'자연선택', '염색체 교배', '교차', '변이’와 같은 생물학적 매카니즘을 모방함

교차

변이

인코딩

디코딩

문제의 규칙과 제약조건을 잘 정리하여 솔루션(해)이 가져야 하는 상점과 벌점을 중요순위대로 부과하여 전체적인 해의 score를 반환하도록 설계함

새로운 해가 환경에 얼마나 잘 적응을 하는지 점수화를 하는 부분임

지지도 : 상품 X와 Y를 동시에 구입한 비율

신뢰도 : 상품 X를 샀을 때에 상품 Y도 같이 구입된 비율

s(X ⇒ Y) = support(지지도) = n(X U Y) / N = P(X U Y)

c(X ⇒ Y) = confidence(신뢰도) = n(X U Y) / n(X) = P(Y | X)

전체 트랜잭션 중에서 물품 Y를 구매한 비율에 비해서 물품 X를 구매했을 때에 Y를 구매한 비율을 비교하여 얼마나 향상되었는지 보는 것

Lift(A, B) = \${c(A->B)} / {s(B)}\$

빈발항목 집합을 찾아내는 방법

결과값이 P(Y = 1 | X)을 예측하기 때문에 2개의 class를 분류하는 문제에 쓰임

확장하면 Multi class도 가능함

class가 0과 1이 있다면 1일 확률과 0일 확률의 비를 의미한

\${P(Y=1|x)} / {1-P(Y=1|x)}\$ = Odds Ratio

dds Ratio에 log을 씌운 값이 일반 회귀분석과 같은 수식이 됨

ln \${P(Y=1|x)} / {1-P(Y=1|x)} = w^{t}x + b\$

인코딩

디코딩

문제의 규칙과 제약조건을 잘 정리하여 솔루션(해)이 가져야 하는 상점과 벌점을 중요순위대로 부과함

전체적인 해의 score를 반환하도록 설계함

새로운 해가 환경에 얼마나 잘 적응을 하는지 점수화를 하는 부분임

추세, 잡음, 계절성

\$x_{t} = T_{t} + S_{t} + bb"a"_{t}, bb"a"_{t} ~ N(0, sigma)\$

자기상관함수

교차상관함수

AR(자기회귀모형), I(누적모형), MA(이동평균모형)

모든 시점 t에 대하여 평균이 일정하다. \$E(Z_{t}) = u\$

분산 Var \$(Z_{t})\$는 시전 t에 의존하지 않는다.

두 시점 t, s에서 공분산 Cov \$(Z_{t} Z_{s})\$는 시차 t - s에 의존하지 않는다.

자기회귀이동평균모형(Auto Regression Movig Average model, ARMA)

AR(자기회귀) 모델과 MA(이동평균) 모델이 합쳐진 합성모델임

\$Z_{t} = Phi_{1}Z_{t-1} + Phi_{2}Z_{t-2} + ... + Phi_{p}Z_{t-p} + ... + a_{t} - theta_{1}a_{t-1} - theta_{2}a_{t-2} - theta_{3}a_{t-3} - ... - - theta_{q}a_{t-q}, a_{t}\$

\$W^{(tau + 1)} = W^{(tau)} - eta grad E(W^{(tau)})\$

\$delta_{j} = {del E_{n}} / {del Z_{j}}\$

x축을 FP rate로 하고 y축을 TP rate로 하여 곡선을 그림

Curve의 밑면적을 AUC라고 하는데 이 면적이 넓을수록 신뢰성이 강한 모델임

Curve의 모양이 좌측 상단으로 치우칠수록 좋은 모델임