lec05 logistic (regression) classification

regression (HCG)

hypothesis cost gradient decent 

 

cost 얼마나 가설과 차이간 나는지 그리고 평균 낸다. 

 

학습이란 cost 최소화하는 weight을 찾아내는 거죠 

그래서 그려본 결과 경사진 모양이 나와서 

 

가장 아래 부분을 찾기 위해 즉 가장 cost가 낮은 지점을 찾기 위해 gradient decent 라는 미분 식을 사용한다. 

 

 

classification 

 

spam detection : spam or ham 

facebook feed : show or hide 

credit card fraudulent transaction detection : legitimate / fraud 

 

0, 1 encoding 

spam detection : spam(1) or ham(0)

facebook feed : show or hide 

credit card fraudulent transaction detection : legitimate / fraud 

 

radiology 

우리가 이미지를 보고 좋은 건지 나쁜건지 확인 

fianance 

주식의 과거 동향을 보고 매매 여부 결정 가능 

 

pass or fail based on study hours 

linear regression? 가능할까?

문제가 있다. 만약 무지 열심히 공부해어. 근데 pass or fail 에 불과하기 때문에 시간이 무지하게 지나가면 

어려워짐 

선이 계속 기울어지면 점점 값이 변하게 된다. pass fail 을 구분하는 선이 계속 변한다. 

 

또한 0보다 훨씬 작거나 1 보다 큰 값을 돌려줄 수도 있다. 우리는 0, 1 pass or fail 이면 충분한데 말이지. 

그래서 linear regression 간단하고 좋긴 하지만 0~1 로 압축해주는 함수가 있으면 좋겠ㄷ.. 

 

 

이걸 바로 g(z) 라고 푷ㄴ. 

sigmoid 함수를 찾게 됨 

S자 곡선을 가지고 있어서 sigmoid function or logistic function 이라 부름 

 

z가 커질수도 있죠. 1에 가까워진다. 

 

1에 작아지면 0 에 가까워진다. 

 

우리가 원하는 0과 1 값. 

 

z = wx 

h(x) = g(z)

로 두게 된다. 

우리의 logistic hypothesis 는 이 분수꼴임 

logistic regression 의 cost 함수 설명한다. 

 

만약 logistic regression으로 만들면 울퉁불퉁하게 된다. 

linear은 smooth한데 

 

구불구불하면 문제가 중간에서 최저점이라고 인식할 수도 있게 된다. 

즉 Local minimum 을 찾게 된다. global minimum 이 아니라 

그래서 cost function이 달라진다. 

예를 들어보자 

만약 y = 1 인 상태에서 예측 H(x) = 1 then cost is 0 

if y = 1 and h(x) = 0 then cost is inifite 

it goes the same for y = 0 

if h(x) = 0 , cost = 0 

if h(x) = 1 cost is infinite 

 

cost(w) = 1/m E c(H(x), y)

cost(H(x), y) = differ by y 

C = y = 1 0 일 때 마다 달라지는 cost function 

minimize cost - gradient decent algorithm 

 

cost(w)  = -1/m E y ~ 

 

w = w - alpha 

update w 

 

tensorflow 에 그대로 써주면 된다. 

이미 텐서플로에 쓸 수 있는 수식 함수가 있다.