코딩일기

궁극적 꿈은 생각하는 기계를 만들자였겠지? 그러다 보니 뇌를 공부하게 됨 복잡하게 연결되어 있고 뉴런이라는 유닛이 단순 동작하는데도 어떻게 이렇게 복잡한 기능을 하게 된 것일까? weight * x ===> sum ===> bias라는 항목 더해지고 ===> 다 모여있는 값이 역치 이상이면 활성화 or not 그래서 처음 모델 activation functions 이 기계를 하드웨어로 만든게 위 기계들 선을 다 꼬아서 만들고 -> 각 weight 다이얼 돌려서 바꿔가면서 출력하게 했다. 많은 관심을 끌자 호황된 약속을 하게 됐다. 58년 기사를 보면 the navy revelaed elctronic computer that it expects to walk talk see write and reprodu..

cost function 값을 최소화하기 위해서 썼던 gradient descent 이때 0.001 정도의 learning rate 알파 값을 적용했었다. 만약 large learning rate 라면? ==> overshooting 발생 그리고 만약 small learning rate라면? ==> takes too long and stops at local minimum 그래서 try several learning rate observe the cost function 0.01 -> 0.001 or 0.1 이렇게 (andrew ng 는 3배 단위로 크고 작게 하라 했었음) data(x) preprocessing for gradient descent 예를 들어서 data(x) preprocessing f..

multinominal 개념 소개 logistic regression 은 세모와 네모를 나누는 게 중요 multinominal classification 에도 그대로 적용한다. 이렇게 되면 세개의 독립된 classify 가 나오게 된다. a or not, b or not , c or not 이걸 하나로 합침 matrix multiplication 연산을 그대로 적용하게 되면 위와 같은 형태의 다중 매트릭스가 나온다. 이건 결국 h(x)의 값이자 y hat a 값, b, c 각각 나온다. 이제부터 세개를 합친 이 걸 sgimoid 값으로 만들고 싶다. 현재 20 1.0 0.1 로 표현돼서 a인걸 판별 한 예 요걸 sigmoid 넣어서 0.7 0.2 0.1 값으로 나오면 좋겠다. 1. 0~1 값 2. sum..

regression (HCG) hypothesis cost gradient decent cost 얼마나 가설과 차이간 나는지 그리고 평균 낸다. 학습이란 cost 최소화하는 weight을 찾아내는 거죠 그래서 그려본 결과 경사진 모양이 나와서 가장 아래 부분을 찾기 위해 즉 가장 cost가 낮은 지점을 찾기 위해 gradient decent 라는 미분 식을 사용한다. classification spam detection : spam or ham facebook feed : show or hide credit card fraudulent transaction detection : legitimate / fraud 0, 1 encoding spam detection : spam(1) or ham(0) fac..

# Lab 4 Multi-variable linear regression import tensorflow as tf import numpy as np x_data = [[73., 80., 75.], [93., 88., 93.], [89., 91., 90.], [96., 98., 100.], [73., 66., 70.]] y_data = [[152.], [185.], [180.], [196.], [142.]] tf.model = tf.keras.Sequential() tf.model.add(tf.keras.layers.Dense(units=1, input_dim=3)) # input_dim=3 gives multi-variable regression tf.model.add(tf.keras.layers.Ac..

recap hypothesis cost function gradient descent algorithm 3가지를 기억하고 있으면 지금까지 잘 배운 것 predictin gexam score regression using one input now we are going to regression using three inputs (x1, x2, x3) -> Y final score now we have several .. multi -varaible to calculate it we use matrix matrix multiplication hypothesis using matrix 우리가 원하는 값은 오른쪽이고 매트릭스 사용하면 왼쪽 처럼 간단하게 표현 가능 순서가 바뀌어도 같은 식이니까 오케이임 매트릭스..

""" cost minimize하는 것이 목표 simplified hypotesis H(x) = wx cost W = 1/m E (w - y)^ 2 what cost(w) looks like? (1,1) (2,2) (3,3) if w = 1, cost = 0 = 1/3{(1-1)^2 + (2-2)^2 + (3-3)^2} if w = 0 cost = 4.67 = 1/3{(0-1)^2 + (0-2)^2 + (0-3)^2} if w = 2 cost = 4.67 y 축을 cost function x축은 w 라고 설정하고 그림을 그려봤더니 x^2 같이 생긴 이차함수로 나온다. w = 1 일 때 가장 작은 Cost 값을 가짐 이 그래프를 gradient descent algortihm 경사 내려가는 알고리즘 - m..

""" predicting exam score : regression 학습 시킨다. 줄 x 는 자료 y 는 결과 간단하게 그래프로 그리면 이렇게 1,1 2,2 3,3 각각 점을 찍을 수 있다. linear hypothesis 세상한 많은 사례들이 이렇게 드러난다. 증가-> 증가 H(x) = Wx + b 선의 모양은 w, b의 값에 따라 달라지겠죠 어떤 선이 잘 맞는 선일까? 당연 이 경우에는 1,1 2,2 3,3을 지나는 선이 최고 Cost function : how fit the line to our (training) data 우리 가설과 실제 데이터가 얼마나 다른지 계산해주는 함수 가장 처음에는 H(x) - y 하지만 음수 양수 구별을 못한다. 다음으로 (h(x) - y ) ^ 2 이건 잘 표현할 ..

여기 첫번째 댓글에 보면 텐서플로우 버전2에서 작동하시는 분들은 import tensorflow as tf 대신에 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() 를 치고 하시면 잘 됩니다. 라고해서 구글 코랩에 import tensorflow.compat.v1 as tf tf.set_random_seed(777) # for reproducibilitywith tf.compat.v1.Session() as sess: x_train = [1,2,3] y_train = [1,2,3] W = tf.Variable(tf.random_normal([1]), name=‘weight’) b = tf.Variable(tf.random_normal([1]), na..

youtu.be/aircAruvnKk 잘 만듬 Cost Function Let's first define a few variables that we will need to use: L = total number of layers in the network s_lsl​ = number of units (not counting bias unit) in layer l K = number of output units/classes Recall that in neural networks, we may have many output nodes. We denote h_\Theta(x)_khΘ​(x)k​ as being a hypothesis that results in the k^{th}kth output. Our ..