코딩일기

딥러닝을 할 때 코드는 처음부터 다 짠다? ㄴㄴ 남이 만든 걸 쓰는게 이점이 많다. 자료가 많고 관리도 잘되고 표준임 왜 텐서플로를 개방했는가? 문서화하기 위해서 지금 표준은 파이토치와 텐서플로 두 개다. 케라스 자체가 연산 지원하기 보다 이러한 다른 언어를 쉽게 쓸 수 있게 함 케라스는 텐서플로 사에 흡수되었다. 파이토치와 텐서플로 가장 큰 차이는 그래프 그리는 점 하나는 스태틱 -> 백프로포게이션 파이토치는 실행 시점에서 그래프를 그린다. 자동미분 실행시점에서 그래프를 그린다. 텐서플로는 - Define and Run 그래프 정의 코드를 만들고 실행 시점에 데이터를 넣어준다. 파이토치는 - Define by Run (Dynamic Computational Graph, DCG) Pytorch는 실행을 ..

경사하강법 - 순한맛 미분이란? 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구. sympy 의 diff 함수를 사용하면 미분을 구할 수 있다. 미분은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기를 구합니다. 경사하강법 미분값을 더하면 경사상승법(gradient ascent)이라 하며, 함수의 극대값의 위치를 구할 때 사용합니다. 미분값을 빼면 경사하강법(gradient descent)이라 하며, 함수의 극솟값의 위치를 구할 때 사용합니다. 경사상승/경사하강 방법은 극값에 도달하면 움직임을 멈춥니다. 따라서 미분이 가능한 함수의 x에서 접선의 기울기가 음수라면 x를 증가하면 감소한다. 미분값이 음수든 양수든 더하면 상승하고 빼면 감소한다 ?? ..

행렬 벡터를 원소로 가지는 2차원 배열 numpy에서는 row 행이 기본 단위다. ---->이 방향 행렬을 표기할 때 row-column 순서 벡터랑 다른 점 벡터는 공간에서 한 점을 의미한다면 행렬은 여러 점들을 나타낸다. 행렬 xij는 i번째 데이터의 j번째 변수 값을 말한다. 전치행렬 전치행렬 transpose matrix는 행과 열의 인덱스가 바뀐 행렬을 말합니다. 첫번째 행은 첫번째 열이 되는 것 12 34 면 역행렬은 13 24 겠지 행렬의 덧셈 뺄셈 성분곱 스칼라곱 행렬끼리 같은 모양이면 덧셈 뺄셈이 가능하다. 곱셈부터 조금 다른데 행렬 곱은 앞의 열과 두번째 행렬의 행의 개수가 같아야 한다. 행벡터와 열 벡터 사이의 내적으로 계산되는 것이 곱셈 3*3 3*2 매트릭스 두개라면 3행 2열이 ..

벡터 벡터는 숫자를 원소를 가지는 리스트 또는 배열. 스카라곱이 1보다 크면 길이가 늘어나고 1보다 작으면 길이가 줄어든다. 벡터끼리 같은 모양을 가지면 덧셈 뺄셈을 할 수 있다. 덧셈 : 상대적 위치 이동 뺄셈 : 반대방향, -벡터를 더한다고 생각하면 편하다 벡터의 노름 norm 벡터의 노름은 원점에서부터의 거리를 의미한다. 임의의 d 차원에 대해서 임을 이해하자 (위) L1 노름은 변화량 절대 값을 모두 더한다 (아래) L2 노름은 피타고라스 정리를 이용한 유클리드 거리를 계산한다. def l1(x): x_norm = np.abs(x) return np.sum(x_norm) def l2(x): x_norm = x * x x_norm = np.sum(x_norm) return np.sqrt(x_norm..

우선 gradient descent 문제를 풀기 위해서는 conda에 sympy를 설치해야 한다 그래서 conda install sympy로 설치를 완료했음 (upstage) ➜ stage1 git:(master) ✗ conda install sympy Collecting package metadata (current_repodata.json): done Solving environment: done Proceed ([y]/n)? y Downloading and Extracting Packages mpmath-1.2.1 | 766 KB | ##################################### | 100% openssl-1.1.1m | 2.2 MB | ######################..