코딩일기

#부스트캠프3기 #TIL Today I Learned Date : 20220124(월) □ Facts PyTorch Numpy + AutoGrad + Function Numpy 구조를 가지는 Tensor 객체로 array 표현 자동미분을 지원하여 DL 연산을 지원 다양한 형태의 DL을 지원하는 함수와 모델을 지원함 Dataset, Multi-GPU .... 지금 표준은 파이토치와 텐서플로 두 개다. 케라스 자체가 연산 지원하기 보다 이러한 다른 언어를 쉽게 쓸 수 있게 함 케라스는 텐서플로 사에 흡수되었다. 파이토치와 텐서플로 가장 큰 차이는 그래프 그리는 점 하나는 스태틱 -> 백프로포게이션 파이토치는 실행 시점에서 그래프를 그린다. 자동미분 실행시점에서 그래프를 그린다. squeeze, unsquee..

#부스트캠프3기 #TIL Today I Learned Date : 2022-01-21(금) □ Facts 이 커널을 한 번씩 옮기면서 계산해보자 여러분이 관찰 할 것은 입력만 변하고 커널은 그대로인 것 그러면 25가 나옴 입력크기를 (H, W) 커널 크기를 (Kh Kw)라 했을 때 출력 크기는 (Oh Ow) 라 ㅎ하면 다음과 같이 계산 Oh = H - Kh + 1 Ow = W - Kw + 1 가령 28 & 28 입력은 3x3 커널로 연산하면 26x26이 나온다. □ Findings 연쇄법칙 풀기 z = (x + y) ^2 이 z를 둘로 쪼갤 수 있다. z = W^2 두 미분의 곱으로 z에 대한 x의 미분으로 계산하게 됨 각 뉴런에 해당하는 값을 텐서(tensor)라고 부른다. 각 텐서는 메모리에 저장이 ..

#부스트캠프3기 #TIL Today I Learned Date : 2022.01.20(목) □ Facts 벡터 사이의 각도 벡터 사이의 각도는 l2 노름으로만 구할 수 있다. 제2코사인 법칙에 의해 구할 수 있는데 식은 다음과 같다. 두 벡터가 이루는 각을 찾을 때 저 공식을 한 쪽으로 미룬 cos 각도를 구하면 된다 각을 구하기 위해너는 두 벡터의 크기와 내적이 필요하다 밑의 벡터는 l2 노름으로 나온 유클리드 공식 적용한 값이고 위는 내적 그걸 콘사인 잔대를 하면 theta 값이 나온다 https://ko.wikihow.com/%EB%91%90-%EB%B2%A1%ED%84%B0-%EC%82%AC%EC%9D%B4-%EA%B0%81%EB%8F%84-%EA%B5%AC%ED%95%98%EA%B8%B0 두 벡..

#부스트캠프3기 #TIL Today I Learned Date : 2022-01-19(수) □ Facts 벡터 벡터는 숫자를 원소를 가지는 리스트 또는 배열. 스카라곱이 1보다 크면 길이가 늘어나고 1보다 작으면 길이가 줄어든다. 벡터끼리 같은 모양을 가지면 덧셈 뺄셈을 할 수 있다. 덧셈 : 상대적 위치 이동 뺄셈 : 반대방향, -벡터를 더한다고 생각하면 편하다 벡터의 노름 norm 벡터의 노름은 원점에서부터의 거리를 의미한다. 임의의 d 차원에 대해서 임을 이해하자 (위) L1 노름은 변화량 절대 값을 모두 더한다 (아래) L2 노름은 피타고라스 정리를 이용한 유클리드 거리를 계산한다. def l1(x): x_norm = np.abs(x) return np.sum(x_norm) def l2(x): x..