lec08 deep neural network for everyone

궁극적 꿈은 생각하는 기계를 만들자였겠지? 

 

그러다 보니 뇌를 공부하게 됨 

 

복잡하게 연결되어 있고 뉴런이라는 유닛이 단순 동작하는데도 어떻게 이렇게 복잡한 기능을 하게 된 것일까? 

weight * x ===> sum ===> bias라는 항목 더해지고 ===> 다 모여있는 값이 역치 이상이면 활성화 or not 

 

그래서 처음 모델 activation functions

이 기계를 하드웨어로 만든게 위 기계들 

선을 다 꼬아서 만들고 -> 

각 weight 다이얼 돌려서 바꿔가면서 출력하게 했다. 

 

많은 관심을 끌자 호황된 약속을 하게 됐다. 

58년 기사를 보면 

the navy revelaed elctronic computer that it expects to walk talk see write and reproduce?? it self 

말도 안되지.. 근데 관심은 끔 

simpel AND/OR problem : lineraly separable? 

- + 값을 구별하는 선 만들 수 있나?? 

굉장한 희망에 부풀어 올랐다. 

더 나아가 XOR 모델 

마찬가지 단순한 모델이다. 

 

그래서 x1 x2 ---> Y 

근데 이건 선을 어떻게 그어도 XOR 를 구별 못 했다. 

한 학자는 perceptions 에서 발표하길 

XOR 는 없다?? 지금 현재에선  풀 수 없다. 

multilayer perceptrons라면 가능할지도 

근데 weight bias를 학습 시키기 어렵다... 

그래서 아무도! no one on earth had found a viable way to train 

이 분이 이 책을 발표하면서 뉴런 네트워크가 크게 위축. 

 

backprogagation 

80년도까지 와서 이 사람은 문제 해결하게 됨 

출력을 하면 앞으로 갔다가 뒤로 가는?? 모델 

힌톤은 재발견함 

 

 

또 다른 사람은 재밌게 발견

고양이가 그림을 보고 몇개만 활성화된다. 

일부의 신경망들이 확인하는 것 

convolutional neural network 

학습을 모두 하는 것이 아니라 

부분부분을 잘라서 보내고 나중에 합치는 방식 

90프로의 성공률을 보이는 최고 

수표를 읽는 기계로 까지 이어짐 

 

terminator 2 영화에서 대사까지.. 

 

그러나 안타깝게도 큰 문제에 또 도달한다. 

backpropagaition 은 잘 작동하다가도 10여개의 레벨이 이루어지면 

학습이 어려워짐 뒤로 가는 모델이라서 

많이 할 수록 성능이 크게 떨어진다. 

 

급기야 lecun은 훨씬 간단한 svm randomforest같은 알고리즘이 잘 되더라ㅏ.. 했음 

 

두번째 침체계 

 

=========================================

 

 

 

CIFAR 

이 단체는 활용도가 있지 않아도 encourgae 한다. 결국 이 단체 덕분에 발전 가능했다. 

it was the worst possible time 

굉장히 힘든 시대였는데 덕분에 연구할 수 있었다고 

 

큰 breakthrough인 두 논문을 발표했다. 

굉장히 deep 한 신경망은 학습할 수 없다고 봤는데 초기값을 잘 준다면 괜찮다는 것을 확인 

 

그래서 딥러닝 딥네트워크로 이름을 명명. 

그림을 주고 어떤건지 맞추게 함. 

굉장히 복잡하고 못 맞춘다. 

에러가 계속 줄어가고 있다. 

힌톤 교수님에 있던 학생이 15%로 줄임 

2015년에는 3%대 ㄸ ㄷ 

그림을 설명할 수 있게 되고 

deep api learning 

자연어를 입력 받으면 -> 원하는 디렉토리에 자동 저장. 

65%까지 올랐습니다. 기약적 발전 딥러닝 덕분 

 

speech recognition error 이것도 줄었고 

 

게임 자동, 알파고 역시 딥러닝 사용 

 

나는 무슨 상관인가? 

어떤 비즈니스를 한다. 그러면 

유튜브 보면 자동완성 자막 굉장히 정확 

facbook 키워드 등 잘 추천해준다. 

넷플릭스 아마존 역시 추천 인공지능 잘 도입해서 성공한 사례다. 

어떤 것을 진열해야할지 올릴 수 있다. 

왜 지금 해야할까? 

연구자나 학생이면 절대 늦지 않다. 

또 수학적으로 크게 복잡하지 않다. 

 

실용적인 경력직이면 

이미 툴이 많이 공개되어 있고 파이썬 등 학습을 충분히 해서 활용할 수 있다. 

재밌기도하고!