딥러닝과 머신러닝의 차이/ 활성화함수/ 기울기소실문제

Q1. 딥러닝은 무엇인가요? 딥러닝과 머신러닝의 차이는?

머신러닝은컴퓨터가 스스로 주어진 데이터 패턴을 학습해 이전에 없던 새로운 데이터를 마주해도 답을 낼 수 있는 방식으로서 어린아이가 반복적으로 경험하여 개념이나 특징을 알아가는 과정과 유사합니다  

 

 

 

딥러닝은 인간 뇌에 뉴런의 작동 방식에서 아이디러를 얻어 온 학습방식으로 인공 신경망에서 발전한 형태 입니다 . 스스로 데이터 경로를 수정해 나가며 최적의 결과가 나오도록 학습하며 스스로 분류에 사용할 데이터를 학습하고 중요한  Feature을 자동적으로 골라냅니다 

 

 

 

차이점	머신러닝	딥러닝
인간의 개입	지속적인 인간의 개입이 필요	설정하기가 더 복잡하지만 그 이후에는 사람이 개입을 하지 않아도 된다
하드웨어	딥러닝 알고리즘보다 덜 복잡한 경향이 있고 기존 컴퓨터에서 실행할 수 있다	머신러닝보다 훨씬 더 강력한 하드웨어를 필요로 한다
시간	머신러닝 시스템은 빠르게 설정하고 작동할 수 있지만, 결과가 제한적일 수 있다 (훈련기간  짧음 , 테스트기간 김)	딥러닝 시스템은 설정하는 데 더 많은 시간이 걸리지만 즉각적으로 결과를 창출할 수 있고 더 많은 데이터를 사용할 수 있게 되면 시간이 지남에 따라 품질이 개선될 가능성이 있다. (훈련기간  김, 테스트기간 짧음)
알고리즘	구조화된 데이터를 필요로 하고 전통적인 알고리즘을 사용	신경망을 채용하며,대량의 비정형 데이터를 수용하도록 구축
결정 방법	알고리즘을 사용하려 데이터를 구문 분석하고 해당 데이터에서 학습하며, 학습한 내용에 따라 정보에 근거한 결정	딥러닝은 알고리즘을 계층으로 구성하여 자체적으로 배우고 지능적인 결정을 내릴 수 있는 인공신경망을 생성
특징 추출 Feature extraction	학습 데이터를 가공하거나 특정 feature에 대한 정보만을 학습할 수 있다 =>수동적으로 중요한 Feature를 제공	분류(classification)에 사용될 데이터를 스스로 학습할 수 있다 => 사람이 인지하지 못했지만 실제 분류 성능에 영향을 주는 더좋은 특징(feature)을 찾아서 스스로 학습
결과 해석	알고리즘이 선택된 명확한 규칙이 제공되기에 해석이 용이	성능이 우수하더라도 왜 이 결과를 부여하게 되었는지 알 수 없

 

 

Q2. 알고있는 Activation Function에 대해 알려주세요. (Sigmoid, ReLU, LeakyReLU, Tanh 등)

이름	시그모이드 sigmoid	하이퍼볼릭탄젠트 tanh	렐루 ReLU	리키렐루 Leaky ReLU
정의	s자형 곡선또는 시그모이드 곡선을 갖는 수학함수 (ex 로지스틱함수)	쌍곡선 함수중 하나 (sigmoid의 대체로 사용할수있다) -s자형태	정류 성형유닛에 대한 함수로 성혐함수를 개선한버젼	렐루함수가 거의 유사하다 단 입력값이 0이 아니라 0.001같은 매우작은 값을 반환 이를통해 X가 0보다 작아도 정보가 손실되지 않기에 Dying Relu문제해결
장점	모델제작에 필요한 시간을 줄임	데이터 중심을 0으로 위치시키는 효과가 있기 떄문에  다음층의 학습이 더쉽게 이루어짐	미분 계산이 훨씬 간편해져서 학습 속도가 빨라짐
단점	미분 범위가 짧아 정보가 손실 (grdient vanishing 현상)	미분범위가 짧아 정보가 손실	Dying Relu = X가 0보다 작거나 같으면 항상 0을 출력	일부 사례에서는  Sigmoid, Tanh 함수보다  성능이 떨어진다 음수가 중요한 상황에서 제한적으로 사용하는 것을 추천
활용	로지스틱회귀 이진분류	-	기울기 소실을 완하하는가장 방법한 방법 중 하나 최근 가장 많이 사용되는 활성화 함수	Dying Relu현상 해결을 위해 나온 함수
y값	0 ~ 1	-1 ~ 1	0보다 작으면 0 0보다 크면 입력값	0보다 작으면 미세하게 나마 해당하는 음수값으로 출력 0보다 크면 입력값
학습속도	상대적으로 느리나  세밀하게 학습	상대적으로 빠름

Q3. 기울기 소실 문제는 왜 발생하나요?

기울기 소실문제란 

기울기 소실이란 역전파(Backpropagation) 과정에서(=학습할떄) 출력층에서 멀어질수록(=입력층으로 갈수록) Gradient 값이 매우 작아지는 현상을 말합니다

이는 입력층에 가까운 층들에서 가충치들이 업데이트가 제대로 되지않으면서 결국 최적의 모델을 찾을수 없게 됩니다

이는 활성화 함수중 simoid,tanh함수에서 기울기 소실 문제가 발생하며 이를 해결하기 위에 고안된것이Relu 함수입니다

이는 입력값이 양수일경우 입력값과 상관없이 항상 미분값이1 로나오면서 전파과정에서 기울기가 소실되는 문제를 해결할수 있습니다 

 

 

 

 

참고자료

 

딥 러닝 vs 머신러닝 - 어떤 차이점이 있을까?

 

머신러닝(Machine Learning)과 딥러닝(Deep Learning)의 차이. [딥러닝][머신러닝][기계학습][심층학습][인

 

머신러닝 vs 딥러닝

 

[딥러닝] 기울기 소실(Vanishing Gradient)의 의미와 해결방법

 

기울기 소실 문제와 ReLU 함수