심층학습/Deep Learning (5) 썸네일형 리스트형 6장 심층 순방향 신경망 - 6.0 퍼셉트론의 이해 본 포스팅은 Ian Goodfellow 등 2인이 저술한 심층학습(Deep Learning Adaptive Computation and Machine Learning)및 오일석 저술의 기계학습 을 기반으로 작성합니다. 이번에는 신경망에 대해서 알아봅시다. 신경망은 인간의 뇌 속에 있는 뉴런의 구조를 본떠서 소프트웨어적으로 구현한 기계학습 모델입니다. 현재 기계학습 역사에서는 가장 오래된 모델이면서, CNN, RNN, LSTM 등의 가장 다양한 형태를 자랑합니다. 그리고 과거에는 SVM 등에 밀려서 사라질뻔한 분야였지만, 화려하게 부활해 기계학습의 대세가 되었죠. 이들이 과거에 밀렸던 이유는 뭘까요? 과거에는 신경망이 단층 퍼셉트론에 그쳐서 그렇습니다. 1969년 Minsky와 Papert의 저서 "Per.. 5장 기계학습의 기초 - 5.3 초매개변수와 검증집합 이 포스팅은 Ian Goodfellow 등 2인이 저술한 심층학습(Deep Learning Adaptive Computation and Machine Learning)을 기반으로 작성합니다. 머신러닝 모델을 결정짓는데에는 SVM, 선형 회귀 등 모델 자체에 대한 선택도 중요하지만, 초매개변수(Hyperparameter)를 결정짓는 것도 중요합니다. 예로 다항회귀식을 쓴다고 할 때, 회귀식의 차수는 모델의 용량을 결정하는 Hyperparameter가 될 것입니다. 앞서서 말씀드렸다시피, 차수가 높아지면 높아질 수록 훈련 집합에 대한 정확도는 훨씬 높아집니다. 다만 문제는 Overfitting이었죠. 그러면 이런 문제를 어떻게 극복할 수 있을까요? 그때 사용하는 집합이 검증집합(Validation Set)입.. 5장 기계학습의 기초 - 5.2 수용력, 과대 및 과소적합 이 포스팅은 Ian Goodfellow 등 2인이 저술한 심층학습(Deep Learning Adaptive Computation and Machine Learning)을 기반으로 작성합니다. 우리가 기계학습 모델을 만드는 가장 큰 이유는 무엇일까요? 기존의 데이터를 활용해 "새로운" 데이터를 예측하는 것에 있습니다. 즉 기존의 데이터에 잘 돌아가기만 하는 모델은 사실 의미가 없죠. 이러한 능력을 일반화(Generalization)이라고 합니다. 모델을 학습시킬때 데이터셋을 우리는 크게 두 가지로 나눕니다. Training Set(훈련 세트)과 Test Set(시험, 일반화 세트)으로 말이죠. 아래 표를 보시죠. 학습이 지속적으로 진행되고, 모델이 복잡해지면 복잡할 수록, 훈련 세트에 대한 정확도는 계속 .. 5장 기계학습의 기초 - 5.1.4 선형회귀 본 포스팅은 Ian Goodfellow 등 2인이 저술한 심층학습(Deep Learning Adaptive Computation and Machine Learning)및 오일석 저술의 기계학습 을 기반으로 작성합니다. 선형회귀는 말 그대로 선형으로 된 회귀 문제를 푸는 과정입니다. 즉 입력벡터 x값으로부터 스칼라 y값을 추정하는 과정인데, 이는 일차함수(선형)의 형태를 띕니다. 자 집값을 결정하는 선형 회귀 모델을 생각해봅시다. 집값을 결정하는데에는 집의 크기, 방의 개수, 층수, 집의 나이 등 다양한 요소가 집값을 결정지을 겁니다. 이 네 가지 요소들은 Input값, x가 될 것이고, 이를 통해 찾아내고자 하는 Output y값은 집의 가격이 될 것입니다. 이 모델은 아래와 같은 수식으로 표현할 수 있.. 5장 기계학습의 기초 - 5.1 학습 알고리즘 본 포스팅은 Ian Goodfellow 등 2인이 저술한 심층학습(Deep Learning Adaptive Computation and Machine Learning)을 기반으로 작성합니다. 자 기계학습을 이해하기 전에는 학습(Learning)의 정의를 이해할 필요가 있습니다. [Mitchell, 1997]의 정의에 따르면, 한 컴퓨터 프로그램이, 경험(Experience) 을 통해 어떤 과제(Task)를 수행했을 때, 성과 측도(Performance Measure)가 개선되는 경우 를 의미합니다. 과제에는 여러 종류가 있을 것입니다. 분류 문제부터 회귀, 전사, 번역 등등 컴퓨터가 특정 업무를 수행해내는 과정은 무궁무진하니까요. 기초적으로 회귀는 연속적(Continuous)인 정답을 찾아내는것, 분류는.. 이전 1 다음
