Neural Network - function that stack affine transformations followed by non-linear transformers. - 즉 비선형 함수를 stacking한 함수를 Neural Network라고 부른다. 이렇게 표현하는게 조금 더 수학적인 표현이다. - affine transformer(=linear transformers) : 점,직선,평면을 보존하는 선형 매핑 방법. 즉 matrix multiply. - affine transformer(아핀 변환) 라는건 m차원의 input을 n차원의 output으로 변환 Multi-Layer Perceptron(=N-layer Neural Network) - 다양한 loss function 존재. model ..

Key components of Deep Learning 1. Data 2. Model 3. Loss function Deep Learning History 2012 - AlexNet 2013 - DQN(알파고 알고리즘) 2014 - Encoder/Decoder, Adam 2015 - GAN, ResNet 2016 - 2017 - Transformer(=Attention is all you need) 2018 - Bert(fine-tuned NLP models) 2019 - Big Language Models(GPT-X) 2020 - Self-Supervised Learning