Rosy's Artificial Intelligence Blog

1. 고유값, 고유벡터(Eigenvalue, Eigenvector) 어떠한 벡터를 선형변환할때, 몇몇 점들 중에서 원점에서부터 멀어지는 방향으로 변환하는 scaling을 하는 방향을 찾는 것이 고유값 문제를 푸는 것 역행렬 존재시 k=0 가정 모순, 역행렬이 존재하지 않아야 한다 Eigenvalue는 유일하게 결정되지만 Eigenvector은 유일하지 않음 Principal stress 구할 때 응용 Eigen vector 방향으로는 shear 가 작용하지 않음, axial 방향으로 작용 Eigenvector가 선형변환을 했을 때 축이 뒤틀리지 않음 방향 상관없이 일정한 값을 도출 2. 선형변환(Linear Transformation) 3. 선형변환 vs 좌표번환 좌표축을 바꾸어서 가많이 있는 점을 다른..

1. 기저함수 기저 함수(Basis function)? 설명변수를 함수 형태로 나타낸 것 정규 분포 이외의 분포를 다루는 일반화 선형 모델(generalized linear model)과 혼합 정규 분포(mixture normal distribution)등의 혼합 모델

1. 신경망 인공신경망? 1943년 신경 생리학자 워런 맥컬록과 수학자 월터 피츠가 이를 처음 소개 명제논리를 사용하여 동물 뇌의 생물학적 뉴런이 복잡한 계산을 위해 어떻게 상호작용하는지에 대한 간단한 계산 모델 제공 -> 최초의 인공 신경망 구조 생물학적 뉴런은 대부분 동물의 대뇌피질( 예를 들면 우리의 뇌)에서 발견되며 핵을 포함하는 세포차와 세포의 복잡한 구성요소로 이루어져 있다. 수상돌기(dendrite) : 나뭇가지 모양의 돌기 축삭돌기(axon) : 나뭇가지 모양의 축삭 돌기 축삭돌기의 끝은 축삭끝까지(telodendria)라 불리는 여러 개의 가지로 나뉘고, 이 가지의 끝은 시냅스 말단(synaptic terminals)이라 불리는 미세한 구조이고 다른 뉴런의 수상돌기와 (또는 세포체에 직접..

1. 유전 알고리즘 문제에 대한 해를 표현하는 염색체가 집단을 이루어 해집단을 구성하고 유전 알고리즘의 진행 과정속에서 부모 세대와 자식 세대의 역할을 반복적으로 하게 된다. “어떤 미지의 함수 Y = f(x)를 최적화하는 해 x를 찾기 위해, 진화를 모방한(Simulate devolution) 탐색 알고리즘” -> 유전알고리즘 2. 유전 알고리즘 구조 유전 알고리즘? 생물이 살아가면서 교차, 돌연변이, 도태 등으로 환경에 적합하도록 진화한다는 가설에 기반을 둔 최적화 기법 시간 축 상에서 여러 번 계산을 반복해 단계 수를 쌓아서 궁극적으로 구하고 싶은 결과에 수렴 진화 연산? 위의 과정에서 교차와 돌연변이 등 진화론 아이디어를 도입한 계산 방식 진화연산의 특징 집단성 : 개체 다수를 집단으로 설정해 동..

1. 그래프 점과 선을 연결한 것 점 = 꼭지점 = node = vertex 그래프는 정점끼리 연결되어 있으면 정점이 어느 위치에 있는지는 관계가 없다. 따라서, 겉보기에는 다른 그래프도 정점이 이동한다면 같은 그래프가 될 수 없다. 모두 비용이 비용을 평가값으로 환산해 최적 경로를 찾는데 활용 최적 경로 탐색? 현재 시각 t에 해당하는 상태에 어떤 행동을 했을 때 얻을 수 있는 이익이나 지불 비용을 계산해 다음 시각인 t+1인 상태를 결정하는 것과 같다. 이 과정을 반복 실행하면 목적지에 도달했을 때 시간인 T의 이익을 최대화하거나 비용을 최소화하는 계획 문제로 다룰 수 있다. 6. 트리 구조 6.1 탐색 트리 추적 방법 - 막힌 지점이 있는 미로나 탐색 트리의 경로를 도달하는 목표 지점까지의 경로를 ..

1. 머신러닝이란? 기계학습 또는 머신러닝은 기계(컴퓨터)가 학습을 할 수 있도록 하는 연구분야. 인공지능을 소프트웨어적으로 구현하는 머신러닝(Machine learning)은 컴퓨터가 데이터를 학습하고 스스로 패턴을 찾아내 적절한 작업을 수행하도록 학습하는 알고리즘 머신러닝 시스템(ML)은 관측데이터 D로부터 성능지수P를 최적화하는 모델 M을 자동으로 만드는 기술이다 데이터는 환경과의 끊임없는 상호작용을 통하여 축적된다. Google Assistant, Apple Siri, IBM Watson… 등 머신러닝을 사용하여 다양한 도메인의 지식 습득 및 실제 문제의 해결에 적용. 형식화 하여 정의? “환경(Environment)과의 상호작용을 통해서 축적되는 경험적인 데이터(Data)를 바탕으로 지식, 즉 ..

1. Support Vector Machines 퍼셉트론의 한계 : 결정 경계가 항상 선형이어야 하므로 범용 함수 근사기가 될 수 없음 SVM? 선형으로 분리 가능할 수도 있는 고차원으로 효율적 매핑하는 커널을 사용해 퍼셉트론의 한계를 극복 SVM은 결정 경계로부터 가장 가까운 인스턴스의 마진을 최대화한다. 특징을 더 고차원으로 매핑하는 방법이 SVM임. 고차원 공간에 매핑 된 데이터를 학습할 때 발생하는 계산 양 문제와 일반화 문제를 SVM이 어떻게 완화시켰는지 알아보기 SVM을 훈련시키기 위해 사용하는 최적 알고리즘을 설명하려면 고차원의 수학을 사용해야 한다. 2. SVM의 장단점 실제로 그 문제들이 이진분류에 적합하지 않더라도, 회귀, 분류, 비정상 탐지(anomaly detection)같은 지도 ..

1. XGBoost(eXtreme Gradient Boosting) 트리 기반의 앙상블 학습에서 가장 각광받고 있는 알고리즘 중 하나 캐글 경연대회에서 상위를 차지한 많은 데이터 과학자가 XGBoost를 이용하면서 널리 알려짐 GBMd에 기반하고 있지만, GBM의 단점인 느린 수행시간 및 과적합 규제(Regularization) 부재 등의 문제를 해결해서 각광받고 있음 It was developed by Tianqi Chen and now is part of a wider collection of open-source libraries developed by the Distributed Machine Learning Community (DMLC) 2. XGBoost 장점 뛰어난 예측 성능 - 분류와 회귀..

0. 들어가기전에 부스팅 알고리즘? 여러개의 약한 학습기(weak learner)를 순차적으로 학습-예측하면서 잘못 예측한 데이터에 가중치 부여를 통해 오류를 개선해 나가면서 학습하는 방식 부스팅 대표 알고리즘? AdaBoost(Adaptive boosting) & 그래디언트 부스트 0.1 AdaBoost 오류 데이터에 가중치를 부여하면서 부스팅을 수행하는 대표적인 알고리즘 개별 약한 학습기 -> 가중치 부여 결합 1. Gradient Boosting Machine 가중치 업데이트를 경사하강법(Gradient Descent)를 이용하는 것이 큰 차이 분류의 실제 결과값 y, 피처를 x1,x2... 피처에 기반한 예측 함수 F(x) ===> 오류식? h(x) = y - F(x) 경사하강법(Gradient ..

결정트리 학습법은 휼륭한 머신러닝의 한 방법이지만, 주어진 학습 데이터에 따라 생성되는 의사결정트리가 매우 달라져서 일반화하여 사용하기가 어려움 결정 트리를 이용한 학습 결과 역시 성능과 변동이 폭이 큼 >>>랜덤포레스트 등장 ===> 여러 개의 무작위 의사결정트리로 이루어진 숲이라는 개념으로 이해 1. 랜덤포레스트 구성 1.주어진 트레이닝 데이터세트에서 무작위로 중복을 허용해서 m개 선택 -> 부트스트랩(Bootstrap) 부트스트랩으로 추출된 n개의 데이터? 부트스트랩 샘플 Scikit-learn이 제공하는 랜덤 포레스트 API는 부트스트랩 샘플의 크기 n의 값으로 원래 트레이닝 데이터 전체 개수와 동일한 수를 할당 2.선택한 n개의 데이터 샘플에서 데이터 특성값(아이리스 데이터의 경우, 꽃잎 너비,..