본문 바로가기

최적화 및 기계학습

(9)
[R] AirPassengers 데이터를 이용한 회귀분석 비교(회귀분석,조화회귀) 위 데이터를 다루는데 있어 어떠한 모형인지부터 알고 시작하자.data('AirPassengers')AP AP Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec1949 112 118 132 129 121 135 148 148 136 119 104 1181950 115 126 141 135 125 149 170 170 158 133 114 1401951 145 150 178 163 172 178 199 199 184 162 146 1661952 171 180 193 181 183 218 230 242 209 191 172 1941953 196 196 236 235 229 243 264 272 237 211 180 2011954 204 188 235 227 234 ..
[R] 푸리에급수를 이용한 회귀분석(harmonic regression) # 데이터 생성: x ~ Uniform[0,1]에서 샘플, y = sin(2*pi*x) + 노이즈set.seed(123)n K=4일 때를 보겠다. K가 뭐든간에 cos과 sin의 특징(값)을 추출해내야 한다.이를 어떠한 행렬형태로 나타낼 것이다.Cos(2pi*1*x)Cos(2pi*2*x)Cos(2pi*3*x)Cos(2pi*4*x)Cos(2pi*5*x)Cos(2pi*6*x)data11data21........data12data22........ 이런 형태는 R에서 sapply를 이용해서 만들면 좋다. k=1,2,3,4... 일때 만들기에 특화되어있기 때문이다.#K=4K head(cos_feat) cos1 cos2 cos3 cos4[1,] -0.23391..
적대적 생성 신경망(GAN) 이론 및 과정 딥러닝 시험공부하면서 정리한 GAN 이론입니다. 다음에는 코드를 올려보도록 하겠습니다.아래 링크에 코드를 남겨두었습니다.https://github.com/juseong4121/Python
벡터미분(공식,미분으로 증명) 변수가 많은 데이터나 방정식에서 벡터화시켜서 미분을 진행하는 경우가 꽤 많다. 예로들어, 다중선형회귀분석에서 각 변수마다 편미분을 해서 구할려고 하면, 힘들기 때문에 벡터미분을 이용한다. 3,4번째는 A=1을 넣으면 3번이 되기때문에 4번째만 증명하겠다. 위 과정의 포인트는 마지막에 delta x^T A x는 스칼라꼴이기 때문에, 전치를 시켜도 문제가 되지 않는다.
경사하강법1(Gradient-descent) 결국엔 이렇게 봐도 저렇게 봐도 말하고자 하는 바는 같다. 두 포인트가 같아지면 수평이 된다는 이야기다. 사실 먼저 그레디언트값을 구해두고 헤시안행렬을 구할 수 밖에 없다. 아래의 얘기를 해두고 싶어서 그랬다. 아래는 경사하강법을 사용하여 R 코딩을 이용했습니다. > f f function(x1,x2){ 3*x1^2 + 5*x2^2 +2*x1 -5*x1*x2 } #그림으로 임계점이 있는지 보자. #library(mosaic) #추가적으로 'manipulate'라는 패키지가 필요 할 수 있습니다. 필요하다면 받아주시고 라이브러리로 읽어주세요. plotFun(3*x1^2 + x2^2 -2*x1 +5*x1*x2 ~ x1&x2, x1.lim = range(-50,50), x2.lim = range(-50,50)..
볼록함수,볼록집합이란? 최적화를 다루는데 있어, 볼록(Convex)는 아주 중요한 요소이다. 우선 함수는 집합으로 이루어져있기 때문에, 집합부터 봐야겠다. 볼록집합을 알아보기전에 아래를 보자. 그래서 왜 이렇게 주저리주저리 위치벡터를 설명하고 선분위의 한 점을 양 끝점으로 표현하는 방법을 알아보았냐면, 볼록집합의 정의가 어느 한 "선"을 기준으로 얘기하는데, 이 "선"의 식이 어떻게 나오는지 출처를 잘 모르는 사람들이 꽤 있기 때문이다.기하학적의미는 선을 찍찍 그었을 때, 집합(도형)에 모두 표현이 가능하다면, 그것은 볼록집합이다. 다음은 볼록함수의 내용이다. 감이 잘 안올 것이다. 아래의 설명을 꼼꼼하게 봐보자. 즉, 양 점의 함숫값을 직선으로 그었을 때, 함수는 밑에서 존재해야 한다는 말이다. 추가적으로, 아래의 함수는 y..
선형회귀(LR)-3 :결정계수와 회귀분석결과 해석. 아래 csv파일을 첨부해두었으니 하실분은 하시면 됩니다. > libray(magrittr) #경로 지정: 문서 우클릭 -> 속성 -> 위치복사 -> 역슬래시(\)를 모두 /로 변환. > df1 df1 > reg1 reg1 %>% summary() #시각화 코드 3차원 library(scatterplot3d) sp3d
선형회귀(LR)-2 : 유도과정,다중선형회귀 선형회귀-1 포스팅에 이어서 진행됩니다. 이때 w1의 분모는 X의 분산, 분자는 Cov(X,Y) 즉, X,Y의 공분산을 뜻한다. *공분산이란? X,Y의 두 선형관계를 나타내는데, X ↑ , Y ↑ :양수의 공분산 X ↑ , Y ↓ :음수의 공분산( 둘 중 하나는 반대의 경향을 지니면) 추가적으로 오차와 잔차의 차이를 아는가?