최적화 및 기계학습/기계학습(ML)

벡터미분 공식과 행렬미분 결과에 대한 사실

JSMATH 2024. 4. 16. 21:43

수정 - 2025/05/04 : 기존 내용보다 더 쉽게 설명했습니다. 

변수가 많은 데이터나 방정식에서 벡터화시켜서 미분을 진행하는 경우가 꽤 많다. 예로들어, 다중선형회귀분석에서 각 변수마다 편미분을 해서 구할려고 하면, 힘들기 때문에 벡터미분을 이용한다.

 

다음은 행렬에 관한 미분이다. 행렬식에 관한 미분과 역행렬에 대한 미분이 다음과 같이 사실로 밝혀져있음을 받아들인다.

이는 선형모형론 이차형식의 적률생성함수를 구하고 평균과 분산을 구하는 곳에서 유용하게 쓰이는 사실이다.