본문 바로가기

전체 글176

ICLR2018: Graph Attention networks (GATs) GAT(Graph attention network)은 생각보다 오래전에 나왔다. 2018 ICLR(International Conference Learning Representation)에 발표되어, 현재 인용수만해도 3,000이 넘는다. Key technical contribution 이전 그레프의 상태를 다음 그레프 상태에 Self-attention을 적용하여, 이전 그레프의 노드에 대한 다음 그레프의 노드의 중요도를 파악하는 것. 이를 attention coefficient 이라고함. Attention coefficient: 아래와 같이 $h_{i}$(i번재 상태에서의 특징값)을 $h_{j}$번째의 상태에서의 특징값에 대해서 self-attention함. 결국 다음의 식에 따라, self-atten.. 2021. 6. 17.
고윳값, 고유벡터, 대각화, 요르단 표준형 (1) AR model(자기회귀모델)과 같이 $x_{t}$가 $x_{t-1}$에 영향을 받을 때(=$x_{t}$가 $x_{t-1}$입력값으로 할 때), 간혹 이런 모델은 폭주하거나, 안정적인 값을 지니게 된다. 이 폭주와 안정에 대한 정의는 다음과 같다. 1) 폭주: 어떤 초깃값 x(0)에서 시작해도, x(t)가 유한의 범위에 머무른다. 즉, t가 아무리커져도 모델f(t)의 상(image)가 유한하다는 것이다(=무한대로 안간다) 2) 안정: 어느 c점에서 안정이란 'c의 매우 가까운 곳에서 시작하면 언제까지나 그 점 가까이에 머무른다" 일반적으로 쓰는 수학용어는 아니고, 책 "프로그래머를 위한 선형대수"에 나오는 용어인데 쉽게 설명되어 참조한다. https://book.naver.com/bookdb/book_d.. 2021. 6. 16.
LU분해 5분컷 이해: python 대부분의 행렬A는 행렬을 일단 L(하삼각행렬 + 대각행렬은 1)과 U(상삼각행렬)로 분해가 된다. 분해를 왜하냐고 묻는다면, 일단 분해하고나면, A의 특성을 구하는데, 여러모로 행렬연산이 편해진다. 예를 들어, LU을 분해하고나면 det(LU)=det(L)det(U)로 바로 계산할수도있고, 일차방정식, 역행렬도 구할 수 있다. L(하삼각행렬): 다음의 꼴과 같이 하삼각행렬만 0이 아닌 값이 있고, 대각행렬은 모두 0이어야 한다. 유사하게 U(상삼각행렬)은 위의 삼각행렬을 제외하고 모두 0이어야한다. 다만 L의 대각행렬이 1이기 때문에, 상삼각행렬은 1일 필요는 없다. 대각행열까지를 포함한다. Python의 Numpy은 Tri+(l, u)을 통해 이를 구현하고있다. np.tril은 하삼각행렬을 만들어주는 .. 2021. 6. 15.
랭크, 역행렬, 일차방정식 풀이- 요약 (numpy) 역문제 vs 순문제 역문제: 역문제란 $y=ax$와 같이 $y$을 알고, 원인 $x$을 추정하는 형태의 문제를 역문제라고함. 순문제: 순문제는 역문제와 반대로 x에서 y을 예측하는 문제를 순문제라고 함. 정칙성과 행렬 정칙행렬(Nonsingular matrix, regular matrix): 정칙행렬은 역행렬이 존재하는 정방행렬을 말한다. 특이행렬(Singular matrix): 정칙행렬과 반대로 역행렬이 존재하지 않는 경우를 말한다. 연립일차방정식의 해법 $y=ax$와 같이 연립방정식의 해가 있는 경우는 A을 구할 수 있다. 즉, A가 정칙행렬인 경우에는 x을 구할 수 있다는 말이다. 연립일차방정식의 풀이는 정칙행렬인 경우 1) 변수소거법, 2)가우스 요르단 소거법, 3)역행렬을 계산으로 풀 수 있다... 2021. 6. 9.
벡터, 행렬, 행렬식의 표기 백터표기 1. 벡터는 기본적으로 종벡터(세로로 길게쓴 벡터)를 사용한다. 이유: 벡터는 주로 행렬과의 연산과 함께 쓰는데, 어순을 지키기 위함이다. 예를 들어, 행렬의 곱 $A\textbf{x}$을 어순을 바꿔쓰면, $\textbf{x}A$으로 부자연스럽기 때문이다. 2. 벡터는 주로 $\textbf{x, v, e}$와 같이 두꺼운 글씨로 표기한다. 이유: 벡터와 숫자를 확실히 구분하려고 한다. 기본이지만 이를 익혀두는 것이 좋다. 3. 숫자의 나열로서의 벡터는 $x$, 공간의미를 강조하고자할 때는 $\vec{x}$로 표기한다. 4. 좌표는 '기저'에 기인하지만, 극좌표의 경우도 있을 수 있다. 5. 아핀공간이란? 선형 공간과 달리, 공간에서의 원점이 없는 공간 6. 기저의 조건 - 어떤 벡터 $\vec.. 2021. 6. 8.
5분 이해: 텐서플로우 역전파(Backpropagation) 사용 역전파알고리즘은 1986년 데이비드 등이 개발한 알고리즘이다. 핵심은 "은닉 유닛(hidden unit)이 무엇을 해야하는지는 모르지만, 은닉층의 활성도를 바꿀때 얼마나 빨리 오차가 변하는지는 계산할 수 있다". 반환되는 Outcome $\hat{y}$가 변화할 때, 오차율(E)가 얼마나 변화할 것인지를 다음과 같이 미분식을 이용해보자. 아랫첨자 j은 데이터포인트이다. $\frac{\delta E}{\delta W_{1}} = \frac{\delta E}{\delta o_{1}} \frac{\delta o_{1}}{\delta z_{1}} \frac{\delta z_{1}}{\delta_{W_{1}}}$ 첫번째 곱인 $\frac{\delta E}{\delta o_{1}}$ 은 MSE와 구하는 공식이 같아.. 2021. 6. 8.

티스토리툴바