06-01 Gradient decent

[hcgcut]

2차 테일러 식에서 마지막 항을 다음과 같이 바꿔야 할 것 같습니다.
${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$

$\nabla^2f$는 Laplacian을 위한 표기법이므로 적절하지 않습니다

[Curt-Park]

06-01의 내용은 CMU의 강의 교안을 참고했습니다.
https://www.stat.cmu.edu/~ryantibs/convexopt/lectures/grad-descent.pdf

관례적으로 두 표기법 모두 사용하는 것으로 보이는데요.

• https://math.stackexchange.com/a/1100393
• https://en.wikipedia.org/wiki/Hessian_matrix#:~:text=The%20Hessian%20is%20sometimes%20denoted,%2C%20ambiguously%2C%20by%20%E2%88%872.

말씀해주신 내용에 대한 레퍼런스를 공유해주실 수 있으실까요?

[hcgcut]

∇² 는 laplacian에서 더 흔하게 쓰는 기호이기에, CMU 강의 노트에서 ∇² 앞에 Hessian이라고 명시해준 것 같이 명확히 표시해주는 것이 좋을 것 같습니다.

• https://en.wikipedia.org/wiki/Laplace_operator#:~:text=It%20is%20usually,%2C

그리고 중요한 점은 수식이 틀렸습니다.
CMU 강의 를 보면 올바른 테일러 2차 근사식의 마지막 항은 ${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$ 입니다.
이 항에서의 헤시안을 ${1\over{t}} I$로 치환하였을 때 강의 교안의 식이 됩니다.

현재 적혀있는 2차 테일러 근사식은 차원이 맞지 않아 틀린 수식입니다.

이에 뒤 수식을 ${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$ 으로 바꾸어 주어야 합니다.