[Logistic Regression] - Sigmoid, 처음 등장한 목적함수

Sigmoid란?

1. sigmoid에 대한 정의와 의미에 대해서 설명한다.

2. 비용함수에 그냥 임계함수를 씌우는 것이 아니라 특수한 목적을 수행하기위해서 sigmoid 함수를 씌웠다.

( 전개와 관련된 지식을 여기서 다 소개하자 )

 

3. 오즈비(odds ratio)

가능도  = pi(0, inf)
로그가능도 = 가산법으로 변환
(추가 정리 )

4. 가능도(likelihood)

가능도  = pi(0, inf)
로그가능도 = 가산법으로 변환
(추가 정리 )

5. 로그 가능도

가능도  = pi(0, inf)
로그가능도 = 가산법으로 변환
(추가 정리 )

---

sigmoid의 정체는 000이다

(그림)

 

sigmoid의 목적은 확률을 구하는 거잖아, 그니까 sigmoid 저게 pdf인지 cdf인지 알아내서 정리해보자.

---

따라서 sigmoid 확률에 대한 목적함수로 쓰일 수 있다

(수식)

 

sigmoid가 양성클래스에 대한 확률을 나타낼 수 있다는 부분을 위에서 정리한 내용을 토대로 로지스틱회귀모형에 대입해서 정리하기

---

sigmoid는 목적함수로 쓰일 수 있다

(수식)

 

sigmoid가 확률을 알 수 있다는 장점도 있지만, 왜 오즈비에 로그까지 씌웠는 지에 대해서 이야기해보자.

결국에는, cost의 범위를 -inf ~ inf까지 확장시킬 수 있다는 장점이 있다.

 

단점도 이야기하자. 경사하강법 배웠으니까는, sigmoid가 가진 단점도 이야기하자, 추후에 ReLU가 나오게 된 배경과 관련

---

인스타 주소 🎗

https://www.instagram.com/f.inn_sharp/