시그모이드 함수(sigmoid function)는 인공지능 분야중 하나인 딥러닝(심층학습)의 출력값을 결정하기 위해 사용하는 함수입니다. 시그모이드 함수의 정의는$$f(x)=\frac{1}{1+e^{-x}}=\frac{e^{x}}{e^{x}+1}$$이고 그래프가 S자 모양의 곡선으로 나타나는 함수입니다. 이 글에서는 시그모이드 함수의 용도와 중요성을 간단히 소개하고, 그 특징을 알아보겠습니다. (시그모이드 함수는 실제로 2018학년도 수능과 2017학년도 6월 모의고사에서 출제되었습니다.)
시그모이드 함수가 수능/논술에 나올 것 같은 이유
요즈음 사람들이 가장 활발히 연구하고 있고, 대중의 관심을 끌고 있는 분야는 인공 지능, 그 중에서도 딥러닝(심층학습)입니다. 딥러닝의 구조를 살펴보면 전체 시스템을 여러 개의 층으로 나누어, 한 층의 출력을 다른 층의 입력으로 사용하도록 되어 있습니다. 이 때 각층의 출력을 담당하고 있는 함수를 활성화 함수라고 합니다. 다음과 같은 조건을 가지고 있는 함수는 활성화 함수로 사용할 수 있습니다.
- S자 모양의 그래프를 가질 것
- \(x\to\pm\infty\) 일 때, 점근선이 \(y=k\) 모양의 상수 함수가 될 것
이러한 조건을 만족하는 함수 중 가장 많이 사용되는 함수는 시그모이드 함수입니다. 실제로 시그모이드 함수는 2018학년도 수능과 2017학년도 6월 평가원 모의고사에 출제된 적이 있습니다. 이 함수가 앞으로도 수능/논술에 나올 것 같은 이유는 다음과 같습니다.
- 요즈음 가장 인기있는 연구 주제인 딥러닝의 활성화 함수 중 가장 많이 사용되는 함수이다.
- 고등학교 수학을 사용하여 미분과 부정적분이 가능하며 도함수와 이계도 함수를 사용하여 그래프의 개형을 그릴 수 있다.
- 도함수의 형태가 특이하여 미분 방정식 형태로 응용이 가능하다.
시그모이드 함수의 도함수
시그모이드 함수의 도함수를 살펴보면, 도함수 안에 시그모이드 함수가 들어있는 재미있는 모습을 하고 있습니다.
$$f(x)=\frac{1}{1+e^{-x}}$$일 때,$$f'(x)=f(x)\cdot(1-f(x))\qquad(1)$$
이유는 다음과 같습니다.
$$
\begin{align}
f'(x) & =-\frac{(1+e^{-x})’}{(1+e^{-x})^2} \\
& = \frac{e^{-x}}{(1+e^{-x})^2} \\
& = \frac{1}{1+e^{-x}}\cdot\frac{e^{-x}}{1+e^{-x}} \\
& = f(x)\cdot\frac{(1+e^{-x})-1}{1+e^{-x}} \\
& = f(x)\cdot\left(1-\frac{1}{1+e^{-x}}\right) \\
& = f(x)\cdot(1-f(x))
\end{align}
$$
시그모이드 함수의 부정적분
시그모이드 함수의 부정적분은 다음과 같습니다.
$$\int\frac{1}{1+e^{-x}}dx=\ln ({e^{x}+1})+C\qquad(2)$$
이유는 다음과 같습니다.
$$
\begin{align}
\int\frac{1}{1+e^{-x}}dx & =\int\frac{e^{x}}{e^{x}+1}dx \\
& = \int\frac{(e^x+1)’}{e^x+1}dx \\
& = \ln (e^x+1)+C \\
\end{align}
$$
시그모이드 함수의 그래프
점근선
시그모이드 함수의 점근선은 다음과 같습니다.
$$\lim \limits_{x \to \infty}\left(\frac{1}{1+e^{-x}}\right)=\frac{1}{1+0}=1\qquad(3)$$
$$\lim \limits_{x \to -\infty}\left(\frac{1}{1+e^{-x}}\right)=\lim \limits_{x \to \infty}\left(\frac{1}{1+e^{x}}\right)=0\qquad(4)$$
증가,감소
시그모이드 함수의 도함수는 \(f'(x)=f(x)\cdot(1-f(x))\) 이고 식 \((3),(4)\)의 결과를 확인하면 모든 실수 \(x\)에서 시그모이드 함수 $$0<f(x)<1$$이므로 $$f'(x)>0$$입니다. 따라서 시그모이드 함수는 모든 실수 \(x\)에서 항상 증가하며 극점은 존재하지 않습니다.
y절편
$$f(0)=\frac{1}{1+e^{0}}=\frac{1}{2}$$
변곡점
변곡점이 존재 할 수 있을 지, 그리고 존재한다면 몇 개가 될 지, 그리고 변곡점의 위치는 어디가 될까요? 직접 찾아 보는 것도 좋은 연습이 될 것 같습니다.
이상의 정보를 바탕으로 한 시그모이드의 함수의 그래프는 다음과 같습니다.
관계있는 평가원 문제
시그모이드 함수의 그래프와 비슷한 S자 모양의 곡선을 그래프로 가지는 함수가 2017학년도 6월 모의고사 21번에 출제되었습니다. 이 함수 역시 시그모이드 함수와 같이 딥러닝의 출력값을 결정하는데 사용할 수 있습니다. (이 문제는 미분 방정식과 관련된 글에서 다시 다루어 보겠습니다.)