학원에서 수업시간에 딴짓$($?$)$을 하다 학원 벽에 '주어진 삼각형을 유한개의 오목사각형으로 채울 수 있을까?'라는 문장이 무려 '낙서'로 써져있는 것을 봤다. 못 채울 것이라는 생각을 가지고 몇 번 그림을 그려보니 정말 채워지지 않았다. '오 이거 증명해봐야겠다!'라는 충동을 느끼고 학원에서 증명해보았다. 생각보다 잘 증명한 것 같아서 여기에 남겨보았다.
주요 아이디어는 삼각형에만 국한하지 않고 일반적인 볼록다각형에 대해서 채울 수 있는지를 확인하는 것이었다. 삼각형은 항상 볼록하므로 일반적인 볼록다각형에 대해서 불가능하다는 것을 증명하는 것으로 충분하다. 그래서 오목사각형으로 이루어진 도형이 오목할 수 밖에 없다는 것을 증명하였다.
Proposition 1) 임의의 오목다각형에 오목사각형을 추가하여 볼록다각형으로 만들 수 없다.
p.f) 귀류법을 이용하여 증명하자. 주어진 오목다각형 $P$ 에 대해 오목사각형 $S$ 를 추가하여 볼록다각형 $Q$ 를 만들 수 있다고 가정하자. $P$ 가 오목다각형이므로 내각이 $180^\circ$이상인 점이 적어도 하나 존재한다. 이 점 중 하나를 $V$라고 하고 그 양 옆 점들을 각각 $U,W$라고 하자. $P$ 와 $S$ 를 합쳐 만들어진 $Q$ 는 볼록하므로 적어도 임의의 점 $X \in \overline{UV}, Y \in \overline{VW}$에 대해 $\overline{XY} \subset Q$ 를 만족해야한다. 그런데 $\overline{XY} \not\subset P$ 이므로 $\overline{XY} \subset S$이다. 즉 $\triangle VUW \subset S$이다. 마찬가지 방법으로 내각이 $180^\circ$이상인 점 $V^\prime \not\equiv V$ 가 존재한다면 $\triangle V^\prime U^\prime W^\prime \subset S$여야한다. $S$가 사각형임을 생각해보면 가능한 경우는 $V^\prime$이 존재하지 않거나 $V^\prime$이 하나 존재하고 $V$와 인접한 경우이다.
가능한 경우에 대한 그림
Case1) $V^\prime$ 존재 안함 $S$ 의 꼭짓점 중 $\overrightarrow{VU}, \overrightarrow{VW}$ 위에 존재하는 점을 각각 $A,B$라 하자. $Q$ 의 볼록성에 의하여 $A$ 와 $B$ 모두 $T$ 내부의 임의의 점 $C$에 대해 $\overline{AC} \subset T, \overline{BC} \subset T$를 만족해야한다. $C$를 $U,W$와 인접한 $T$ 의 꼭짓점으로 잡는다면 조건을 만족시키기 위해선 $A = U, B = W$여야함이 자명하다. 따라서 $S$ 는 $U,V,W$를 꼭짓점으로 가지고 $\triangle UVW$를 포함하는 오목사각형이어야한다. 이는 존재하지 않으므로 모순이다.
Case 2) $V^\prime$ 존재 Case 1에서와 완전히 동일한 논리를 이용하면 $S$ 는 아래 그림에서 $E, E^\prime$ 을 꼭짓점으로 가져야한다. 이 경우는 $T$ 가 원래 내부에 빈공간이 존재해 단순한 다각형이 아니게 되므로 오목다각형이라는 것에 모순이 된다.
따라서 두 경우에서 모두 모순이므로 볼록다각형을 만들 수 없음이 증명된다. ▨
Proposition 2) 유한개의 오목사각형으로 이루어진 다각형은 오목하다.
p.f) $($proposition 1$)$을 이용하면 오목사각형의 개수에 대한 수학적 귀납법으로 쉽게 증명된다. ▨