직사각형의 네 꼭짓점 중 많아야 한 개가 정삼각형의 변에 있으면 직사각형이 정삼각형 내부에 포함되도록 직사각형의 가로와 세로의 길이를 키울 수 있다. 또 직사각형의 네 꼭짓점 중 2 \displaystyle 2 2 개만이 정삼각형의 변에 있으면, 직사각형의 네 꼭짓점 중 많아야 한 개가 정삼각형의 변에 있도록 평행이동 할 수 있다.
따라서 직사각형의 네 꼭짓점 중 적어도 3 \displaystyle 3 3 개가 정삼각형의 변에 있을 때, 직사각형 넓이의 최댓값을 구하면 된다.
두 꼭짓점이 한 변에 있는 경우 다른 두 꼭짓점은 이미 삼각형의 다른 두 변에 있거나 다른 두 변에 있도록 키울 수 있다. 따라서 P \displaystyle \mathrm{P} P 는 선분 A B \displaystyle \mathrm{AB} AB , Q \displaystyle \mathrm{Q} Q 는 선분 B C \displaystyle \mathrm{BC} BC , R \displaystyle \mathrm{R} R 은 선분 C A \displaystyle \mathrm{CA} CA 에 있다고 하여도 무방하다. P \displaystyle \mathrm{P} P 에서 변 B C \displaystyle \mathrm{BC} BC 에 내린 수선의 발을 점 H \displaystyle \mathrm{H} H , a = B Q ‾ \displaystyle a = \overline{\mathrm{BQ}} a = BQ , θ = ∠ P Q B \displaystyle \theta = \angle \mathrm{PQB} θ = ∠ PQB 라 하자. 이때 다음이 성립한다.
[1] 꼭짓점 S \displaystyle \mathrm{S} S 는 삼각형 A B C \displaystyle \mathrm{ABC} ABC 의 변 또는 내부에 있으므로 ∠ A P Q = ∠ P B Q + ∠ P Q B = π 3 + θ ≥ π 2 \displaystyle \angle \mathrm{APQ} = \angle \mathrm{PBQ} + \angle \mathrm{PQB} = \frac{\pi}{3} + \theta \ge \frac{\pi}{2} ∠ APQ = ∠ PBQ + ∠ PQB = 3 π + θ ≥ 2 π , ∠ A R Q = ∠ R C Q + ∠ R Q C = π 3 + ( π 2 − θ ) ≥ π 2 \displaystyle \angle \mathrm{ARQ} = \angle \mathrm{RCQ} + \angle \mathrm{RQC} = \frac{\pi}{3} + \left( \frac{\pi}{2} - \theta \right) \ge \frac{\pi}{2} ∠ ARQ = ∠ RCQ + ∠ RQC = 3 π + ( 2 π − θ ) ≥ 2 π 이다. 따라서 π 6 ≤ θ ≤ π 3 \displaystyle \frac{\pi}{6} \le \theta \le \frac{\pi}{3} 6 π ≤ θ ≤ 3 π 이다.
[2] B P ‾ sin π 3 = P H ‾ = P Q ‾ sin θ \displaystyle \overline{\mathrm{BP}} \sin \frac{\pi}{3} = \overline{\mathrm{PH}} = \overline{\mathrm{PQ}} \sin \theta BP sin 3 π = PH = PQ sin θ 이므로 B P ‾ = P Q ‾ sin θ × 2 3 \displaystyle \overline{\mathrm{BP}} = \overline{\mathrm{PQ}} \sin \theta \times \frac{2}{\sqrt{3}} BP = PQ sin θ × 3 2 이다.
[3] a = B Q ‾ = B H ‾ + H Q ‾ = B P ‾ cos π 3 + P Q ‾ cos θ \displaystyle a = \overline{\mathrm{BQ}} = \overline{\mathrm{BH}} + \overline{\mathrm{HQ}} = \overline{\mathrm{BP}} \cos \frac{\pi}{3} + \overline{\mathrm{PQ}} \cos \theta a = BQ = BH + HQ = BP cos 3 π + PQ cos θ 이므로 P Q ‾ ( sin θ 3 + cos θ ) = a \displaystyle \overline{\mathrm{PQ}} \left( \frac{{\sin \theta}}{\sqrt{3}} + \cos \theta \right) = a PQ ( 3 sin θ + cos θ ) = a 이다.
같은 방법으로 Q R ‾ ( sin ( π 2 − θ ) 3 + cos ( π 2 − θ ) ) = Q R ‾ ( cos θ 3 + sin θ ) = 1 − a \displaystyle \overline{\mathrm{QR}} \left( \frac{{\sin \left( \frac{\pi}{2} - \theta \right)}}{\sqrt{3}} + \cos \left( \frac{\pi}{2} - \theta \right) \right)= \overline{\mathrm{QR}} \left( \frac{{\cos \theta}}{\sqrt{3}} + \sin \theta \right)= 1 - a QR ( 3 sin ( 2 π − θ ) + cos ( 2 π − θ ) ) = QR ( 3 cos θ + sin θ ) = 1 − a 이다.
따라서 P Q ‾ ( sin θ 3 + cos θ ) × Q R ‾ ( cos θ 3 + sin θ ) = a ( 1 − a ) \displaystyle \overline{\mathrm{PQ}} \left( \frac{{\sin \theta}}{\sqrt{3}} + \cos \theta \right) \times \overline{\mathrm{QR}} \left( \frac{{\cos \theta}}{\sqrt{3}} + \sin \theta \right)= a ( 1 - a ) PQ ( 3 sin θ + cos θ ) × QR ( 3 cos θ + sin θ ) = a ( 1 − a ) 이고
( sin θ 3 + cos θ ) × ( cos θ 3 + sin θ ) = 1 3 + 4 sin θ cos θ 3 = 1 3 + 2 sin 2 θ 3 \displaystyle \left( \frac{{\sin \theta}}{\sqrt{3}} + \cos \theta \right) \times \left( \frac{{\cos \theta}}{\sqrt{3}} + \sin \theta \right)= \frac{1}{\sqrt{3}} + \frac{{4 \sin \theta \cos \theta}}{3}= \frac{1}{\sqrt{3}} + \frac{{2 \sin 2 \theta}}{3} ( 3 sin θ + cos θ ) × ( 3 cos θ + sin θ ) = 3 1 + 3 4 sin θ cos θ = 3 1 + 3 2 sin 2 θ 이므로
P Q ‾ × Q R ‾ = 3 a ( 1 − a ) 3 + 2 sin 2 θ \displaystyle \overline{\mathrm{PQ}} \times \overline{\mathrm{QR}} = \frac{{3 a ( 1 - a )}}{\sqrt{3} + 2 \sin 2 \theta} PQ × QR = 3 + 2 sin 2 θ 3 a ( 1 − a ) 이다.
또 a ( 1 − a ) = − ( a − 1 2 ) 2 + 1 4 \displaystyle a ( 1 - a ) = - \left( a - \frac{1}{2} \right)^{2} + \frac{1}{4} a ( 1 − a ) = − ( a − 2 1 ) 2 + 4 1 이고, π 6 ≤ θ ≤ π 3 \displaystyle \frac{\pi}{6} \le \theta \le \frac{\pi}{3} 6 π ≤ θ ≤ 3 π 이므로 2 3 ≤ 3 + 2 sin 2 θ ≤ 3 + 2 \displaystyle 2 \sqrt{3} \le \sqrt{3} + 2 \sin 2 \theta \le \sqrt{3} + 2 2 3 ≤ 3 + 2 sin 2 θ ≤ 3 + 2 이다.
따라서 P Q ‾ × Q R ‾ ≤ 3 4 × 1 2 3 = 3 8 \displaystyle \overline{\mathrm{PQ}} \times \overline{\mathrm{QR}} \le \frac{3}{4} \times \frac{1}{2 \sqrt{3}} = \frac{\sqrt{3}}{8} PQ × QR ≤ 4 3 × 2 3 1 = 8 3 이고 등호는 a = 1 2 \displaystyle a = \frac{1}{2} a = 2 1 , θ = π 6 \displaystyle \theta = \frac{\pi}{6} θ = 6 π 또는 a = 1 2 \displaystyle a = \frac{1}{2} a = 2 1 , θ = π 3 \displaystyle \theta = \frac{\pi}{3} θ = 3 π 일 때 성립한다. 그러므로 구하는 최댓값은 3 8 \displaystyle \frac{\sqrt{3}}{8} 8 3 이다.