A B → ⋅ A C → = ( O B → − O A → ) ⋅ ( O C → − O A → ) = O A → ⋅ O A → − O A → ⋅ ( O B → + O C → ) + O B → ⋅ O C → = ∣ O A → ∣ 2 − ∣ O B → ∣ 2 \displaystyle \begin{aligned}{\overrightarrow{\mathrm{AB}}} \cdot {\overrightarrow{\mathrm{AC}}} & = ( {\overrightarrow{\mathrm{OB}}} - {\overrightarrow{\mathrm{OA}}} ) \cdot ( {\overrightarrow{\mathrm{OC}}} - {\overrightarrow{\mathrm{OA}}} ) \\ & = {\overrightarrow{\mathrm{OA}}} \cdot {\overrightarrow{\mathrm{OA}}} - {\overrightarrow{\mathrm{OA}}} \cdot ( {\overrightarrow{\mathrm{OB}}} + {\overrightarrow{\mathrm{OC}}} ) + {\overrightarrow{\mathrm{OB}}} \cdot {\overrightarrow{\mathrm{OC}}} \\ & = | {\overrightarrow{\mathrm{OA}}} |^{2} - | {\overrightarrow{\mathrm{OB}}} |^{2}\end{aligned} AB ⋅ AC = ( OB − OA ) ⋅ ( OC − OA ) = OA ⋅ OA − OA ⋅ ( OB + OC ) + OB ⋅ OC = ∣ OA ∣ 2 − ∣ OB ∣ 2 이므로 k = ∣ O A → ∣ 2 − ∣ O B → ∣ 2 \displaystyle k = | {\overrightarrow{\mathrm{OA}}} |^{2} - | {\overrightarrow{\mathrm{OB}}} |^{2} k = ∣ OA ∣ 2 − ∣ OB ∣ 2 이다.
(a) k = 0 \displaystyle k = 0 k = 0 에서 O A ‾ = O B ‾ \displaystyle {\overline{\mathrm{OA}}} = {\overline{\mathrm{OB}}} OA = OB 이므로 타원의 대칭성으로부터 점 A \displaystyle \mathrm{A} A 와 점 B \displaystyle \mathrm{B} B 는 x \displaystyle x x 축 또는 y \displaystyle y y 축 대칭이다.
따라서 점 A \displaystyle \mathrm{A} A 와 점 B \displaystyle \mathrm{B} B 는 x \displaystyle x x 축 또는 y \displaystyle y y 축 대칭이고, 직선 O A \displaystyle {{\mathrm{OA}}} OA 와 직선 O B \displaystyle {{\mathrm{OB}}} OB 가 서로 수직이므로 직선 O A \displaystyle {{\mathrm{OA}}} OA 와 직선 O B \displaystyle {{\mathrm{OB}}} OB 의 기울기 중 하나는 1 \displaystyle 1 1 이고 다른 하나는 − 1 \displaystyle - 1 − 1 이다. 그러므로 점 A \displaystyle \mathrm{A} A 는 주어진 타원과 직선 y = x \displaystyle y = x y = x 의 교점인 ( a b a 2 + b 2 , a b a 2 + b 2 ) \displaystyle \left( \frac{{a b}}{\sqrt{a^{2} + b^{2}}} , \frac{{a b}}{\sqrt{a^{2} + b^{2}}} \right) ( a 2 + b 2 ab , a 2 + b 2 ab ) , ( − a b a 2 + b 2 , − a b a 2 + b 2 ) \displaystyle \left( - \frac{{a b}}{\sqrt{a^{2} + b^{2}}} , - \frac{{a b}}{\sqrt{a^{2} + b^{2}}} \right) ( − a 2 + b 2 ab , − a 2 + b 2 ab ) 또는 주어진 타원과 직선 y = − x \displaystyle y = - x y = − x 의 교점인 ( a b a 2 + b 2 , − a b a 2 + b 2 ) \displaystyle \left( \frac{{a b}}{\sqrt{a^{2} + b^{2}}} , - \frac{{a b}}{\sqrt{a^{2} + b^{2}}} \right) ( a 2 + b 2 ab , − a 2 + b 2 ab ) , ( − a b a 2 + b 2 , a b a 2 + b 2 ) \displaystyle \left( - \frac{{a b}}{\sqrt{a^{2} + b^{2}}} , \frac{{a b}}{\sqrt{a^{2} + b^{2}}} \right) ( − a 2 + b 2 ab , a 2 + b 2 ab ) 이다.
(b) k \displaystyle k k 가 최대가 되려면 ∣ O A → ∣ \displaystyle | {\overrightarrow{\mathrm{OA}}} | ∣ OA ∣ 의 길이가 최대이고, ∣ O B → ∣ \displaystyle | {\overrightarrow{\mathrm{OB}}} | ∣ OB ∣ 의 길이가 최소가 되며 두 벡터가 수직이어야 한다.
점 A \displaystyle \mathrm{A} A 가 장축에 있고 점 B \displaystyle \mathrm{B} B 가 단축에 있을 때, 조건을 만족하며 최댓값 a 2 − b 2 \displaystyle a^{2} - b^{2} a 2 − b 2 을 가진다. 같은 이유로 점 A \displaystyle \mathrm{A} A 가 단축에 있고 점 B \displaystyle \mathrm{B} B 가 장축에 있을 때, 조건을 만족하며 최솟값은 b 2 − a 2 \displaystyle b^{2} - a^{2} b 2 − a 2 을 가진다.