Cho hàm số \(y = \frac{x}{{1 - x}}\left( C \right).

Phương trình hoành độ giao điểm của (C) và d: \(\frac{x}{{1 - x}} = mx - m - 1,\left( {x \ne 1} \right)\) 

\( \Leftrightarrow x = mx - m - 1 - m{x^2} + mx + x \Leftrightarrow m{x^2} - 2mx + m + 1 = 0\) (1)

Để (C) cắt d tại 2 điểm phân biệt thì phương trình (1) có hai nghiệm phân biệt khác 1

\( \Leftrightarrow \left\{ \begin{array}{l}
m \ne 0\\
\Delta ' > 0\\
m{.1^2} - 2m.1 + m + 1 \ne 0
\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}
m \ne 0\\
{m^2} - m(m + 1) > 0\\
1 \ne 0
\end{array} \right. \Leftrightarrow m < 0\) 

Khi đó, giả sử \({x_1},{x_2}\) là nghiệm của (1), áp dụng định lsy Vi-ét ta có: \(\left\{ \begin{array}{l}
{x_1} + {x_2} = 2\\
{x_1}{x_2} = \frac{{m + 1}}{m}
\end{array} \right.\) 

Tọa độ giao điểm là: \(A\left( {{x_1};m{x_1} - m - 1} \right),B\left( {{x_2};m{x_2} - m - 1} \right) \Rightarrow \left\{ \begin{array}{l}
\overline {AM}  = \left( {{x_1} + 1;m{x_1} - m - 2} \right)\\
\overrightarrow {AN}  = \left( {{x_2} + 1;m{x_2} - m - 2} \right)
\end{array} \right.\) 

Gọi I là trung điểm của MN \( \Rightarrow \left\{ \begin{array}{l}
{x_I} = \frac{{{x_1} + {x_2}}}{2} = \frac{2}{2} = 1\\
{y_I} = \frac{{m{x_1} - m - 1 + m{x_2} - m - 1}}{2} =  - 1
\end{array} \right. \Rightarrow I(1; - 1)\) 

Ta có: \(A{M^2} + A{N^2} = {\left( {\overrightarrow {AI}  + \overrightarrow {IM} } \right)^2} + {\left( {\overrightarrow {AI}  + \overrightarrow {IN} } \right)^2} = 2A{I^2} + 2\overrightarrow {AI} .\left( {\overrightarrow {IM}  + \overrightarrow {IN} } \right) + I{M^2} + I{N^2} = 2A{I^2} + \frac{1}{2}M{N^2}\) 

Do vậy, \({\left( {A{M^2} + A{N^2}} \right)_{\min }}\) khi và chỉ khi MN_min.

Ta có: \(\overrightarrow {MN}  = \left( {{x_2} - {x_1};m{x_2} - m{x_1}} \right) \Rightarrow MN = \sqrt {\left( {1 + {m^2}} \right){{\left( {{x_2} - {x_1}} \right)}^2}}  = \sqrt {{{\left( {1 + m} \right)}^2}({{\left( {{x_2} + {x_1}} \right)}^2} - 4{x_1}{x_2})} \) 

\( = \sqrt {\left( {1 + {m^2}} \right)\left( {4 - \frac{{4\left( {m + 1} \right)}}{n}} \right)}  = \sqrt {\frac{{ - 4\left( {1 + {m^2}} \right)}}{m}}  = \sqrt {\frac{4}{{( - m)}} + ( - 4m)}  \ge \sqrt {2.\sqrt {\frac{4}{{ - m}}.( - 4m)} }  = 2\sqrt 2 \) 

\( \Rightarrow M{N_{\min }} = 2\sqrt 2 \) khi và chỉ khi \(\frac{4}{{ - m}} =  - 4m \Leftrightarrow {m^2} = 1 \Leftrightarrow \left[ \begin{array}{l}
m = 1(ktm)\\
m =  - 1(tm)
\end{array} \right.\) 

Vậy để \({\left( {A{M^2} + A{N^2}} \right)_{\min }}\) thì m = -1.