Tìm tập hợp \(S\) tất cả các giá trị của tham số thực \(m\) để hàm số \(y = \frac{1}{3}{x^3} - \left( {m + 1} \right){x^2} + \left( {{m^2} + 2m} \right)x - 3\) nghịch biến trên khoảng \(\left( { - 1;1} \right)\).

TXĐ: \(D = \mathbb{R}\). Ta có: \(y' = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\).

Để hàm số nghịch biến trên khoảng \(\left( { - 1;1} \right)\) thì \(y' \le 0\,,\,\forall x \in \left( { - 1;1} \right)\)

\( \Leftrightarrow {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m \le 0\) với \(\forall x \in \left( { - 1;1} \right)\).

Đặt \(f\left( x \right) = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\).

Để \(f\left( x \right) \le 0\,\,\forall x \in \left( { - 1;1} \right)\) thì phương trình \(f\left( x \right) = 0\) phải có 2 nghiệm phân biệt \({x_1},\,\,{x_2}\) thỏa mãn \({x_1} \le  - 1 < 1 \le {x_2}\). Khi đó ta có:

\(\left\{ \begin{array}{l}\Delta ' > 0\\{x_1} \le  - 1 < {x_2}\\{x_1} < 1 \le {x_2}\end{array} \right.\)\( \Leftrightarrow \left\{ \begin{array}{l}{\left( {m + 1} \right)^2} - {m^2} - 2m > 0\\{x_1} + 1 \le 0 < {x_2} + 1\\{x_1} - 1 < 0 \le {x_2}\end{array} \right.\)  \( \Leftrightarrow \left\{ \begin{array}{l}1 > 0\\\left( {{x_1} + 1} \right)\left( {{x_2} + 1} \right) \le 0\\\left( {{x_1} - 1} \right)\left( {{x_2} - 1} \right) \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l}{x_1}{x_2} + \left( {{x_1} + {x_2}} \right) + 1 \le 0\\{x_1}{x_2} - \left( {{x_1} + {x_2}} \right) + 1 \le 0\end{array} \right.\,\,\,\left( * \right)\)

Áp dụng định lí Vi-ét ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} = 2\left( {m + 1} \right)\\{x_1}{x_2} = {m^2} + 2m\end{array} \right.\).

Khi đó \(\left( * \right) \Leftrightarrow \left\{ \begin{array}{l}{m^2} + 2m + 2\left( {m + 1} \right) + 1 \le 0\\{m^2} + 2m - 2\left( {m + 1} \right) + 1 \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l}{m^2} + 4m + 3 \le 0\\{m^2} - 1 \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l} - 3 \le m \le  - 1\\ - 1 \le m \le 1\end{array} \right. \Leftrightarrow m =  - 1\).

Vậy \(S = \left\{ { - 1} \right\}.\)