Tìm m để hàm số x^3/3-(m+1)x^2+(m^2+2m)x+1 nghịch biến trên (2;3)

 Ta có: \(y' = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\)

Để hàm số \(y = \frac{{{x^3}}}{3} - \left( {m + 1} \right){x^2} + \left( {{m^2} + 2m} \right)x + 1\) nghịch biến trên \((2;3)\) thì \(y'<0\) với mọi \(x \in \left( {2;3} \right).\)

Tức là khoảng \((2;3)\) nằm trong khoảng hai nghiệm phương trình \(y'=0\) (Do \(y' = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\) có hệ số của \(x^2\) dương).

\(\left\{ \begin{array}{l} \Delta ' > 0\\ {x_1} \le 2 < 3 \le {x_2} \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} {\left( {m + 1} \right)^2} - {m^2} - 2m > 0\\ \left( {{x_1} - 2} \right)\left( {{x_2} - 2} \right) \le 0\\ \left( {{x_1} - 3} \right)\left( {{x_2} - 3} \right) \le 0 \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} 1 > 0\\ {x_1}{x_2} - 2\left( {{x_1} + {x_2}} \right) + 4 \le 0\\ {x_1}{x_2} - 3\left( {{x_1} + {x_2}} \right) + 9 \le 0 \end{array} \right.\)

\(\begin{array}{l} \Leftrightarrow \left\{ \begin{array}{l} {m^2} + 2m - 2.2.\left( {m + 1} \right) + 4 \le 0\\ {m^2} + 2m - 3.2.\left( {m + 1} \right) + 9 \le 0 \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} {m^2} - 2m \le 0\\ {m^2} - 4m + 3 \le 0 \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} 0 \le m \le 2\\ 1 \le m \le 3 \end{array} \right.\\ \Leftrightarrow 1 \le m \le 2 \end{array}\)