Gọi {x_1},{x_2} là các điểm cực trị của hàm số y =1/3{x^3} - 1/2m{x^2} - 4x - 10

Ta có \(y' = {x^2} - mx - 4\). Lại có \(ac =  - 4 < 0 \Rightarrow \) PT \(y' = 0\) luôn có 2 nghiệm phân biệt.

Khi đó \({x_1},{x_2}\) thỏa mãn \(\left\{ {\begin{array}{*{20}{c}}{{x_1} + {x_2} = m}\\{{x_1}.{x_2} =  - 4}\end{array}} \right.\)

Suy ra \(S = \left( {x_1^2 - 1} \right)\left( {x_2^2 - 9} \right) = {\left( {{x_1}.{x_2}} \right)^2} - 9x_1^2 - x_2^2 + 9 = 25 - \left( {9x_1^2 + x_2^2} \right)\)

Ta có \(9x_1^2 + x_2^2 \ge 2\sqrt {9x_1^2.x_2^2}  = 2\sqrt {9{{\left( { - 4} \right)}^2}}  = 24 \Rightarrow 25 - \left( {9x_1^2 + x_2^2} \right) \le 1 \Leftrightarrow S \le 1 \Rightarrow \max S = 1.\)