Giải hệ phương trình \(\left\{\begin{matrix} x + 3\sqrt{xy + x -y^2 - y} = 5y + 4\

\(\left\{\begin{matrix} x + 3\sqrt{xy + x -y^2 - y} = 5y + 4\ (1)\\ \sqrt{4y^2 - x - 2} + \sqrt{y - 1} = x - 1\ \ (2)\end{matrix}\right.\)
ĐK: \(\left\{\begin{matrix} xy + x - y^2 - y \geq 0\\ 4y^2 - x - 2 \geq 0 \hspace {0,8 cm}\\ y - 1 \geq 0 \hspace {1,8 cm} \end{matrix}\right.\)
Ta có \((1) \Leftrightarrow x-y+3\sqrt{(x-y)(y+1)} - 4(y+1) = 0\)
Đặt \(u = \sqrt{x-y}, v = \sqrt{y+1} \ \ (u \geq 0, v \geq 0)\)
Khi đó (1) trở thành: \(u^2 + 3uv - 4v^2 = 0 \Leftrightarrow \bigg \lbrack \begin{matrix} u = v \hspace{1,5 cm}\\ u = -4v\ (Vn) \end{matrix}\)
Với u = v ta có x = 2y + 1, thay vào (2) ta được: \(\sqrt{4y^2 - 2y - 3} + \sqrt{y - 1} = 2y\)
\(\Leftrightarrow \sqrt{4y^2 - 2y - 3} - (2y - 1) + (\sqrt{y - 1} - 1) = 0\)
\(\frac{2(y-2)}{\sqrt{4y^2 - 2y - 3} +2y - 1} + \frac{y - 2}{\sqrt{y-1} + 1} = 0\) \(\Leftrightarrow (y-2) \bigg (\frac{2}{\sqrt{4y^2 - 2y - 3} + 2y - 1} + \frac{1}{\sqrt{y-1} + 1} \bigg) = 0\)
⇔ y = 2 (vì ⇔ \(\frac{2}{\sqrt{4y^2 - 2y - 3} + 2y - 1} + \frac{1}{\sqrt{y-1} + 1} > 0, \forall y \geq 1\))
Với y = 2 thì x = 5. Đối chiếu ĐK ta được nghiệm của hệ PT là (5; 2)