Giải hệ phương trình \(\left\{\begin{matrix} (1-y)\sqrt{x^2+2y^2}=x+2y+3xy

\(\left\{\begin{matrix} (1-y)\sqrt{x^2+2y^2}=x+2y+3xy \ \ \ \ (1)\\ \sqrt{y+1}+\sqrt{x^2+2y^2}=2y-x \ \ \ \ (2) \end{matrix}\right.\)
ĐK: \(y\geq -1\)
Xét (1): \((1-y)\sqrt{x^2+2y^2}=x+2y+3xy\)
Đặt \(\sqrt{x^2+2y^2}=t(t\geq 0)\)
Phương trình (1) trở thành: \(t^3+(1-y)t-x^2-2y^2-x-2y-3xy=0\)
\(\Delta =(1-y)^2+4(x^2+2y^2+x+2y+3xy)=(2x+3y+1)^2\)
\(\Rightarrow \bigg \lbrack\begin{matrix} t=-x-y-1\\ t=x+2y \end{matrix}\Leftrightarrow \bigg \lbrack\begin{matrix} \sqrt{x^2+2y^2}=-x-y-1\\ \sqrt{x^2+2y^2}=x+2y \end{matrix}\)
Với \(\sqrt{x^2+2y^2}=-x-y-1\), thay vào (2) ta có:
\(\sqrt{y+1}=3y+1\Leftrightarrow \left\{\begin{matrix} y\geq -\frac{1}{3}\\ 9y^2+5y=0 \end{matrix}\right.\Leftrightarrow y=0\)
\(\Rightarrow \sqrt{x^2}=-x-1\) (vô nghiệm)
Với \(\sqrt{x^2+2y^2}=x+2y\), ta có hệ \(\left\{\begin{matrix} \sqrt{y+1}=-2x\\ \sqrt{x^2+2y^2}=x+2y \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x=\frac{-1-\sqrt{5}}{4}\\ y=\frac{1+\sqrt{5}}{2} \end{matrix}\right.\)

Vậy hệ phương trình có nghiệm \((x;y)=\left (\frac{-1-\sqrt{5}}{4};\frac{1+\sqrt{5}}{2} \right )\)