Lako vidimo da se rješenje sustava ne mijenja ako izvršimo bilo koju od sljedećih radnji:
Ove radnje odgovaraju sljedećim radnjama na proširenoj matrici sustava:
Koristeći navedene transformacije matricu svodimo na gornje trokutasti oblik. Taj postupak se zove Gaussova eliminacija. Neka je zadan sustav
i oduzmemo prvu jednadžbu pomnoženu s od -te jednadžbe te dobijemo sustav
Primijetimo da je varijabla eliminirana iz tri posljednje jednadžbe. Brojevi kojima se u postupku eliminacije množi prva jednadžba zovu se multiplikatori. Neka je i . Tada stavimo
i oduzmemo drugu jednadžbu pomnoženu s od -te jednadžbe . Rezultat je sustav
Konačno, stavimo
i oduzmemo treću jednadžbu pomnoženu s od četvrte jednadžbe. Rezultat je gornje trokutasti sustav
Dobiveni gornje trokutasti sustav sada riješimo na način koji je opisan u poglavlju 2.3.
Broj računskih operacija potrebnih za svođenje kvadratnog sustava reda na gornje trokutasti oblik iznosi
Vidimo da je za veće dimenzije broj računskih operacija potreban za rješavanje trokutastog sustava zanemariv u odnosu na broj računskih operacija potrebnih za svođenje na trokutasti oblik. Na modernim računalima (Pentium 350), koja izvršavaju do milijuna operacija u sekundi, svođenje sustava dimenzije na trokutasti oblik traje oko sekundi, dok za traje sati, a za traje puta duže, odnosno oko godina.
Postupak Gaussove eliminacije koji smo upravo opisali za sustav reda četiri na očit se način može poopćiti na sustave proizvoljnog reda. Ukoliko je neki od brojeva s kojima dijelimo jednak nuli, potrebno je dodatno koristiti postupak pivotiranja koji je opisan u poglavlju 2.4.2.
Postupak Gaussove eliminacije možemo interpretirati i kao množenje proširene matrice sustava s lijeve strane s elementarnim matricama transformacije. Neka je proširena matrica sustava (2.5) i neka je
Tada je
Tada je
Tada je