FUNDAMENTAL MATRIX SUBSPACES

    A matrix equation   is a compact way of writing a system of   linear algebraic equations in   variables,

which allows the solving such an equation or system for specific choices of   in   to be done (laboriously) by
hand for small values of   using Gaussian Elimination or more efficiently with 'black box' tools provided by
Mathematica or MatLab like:

RowReduce

0 0 0 0 0 0

0 0 0 0 0 0

0 0 0 0 0 0

0 0 0 0 0 0

Submit

    Our goal now is understand these solutions of  , not just as computional algorithms, but in terms of vector
spaces associated with the coefficient matrix  . All this is in preparation for developing solution techniques that
more sophisticated problems require. In fact, you've met some of these sophisticated problems already when
solving systems of linear differential equations. There are four important vector subspaces associated with each 
 coefficient matrix  , each going under a variety of names differing from one text to another, and from
whichever concept is being emphasized by that text! The first vector subspace is

  Definition 1: the Range, Image, or Column Space of an   matrix   is

the subset

of   spanned by the columns of  .

    Since   is the Span of  , it is automatically a vector subspace of  .

    What's the significance of this space? Well, for a given vector   in  , the matrix equation   can be

written in terms of the columns of   as
Thus

  Theorem 1: a matrix equation   is consistent, i.e., has a solution, if and only if

          is a linear combination of columns of  , i.e,   is in   or, equivalently,

          is in the Range   of  , i.e,   is in  .

    Of course, knowing that   has a solution if and only if   lies in   doesn't tell us how to compute that

solution! We need the second vector subspace.

  Definition 2: the Kernel, or Null Space of an   matrix   is the set

of all solutions   in   of the Homogeneous Equation  .

  Since  , the Null Space always contains the zero vector   of  .

    Discussion of a model example illustrates well some features of all four vector subspaces.

  Model Example 1:

  Problem 1: describe   as a subset of   for   Problem 2: describe   as a subset of   for

Model Example  . Model Example  .
  Soln Prob 1: if   is written in column form as
, then   is the subspace

in other words,
of  . So we have to choose a linearly
independent subset of the columns of   that still
spans  . Look first at  : while

  Claim 1.   are linearly independent: for if 
, then
which in column form can be written as

where   are standard basis vectors in  .
Thus   is a basis for  . But    Claim 2.     for each   in 

 won't be a basis for   because  , there exist   such that

 is obtained from   by row operations on 
which 'mess up' the columns of  .
But then
    On the other hand, there is a   invertible
matrix   such that  . Thus by matrix­
column multiplication,
   Hence   is a basis for  .

  Soln Prob 2: the augmented equation associated     Thus
with the equation   is

But then Consequently,

so   are free variables. Set  .
Then In particular,   is the span of two linearly
independent vectors in  , hence a two­dimensional
vector subspace of  .
    This last solution generalizes to any   matrix  :

  Theorem 1: the Null Space of an   matrix   is a subspace of 

for any   matrix  .

  Proof: we check that   has the three   3.   Now fix an arbitrary scalar  . Then

properties of a subspace.

  1.   Since  ,   contains  .
which shows that   belongs to  .
  2.   Fix arbitrary vectors   in  . Then
    Thus   is a subspace of   for any 
matrix  .

which shows that   belongs to  .

    Later when we get to eigenvectors we'll see why it's particularly important to know the dimension and eigenbasis
basis for the Null Space of a matrix. The Null Space enters in the non­homogeneous case also.

  Problem 3: find all solutions of the matrix     Thus
equation   when   is Model Example 1 and

    Solution:   the augmented equation associated
with the equation   is

Consequently,   with

But then

where   is a particular solution of   and   is

This shows that   and   are free variables, while
an arbitrary solution of the homogeneous equation 
 and   are basic variables. So set   and 
.
. Then
   Fundamental Theorem 4: when   is an   matrix, then the following conditions are equivalent:

       ,

       ,

      the linear system   has no free variables,

      the matrix equation   has a unique solution for each   in  .

    In the case of square matrices the equivalent conditions can be sharpened:

  Fundamental Theorem 5: when   is an   matrix, then the following conditions are equivalent:

        is invertible ,

       ,

       ,

       .

    A close examination of the solutions to Problems 1 and 2 reveals some important results which we then collect in
a basic theorem:

            the pivot columns of a matrix   form a basis for  ,

            the dimension of   is the number of free variables in the equation  ,

            the dimension of   is the number of basic variables in the equation  .

    Definition: the rank of a matrix   is the dimension of the column
space   of  .

    Fundamental Theorem of Linear Algebra: Part I. for an 
matrix 
   Superposition Principle: the Null Space of an   matrix   is a
subspace of  .

    For convenience, it's worth collecting together basic interpretations of concepts developed in this section.

  Summary: to construct a basis for the matrix subspaces given an arbitrary   matrix  , then:

          choose the   columns of   where the pivots appear in  ,

          write the general solution to   as a linear combination of the   basis vectors

whose coefficients are the free variables,

          choose the   non­zero rows of  ,

          write the general solution to   as a linear combination of the   basis

vectors whose coefficients are the free variables.