Table Of ContentA Short Course on
Approximation Theory
Math (cid:0)(cid:1)(cid:2) Summer (cid:3)(cid:4)(cid:4)(cid:1)
N(cid:5) L(cid:5) Carothers
Department of Mathematics and Statistics
Bowling Green State University
Table of Contents
Preliminaries(cid:5)(cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)
Problem Set(cid:6) Function Spaces (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:2)(cid:7)
Approximation by Algebraic Polynomials (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:8)(cid:9)
Problem Set(cid:6) Uniform Approximation by Polynomials (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:10)(cid:2)
Trigonometric Polynomials(cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:10)(cid:0)
Problem Set(cid:6) Trigonometric Polynomials (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:7)(cid:10)
Characterization of Best Approximation (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:7)(cid:0)
Problem Set(cid:6) Chebyshev Polynomials (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:11)(cid:2)
Examples(cid:6) Chebyshev Polynomials in Practice (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:11)(cid:10)
A Brief Introduction to Interpolation (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:11)(cid:0)
Problem Set(cid:6) Lagrange Interpolation (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:1)(cid:7)
Approximation on Finite Sets (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:1)(cid:0)
A Brief Introduction to Fourier Series(cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:4)(cid:1)
Problem Set(cid:6) Fourier Series (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:3)(cid:3)
Jackson(cid:12)s Theorems (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:3)(cid:2)
Orthogonal Polynomials(cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:3)(cid:4)
Problem Set(cid:6) Orthogonal Polynomials (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:2)(cid:2)
Gaussian Quadrature(cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:2)(cid:10)
The Mu(cid:13)ntz Theorems (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:8)(cid:4)
The Stone(cid:14)Weierstrass Theorem (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:10)(cid:7)
A Short List of References (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:5) (cid:3)(cid:7)(cid:7)
Preface
These are notes for a six week summer course on approximation theory that I o(cid:15)er oc(cid:14)
casionally at Bowling Green State University(cid:5) Our summer classes meet for (cid:4)(cid:9) minutes(cid:16)
(cid:17)ve days a week(cid:16) for a total of (cid:10)(cid:7) hours(cid:5) But the pace is somewhat leisurely and there is
probably not quite enough material here for a (cid:18)regulation(cid:19) one semester (cid:20)(cid:10)(cid:7) hour(cid:21) course(cid:5)
On the other hand(cid:16) there is more than enough material here for a one quarter (cid:20)(cid:8)(cid:9) hour(cid:21)
course and evidently enough for a (cid:17)ve or six week summer course(cid:5)
I should stress that my presentation here is by no means original(cid:6) I borrow heavily
from a number of well known texts on approximation theory (cid:20)see the list of references at
the end of these notes(cid:21)(cid:5) I use T(cid:5) J(cid:5) Rivlin(cid:12)s book(cid:16) An Introduction to the Approximation
of Functions(cid:16) as a complementary text and thus you will see many references to Rivlin
throughout the notes(cid:5) Also(cid:16) a few passages here and there are taken from my book(cid:16) Real
Analysis(cid:5) In particular(cid:16) large portions of these notes are based on copyrighted material(cid:5)
They are o(cid:15)ered here solely as an aid to teachers and students of approximation theory
and are intended for limited personal use only(cid:5) I should also point out that I am not an
expert in approximation theory and I make no claims that the material presented here is
in current fashion among experts in the (cid:17)eld(cid:5)
My interest in approximation theory stems from its beauty(cid:16) its utility(cid:16) and its rich
history(cid:5) There are also many connections that can be drawn to questions in both classical
and modern analysis(cid:5) For the purposes of this short introductory course(cid:16) I focus on a
handful of classical topics (cid:20)with a little bit of modern terminology here and there(cid:21) and
(cid:18)name(cid:19) theorems(cid:5) Indeed(cid:16) the Weierstrass approximation theorem(cid:16) along with its various
relatives(cid:16) is the central theme of the course(cid:5)
In terms of prerequisites(cid:16) I assume at least a one semester course in advanced calcu(cid:14)
lus or real analysis (cid:20)compactness(cid:16) completeness(cid:16) uniform convergence(cid:16) uniform continuity(cid:16)
normed spaces(cid:16) etc(cid:5)(cid:21) along with a course in linear algebra(cid:5) The (cid:17)rst chapter(cid:16) entitled
Preliminaries(cid:16) contains four brief appendices that provide an all too brief review of such
topics(cid:22) they are included in order to make the notes as self(cid:14)contained as possible(cid:5) The
course is designed for beginning master(cid:12)s students (cid:20)in both pure and applied mathemat(cid:14)
ics(cid:21)(cid:16) but should be largely accessible to advanced undergraduates(cid:5) From my experience(cid:16)
there are plenty of topics here that even advanced PhD students will (cid:17)nd entertaining(cid:5)
Math (cid:0)(cid:1)(cid:2) Preliminaries (cid:3)(cid:4)(cid:5)(cid:1)(cid:4)(cid:6)(cid:1)
Introduction
In (cid:3)(cid:1)(cid:7)(cid:8)(cid:16) the great Russian mathematician(cid:16) P(cid:5) L(cid:5) Chebyshev (cid:23)C(cid:24)eby(cid:24)sev(cid:25)(cid:16) while working on a
problem of linkages(cid:16) devices which translate the linear motion of a steam engine into the
circular motion of a wheel(cid:16) considered the following problem(cid:6)
Given a continuous function f de(cid:17)ned on a closed interval (cid:23)a(cid:0)b(cid:25) and a positive
n k
integer n(cid:16) can we (cid:18)represent(cid:19) f by a polynomial p(cid:20)x(cid:21) (cid:26) k(cid:0)(cid:1)akx (cid:16) of degree
at most n(cid:16) in such a way that the maximum error at anPy point x in (cid:23)a(cid:0)b(cid:25) is
controlled(cid:27) In particular(cid:16)is it possible to construct p in such a way that the error
max f(cid:20)x(cid:21) p(cid:20)x(cid:21) is minimized(cid:27)
a x bj (cid:0) j
(cid:0) (cid:0)
This problem raises several questions(cid:16) the (cid:17)rst of which Chebyshev himself ignored(cid:6)
(cid:28) Why should such a polynomial even exist(cid:27)
(cid:28) If it does(cid:16) can we hope to construct it(cid:27)
(cid:28) If it exists(cid:16) is it also unique(cid:27)
b (cid:2)
(cid:28) What happens if we change the measure of the error to(cid:16) say(cid:16) f(cid:20)x(cid:21) p(cid:20)x(cid:21) dx(cid:27)
a
j (cid:0) j
Chebyshev(cid:12)s problem is perhaps best understood by rephrasingRit in modern terms(cid:5)
What we have here is a problem of linear approximation in a normed linear space(cid:5) Recall
that a norm on a (cid:20)real(cid:21) vector space X is a nonnegative function on X satisfying
x (cid:9)(cid:16) and x (cid:26) (cid:9) x (cid:26) (cid:9)
k k (cid:1) k k (cid:2)(cid:3)
(cid:1)x (cid:26) (cid:1) x for (cid:1) R
k k j jk k (cid:4)
x(cid:29)y x (cid:29) y for any x(cid:16) y X(cid:5)
k k (cid:5) k k k k (cid:4)
Any norm on X induces a metric or distance function by setting dist(cid:20)x(cid:0)y(cid:21) (cid:26) x y (cid:5) The
k (cid:0) k
abstract version of our problem(cid:20)s(cid:21) can now be restated(cid:6)
(cid:28) Given a subset (cid:20)or even a subspace(cid:21) Y of X and a point x X(cid:16) is there an
(cid:4)
element y Y which is (cid:18)nearest(cid:19) to x(cid:22) that is(cid:16) can we (cid:17)nd a vector y Y such
(cid:4) (cid:4)
that x y (cid:26) inf x z (cid:27) If there is such a (cid:18)best approximation(cid:19) to x from
k (cid:0) k z Y k (cid:0) k
(cid:1)
elements of Y(cid:16) is it unique(cid:27)
Preliminaries (cid:2)
Examples
(cid:3)(cid:5) In X (cid:26) Rn with its usual norm (cid:20)xk(cid:21)nk(cid:0)(cid:3) (cid:2) (cid:26) nk(cid:0)(cid:3) xk (cid:2) (cid:3)(cid:0)(cid:2)(cid:16) the problem has
k k j j
a complete solution for any subspace (cid:20)or(cid:16) indeed(cid:0)(cid:16)Pany closed(cid:1)convex set(cid:21) Y(cid:5) This
problem is often considered in Calculus or Linear Algebra where it is called (cid:18)least(cid:14)
squares approximation(cid:5)(cid:19) A large part of the current course will be taken up with
least(cid:14)squaresapproximations(cid:16)too(cid:5) Fornowlet(cid:12)s simplynote that the problemchanges
character dramatically if we consider a di(cid:15)erent norm on Rn(cid:5)
Consider X (cid:26) R(cid:2) under the norm (cid:20)x(cid:0)y(cid:21) (cid:26) max x (cid:0) y (cid:16) and consider the
k k fj j j jg
subspace Y (cid:26) (cid:20)(cid:9)(cid:0)y(cid:21) (cid:6) y R (cid:20)i(cid:5)e(cid:5)(cid:16) the y(cid:14)axis(cid:21)(cid:5) It(cid:12)s not hard to see that the point
f (cid:4) g
x (cid:26) (cid:20)(cid:3)(cid:0)(cid:9)(cid:21) R(cid:2) has in(cid:17)nitely many nearest points in Y(cid:22) indeed(cid:16) every point (cid:20)(cid:9)(cid:0)y(cid:21)(cid:16)
(cid:4)
(cid:3) y (cid:3)(cid:16) is nearest to x(cid:5)
(cid:0) (cid:5) (cid:5)
(cid:2)(cid:5) There are many norms we might consider on Rn(cid:5) Of particular interest are the (cid:2)p(cid:14)
norms(cid:22) that is(cid:16) the scale of norms(cid:6)
n (cid:3)(cid:0)p
n p
(cid:20)xi(cid:21)i(cid:0)(cid:3) p (cid:26) xk (cid:0) (cid:3) p (cid:3) (cid:0)
k k j j (cid:5) (cid:6)
(cid:2)k(cid:0)(cid:3) (cid:3)
X
and
n
(cid:20)xi(cid:21)i(cid:0)(cid:3) (cid:26) max xi (cid:4)
k k(cid:2) (cid:3) i nj j
(cid:0) (cid:0)
It(cid:12)s easy to see that (cid:3) and de(cid:17)ne norms(cid:5) The other cases take a bit more
k(cid:7)k k(cid:7)k(cid:2)
work(cid:22) we(cid:12)ll supply full details later(cid:5)
(cid:8)(cid:5) Our original problem concerns X (cid:26) C(cid:23)a(cid:0)b(cid:25)(cid:16) the space of all continuous functions
f (cid:6) (cid:23)a(cid:0)b(cid:25) R under the uniform norm f (cid:26) max f(cid:20)x(cid:21) (cid:5) The word (cid:18)uniform(cid:19) is
(cid:8) k k a x bj j
(cid:0) (cid:0)
used because convergence in this norm is the same as uniform convergence on (cid:23)a(cid:0)b(cid:25)(cid:6)
fn f (cid:9) fn (cid:0) f on (cid:23)a(cid:0)b(cid:25)(cid:4)
k (cid:0) k (cid:8) (cid:2)(cid:3)
In this case we(cid:12)re interested in approximations by elements of Y (cid:26) n(cid:16) the subspace
P
of all polynomials of degree at most n in C(cid:23)a(cid:0)b(cid:25)(cid:5) It(cid:12)s not hard to see that n is a
P
(cid:17)nite(cid:14)dimensional subspace of C(cid:23)a(cid:0)b(cid:25) of dimension exactly n(cid:29)(cid:3)(cid:5) (cid:20)Why(cid:27)(cid:21)
If we consider the subspace Y (cid:26) consisting of all polynomials in X (cid:26) C(cid:23)a(cid:0)b(cid:25)(cid:16)
P
wereadily see that the existence of best approximationscan be problematic(cid:5) It follows
Preliminaries (cid:8)
from the Weierstrass theorem(cid:16) for example(cid:16) that each f C(cid:23)a(cid:0)b(cid:25) has distance (cid:9)
(cid:4)
from but(cid:16) since not every f C(cid:23)a(cid:0)b(cid:25) is a polynomial (cid:20)why(cid:27)(cid:21)(cid:16) we can(cid:12)t hope for
P (cid:4)
a best approximating polynomial to exist in every case(cid:5) For example(cid:16) the function
f(cid:20)x(cid:21) (cid:26) xsin(cid:20)(cid:3)(cid:5)x(cid:21) is continuouson (cid:23)(cid:9)(cid:0)(cid:3)(cid:25) but can(cid:12)t possiblyagree with any polynomial
on (cid:23)(cid:9)(cid:0)(cid:3)(cid:25)(cid:5) (cid:20)Why(cid:27)(cid:21)
The key to the problem of polynomial approximation is the fact that each n is
P
(cid:0)nite(cid:1)dimensional(cid:5) To see this(cid:16) it will be most e(cid:30)cient to consider the abstract setting of
(cid:17)nite(cid:14)dimensional subspaces of arbitrary normed spaces(cid:5)
(cid:0)Soft(cid:1) Approximation
Lemma(cid:2) Let V be a (cid:0)nite(cid:1)dimensionalvector space(cid:2) Then(cid:3) all normsonV areequivalent(cid:2)
That is(cid:3) if and are norms on V(cid:3) then there exist constants (cid:9) (cid:3) A(cid:0)B (cid:3) such
k(cid:7)k jjj(cid:7)jjj (cid:6)
that
A x x B x
k k (cid:5)jjj jjj(cid:5) k k
for all vectors x V(cid:2)
(cid:4)
Proof(cid:7) Suppose that V is n(cid:14)dimensional and that is a norm on V(cid:5) Fix a basis
k (cid:7) k
e(cid:3)(cid:0)(cid:4)(cid:4)(cid:4)(cid:0)en for V and consider the norm
n n
n
aiei (cid:26) ai (cid:26) (cid:20)ai(cid:21)i(cid:0)(cid:3) (cid:3)
(cid:4)i(cid:0)(cid:3) (cid:4)(cid:3) i(cid:0)(cid:3)j j k k
(cid:4)X (cid:4) X
(cid:4) (cid:4)
n (cid:4) (cid:4)
for x (cid:26) i(cid:0)(cid:3)aiei V(cid:5) Sinc(cid:4)e e(cid:3)(cid:0)(cid:4)(cid:4)(cid:4)(cid:0)(cid:4)en is a basis for V(cid:16) it(cid:12)s not hard to see that (cid:3) is(cid:16)
(cid:4) k(cid:7)k
indeed(cid:16) Pa norm on V(cid:5) It now su(cid:30)ces to show that and (cid:3) are equivalent(cid:5) (cid:20)Why(cid:27)(cid:21)
k(cid:7)k k(cid:7)k
One inequality is easy to show(cid:22) indeed(cid:16) notice that
n n n n
aiei ai ei max ei ai (cid:26) B aiei (cid:4)
(cid:4)i(cid:0)(cid:3) (cid:4) (cid:5) i(cid:0)(cid:3)j jk k (cid:5) (cid:5)(cid:3)(cid:0)i(cid:0)nk k(cid:6)i(cid:0)(cid:3)j j (cid:4)i(cid:0)(cid:3) (cid:4)(cid:3)
(cid:4)X (cid:4) X X (cid:4)X (cid:4)
(cid:4) (cid:4) (cid:4) (cid:4)
(cid:4) (cid:4) (cid:4) (cid:4)
The real wo(cid:4)rk comes(cid:4)in establishing the other inequality(cid:5) (cid:4) (cid:4)
To begin(cid:16) notice that we(cid:12)ve actually set(cid:14)up a correspondence between Rn and V(cid:22)
n n
speci(cid:17)cally(cid:16) themap(cid:20)ai(cid:21)i(cid:0)(cid:3) i(cid:0)(cid:3)aiei isobviouslyboth one(cid:14)to(cid:14)oneandonto(cid:5) Moreover(cid:16)
(cid:9)(cid:8)
this correspondence is an isomePtry between (cid:20)Rn(cid:0) (cid:3)(cid:21) and (cid:20)V(cid:0) (cid:3)(cid:21)(cid:5)
k(cid:7)k k(cid:7)k
Preliminaries (cid:10)
Now the inequality we(cid:12)ve just established shows that the function x x is contin(cid:1)
(cid:9)(cid:8) k k
uous on the space (cid:20)V(cid:0) (cid:3)(cid:21) since
k(cid:7)k
x y x y B x y (cid:3)
k k(cid:0)k k (cid:5) k (cid:0) k (cid:5) k (cid:0) k
(cid:7) (cid:7)
(cid:7) (cid:7)
for any x(cid:16) y V(cid:5) Thus(cid:16) assumes a minimum value on the compact set
(cid:4) k(cid:7)k
S (cid:26) x V (cid:6) x (cid:3) (cid:26) (cid:3) (cid:4)
f (cid:4) k k g
(cid:20)Why is S compact(cid:27)(cid:21) In particular(cid:16) there is some A (cid:6) (cid:9) such that x A whenever
k k (cid:1)
x (cid:3) (cid:26) (cid:3)(cid:5) (cid:20)Why can we assume that A (cid:6) (cid:9)(cid:27)(cid:21) The inequality we need now follows from
k k
the homogeneity of the norm(cid:6)
x
A (cid:26) x A x (cid:3)(cid:4)
x (cid:3) (cid:1) (cid:3) k k (cid:1) k k
(cid:4)k k (cid:4)
(cid:4) (cid:4)
(cid:4) (cid:4)
Corollary(cid:2) Given a (cid:3) b (cid:20)(cid:0)x(cid:4)ed(cid:21) an(cid:4)d a positive integer n(cid:3) there exist (cid:9) (cid:3) An(cid:3) Bn (cid:3)
(cid:6)
(cid:20)constants which may depend on n(cid:21) such that
n n n
k
An ak max akx Bn ak (cid:4)
k(cid:0)(cid:1)j j (cid:5) a(cid:0)x(cid:0)b(cid:7)k(cid:0)(cid:1) (cid:7) (cid:5) k(cid:0)(cid:1)j j
X (cid:7)X (cid:7) X
(cid:7) (cid:7)
(cid:7) (cid:7)
Exercise (cid:7) (cid:7)
Find explicit (cid:18)formulas(cid:19) for An and Bn(cid:16) above(cid:5) (cid:20)This can be done without any fancy
theorems(cid:5)(cid:21) If it helps(cid:16) you may consider the case (cid:23)a(cid:0)b(cid:25) (cid:26) (cid:23)(cid:9)(cid:0)(cid:3)(cid:25)(cid:5)
Corollary(cid:2) Let Y be a (cid:0)nite(cid:1)dimensionalnormed space and let M (cid:6) (cid:9)(cid:2) Then(cid:3) any closed
ball y Y (cid:6) y M is compact(cid:2)
f (cid:4) k k (cid:5) g
Proof(cid:7) Againsupposethat Y is n(cid:14)dimensionalandthat e(cid:3)(cid:0)(cid:4)(cid:4)(cid:4)(cid:0)en is a basisfor Y(cid:5) From
our previous lemma we know that there is some constant A (cid:6) (cid:9) such that
n n
A ai aiei
i(cid:0)(cid:3)j j (cid:5) (cid:4)i(cid:0)(cid:3) (cid:4)
X (cid:4)X (cid:4)
(cid:4) (cid:4)
n (cid:4) (cid:4)
for all x (cid:26) i(cid:0)(cid:3)aiei Y(cid:5) In particular(cid:16) (cid:4) (cid:4)
(cid:4)
P n
M
A ai aiei M (cid:26) ai for i (cid:26) (cid:3)(cid:0)(cid:4)(cid:4)(cid:4)(cid:0)n(cid:4)
j j (cid:5) (cid:4)i(cid:0)(cid:3) (cid:4) (cid:5) (cid:3) j j (cid:5) A
(cid:4)X (cid:4)
(cid:4) (cid:4)
(cid:4) (cid:4)
(cid:4) (cid:4)
Preliminaries (cid:7)
Thus(cid:16) y Y (cid:6) y M is a closed subset (cid:20)why(cid:27)(cid:21) of the compact set
f (cid:4) k k (cid:5) g
n
M
x (cid:26) aiei (cid:6) ai (cid:0) i (cid:26) (cid:3)(cid:0)(cid:4)(cid:4)(cid:4)(cid:0)n (cid:4)
j j (cid:5) A
(cid:8) i(cid:0)(cid:3) (cid:9)
X
Corollary(cid:2) Every (cid:0)nite(cid:1)dimensional normed space is complete(cid:2) In particular(cid:3) if Y is a
(cid:0)nite(cid:1)dimensional subspace of a normed linear space X(cid:3) then Y is a closed subset of X(cid:2)
Theorem(cid:2) Let Y be a (cid:0)nite(cid:1)dimensional subspace of a normed linear space X(cid:3) and let
x X(cid:2) Then(cid:3) there exists a (cid:20)not necessarily unique(cid:21) y(cid:3) Y such that
(cid:4) (cid:4)
x y(cid:3) (cid:26) min x y
k (cid:0) k y Y k (cid:0) k
(cid:1)
for all y Y(cid:2) That is(cid:3) there is a best approximation to x by elements of Y(cid:2)
(cid:4)
Proof(cid:7) First notice that since (cid:9) Y(cid:16) we know that a nearest point y(cid:3) will satisfy
(cid:4)
x y(cid:3) x (cid:26) x (cid:9) (cid:5) Thus(cid:16) it su(cid:30)ces to look for y(cid:3) among the vectors y Y
k (cid:0) k (cid:5) k k k (cid:0) k (cid:4)
satisfying x y x (cid:5) It will be convenient to use a slightly larger set of vectors(cid:16)
k (cid:0) k (cid:5) k k
though(cid:5) By the triangle inequality(cid:16)
x y x (cid:26) y x y (cid:29) x (cid:2) x (cid:4)
k (cid:0) k (cid:5) k k (cid:3) k k (cid:5) k (cid:0) k k k (cid:5) k k
Thus(cid:16) we may restrict our attention to those y(cid:12)s in the compact set
K (cid:26) y Y (cid:6) y (cid:2) x (cid:4)
f (cid:4) k k (cid:5) k kg
To (cid:17)nish the proof(cid:16) we need only notice that the function f(cid:20)y(cid:21) (cid:26) x y is continuous(cid:6)
k (cid:0) k
f(cid:20)y(cid:21) f(cid:20)z(cid:21) (cid:26) x y x z y z (cid:0)
j (cid:0) j k (cid:0) k(cid:0)k (cid:0) k (cid:5) k (cid:0) k
(cid:7) (cid:7)
(cid:7) (cid:7)
hence attains a minimum value at some point y(cid:3) K(cid:5)
(cid:4)
Corollary(cid:2) For each f C(cid:23)a(cid:0)b(cid:25)(cid:3) and each positive integer n(cid:3) there is a (cid:20)not necessarily
(cid:4)
unique(cid:21) polynomial p(cid:3)n n such that
(cid:4) P
f p(cid:3)n (cid:26) min f p (cid:4)
k (cid:0) k p nk (cid:0) k
(cid:1)P
Preliminaries (cid:0)
Corollary(cid:2) Given f C(cid:23)a(cid:0)b(cid:25) and a (cid:20)(cid:0)xed(cid:21) positive integer n(cid:3) there exists a constant
(cid:4)
R (cid:3) such that if
(cid:6) n
k
f akx f (cid:0)
(cid:4) (cid:0)k(cid:0)(cid:1) (cid:4) (cid:5) k k
(cid:4) X (cid:4)
(cid:4) (cid:4)
then max ak R(cid:2) (cid:4) (cid:4)
(cid:1) k nj j (cid:5) (cid:4) (cid:4)
(cid:0) (cid:0)
Examples
Nothing in our Corollary says that p(cid:3)n will be a polynomial of degree exactly n(cid:31)rather(cid:16) a
polynomial of degree at most n(cid:5) For example(cid:16) the best approximation to f(cid:20)x(cid:21) (cid:26) x by a
polynomial of degree at most (cid:8) is(cid:16) of course(cid:16) p(cid:20)x(cid:21) (cid:26) x(cid:5) Even examples of non(cid:14)polynomial
functions are easy to come by(cid:22) for instance(cid:16) the best linear approximation to f(cid:20)x(cid:21) (cid:26) x
j j
on (cid:23) (cid:3)(cid:0)(cid:3)(cid:25) is actually the constant function p(cid:20)x(cid:21) (cid:26) (cid:3)(cid:5)(cid:2)(cid:16) and this makes for an entertaining
(cid:0)
exercise(cid:5)
Before we leave these (cid:18)soft(cid:19) argumentsbehind(cid:16) let(cid:12)s discussthe problemof uniqueness
of best approximations(cid:5) First(cid:16) let(cid:12)s see why we want best approximations to be unique(cid:6)
Lemma(cid:2) Let Y be a (cid:0)nite(cid:1)dimensionalsubspaceof a normedlinear space X(cid:3) and suppose
that each x X has a unique nearest point yx Y(cid:2) Then(cid:3) the nearest point map x yx
(cid:4) (cid:4) (cid:9)(cid:8)
is continuous(cid:2)
Proof(cid:7) Let(cid:12)s write P(cid:20)x(cid:21) (cid:26) yx for the nearest point map(cid:16) and let(cid:12)s suppose that xn x
(cid:8)
in X(cid:5) We want to show that P(cid:20)xn(cid:21) P(cid:20)x(cid:21)(cid:16) and for this it(cid:12)s enough to show that there is
(cid:8)
a subsequence of (cid:20)P(cid:20)xn(cid:21)(cid:21) which converges to P(cid:20)x(cid:21)(cid:5) (cid:20)Why(cid:27)(cid:21)
Since the sequence (cid:20)xn(cid:21) is bounded in X(cid:16) say xn M for all n(cid:16) we have
k k (cid:5)
P(cid:20)xn(cid:21) P(cid:20)xn(cid:21) xn (cid:29) xn (cid:2) xn (cid:2)M(cid:4)
k k (cid:5) k (cid:0) k k k (cid:5) k k (cid:5)
Thus(cid:16) (cid:20)P(cid:20)xn(cid:21)(cid:21) is a bounded sequence in Y(cid:16) a (cid:17)nite(cid:14)dimensionalspace(cid:5) As such(cid:16) by passing
toasubsequence(cid:16)wemaysupposethat(cid:20)P(cid:20)xn(cid:21)(cid:21) convergesto someelementP(cid:1) Y(cid:5) (cid:20)How(cid:27)(cid:21)
(cid:4)
Now we need to show that P(cid:1) (cid:26) P(cid:20)x(cid:21)(cid:5) But
P(cid:20)xn(cid:21) xn P(cid:20)x(cid:21) xn (cid:20)why(cid:27)(cid:21)(cid:0)
k (cid:0) k (cid:5) k (cid:0) k
for any n(cid:16) and hence(cid:16) letting n (cid:16)
(cid:8) (cid:6)
P(cid:1) x P(cid:20)x(cid:21) x (cid:4)
k (cid:0) k (cid:5) k (cid:0) k
Preliminaries (cid:11)
Since nearest points in Y are unique(cid:16) we must have P(cid:1) (cid:26) P(cid:20)x(cid:21)(cid:5)
Exercise
Let X be a normed linear space and let P (cid:6) X X(cid:5) Show that P is continuous at x X
(cid:8) (cid:4)
if and only if(cid:16) whenever xn x in X(cid:16) some subsequence of (cid:20)P(cid:20)xn(cid:21)(cid:21) converges to P(cid:20)x(cid:21)(cid:5)
(cid:8)
(cid:23)Hint(cid:6) The forward direction is easy(cid:22) for the backward implication(cid:16) suppose that (cid:20)P(cid:20)xn(cid:21)(cid:21)
fails to converge to P(cid:20)x(cid:21) and work toward a contradiction(cid:5)(cid:25)
It should be pointed out that the nearest point map is(cid:16) in general(cid:16) nonlinear and(cid:16) as
such(cid:16) can be very di(cid:30)cult to work with(cid:5) Later we(cid:12)ll see at least one case in which nearest
point maps always turn out to be linear(cid:5)
We next observe that the set of best approximations is always pretty reasonable(cid:6)
Theorem(cid:2) Let Y be a subspace of a normed linear space X(cid:3) and let x X(cid:2) The set Yx(cid:3)
(cid:4)
consisting of all best approximations to x out of Y(cid:3) is a bounded(cid:3) convex set(cid:2)
Proof(cid:7) As we(cid:12)ve seen(cid:16) the set Yx is a subset of y X (cid:6) y (cid:2) x and(cid:16) hence(cid:16) is
f (cid:4) k k (cid:5) k kg
bounded(cid:5)
Now recall that a subset K of a vector space V is said to be convex if K contains the
line segment joining any pair of its points(cid:5) Speci(cid:17)cally(cid:16) K is convex if
x(cid:0)y K(cid:0) (cid:9) (cid:7) (cid:3) (cid:26) (cid:7)x(cid:29)(cid:20)(cid:3) (cid:7)(cid:21)y K(cid:4)
(cid:4) (cid:5) (cid:5) (cid:3) (cid:0) (cid:4)
Now(cid:16) y(cid:3)(cid:16) y(cid:2) Yx means that
(cid:4)
x y(cid:3) (cid:26) x y(cid:2) (cid:26) min x y (cid:4)
k (cid:0) k k (cid:0) k y Y k (cid:0) k
(cid:1)
Next(cid:16) given (cid:9) (cid:7) (cid:3)(cid:16) set y(cid:3) (cid:26) (cid:7)y(cid:3)(cid:29)(cid:20)(cid:3) (cid:7)(cid:21)y(cid:2)(cid:5) We want to show that y(cid:3) Yx(cid:16) but notice
(cid:5) (cid:5) (cid:0) (cid:4)
that we at least have y(cid:3) Y(cid:5) Finally(cid:16) we estimate(cid:6)
(cid:4)
x y(cid:3) (cid:26) x (cid:20)(cid:7)y(cid:3) (cid:29)(cid:20)(cid:3) (cid:7)(cid:21)y(cid:2)(cid:21)
k (cid:0) k k (cid:0) (cid:0) k
(cid:26) (cid:7)(cid:20)x y(cid:3)(cid:21)(cid:29)(cid:20)(cid:3) (cid:7)(cid:21)(cid:20)x y(cid:2)(cid:21)
k (cid:0) (cid:0) (cid:0) k
(cid:7) x y(cid:3) (cid:29)(cid:20)(cid:3) (cid:7)(cid:21) x y(cid:2)
(cid:5) k (cid:0) k (cid:0) k (cid:0) k
(cid:26) min x y (cid:4)
y Y k (cid:0) k
(cid:1)
