Appropriate for upper-division undergraduate- and graduate-level courses in computer vision found in departments of Computer Science, Computer Engineering and Electrical Engineering.

I IMAGE FORMATION 1 1 Geometric Camera Models 3 1.1 Image Formation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.1.1 Pinhole Perspective . . . . . . . . . . . . . . . . . . . . . . . 4 1.1.2 Weak Perspective . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1.3 Cameras with Lenses . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.4 The Human Eye . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.2 Intrinsic and Extrinsic Parameters . . . . . . . . . . . . . . . . . . . 14 1.2.1 Rigid Transformations and Homogeneous Coordinates . . . . 14 1.2.2 Intrinsic Parameters . . . . . . . . . . . . . . . . . . . . . . . 16 1.2.3 Extrinsic Parameters . . . . . . . . . . . . . . . . . . . . . . . 18 1.2.4 Perspective Projection Matrices . . . . . . . . . . . . . . . . . 19 1.2.5 Weak-Perspective Projection Matrices . . . . . . . . . . . . . 20 1.3 Geometric Camera Calibration . . . . . . . . . . . . . . . . . . . . . 22 1.3.1 ALinear Approach to Camera Calibration . . . . . . . . . . . 23 1.3.2 ANonlinear Approach to Camera Calibration . . . . . . . . . 27 1.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2 Light and Shading 32 2.1 Modelling Pixel Brightness . . . . . . . . . . . . . . . . . . . . . . . 32 2.1.1 Reflection at Surfaces . . . . . . . . . . . . . . . . . . . . . . 33 2.1.2 Sources and Their Effects . . . . . . . . . . . . . . . . . . . . 34 2.1.3 The Lambertian+Specular Model . . . . . . . . . . . . . . . . 36 2.1.4 Area Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.2 Inference from Shading . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.2.1 Radiometric Calibration and High Dynamic Range Images . . 38 2.2.2 The Shape of Specularities . . . . . . . . . . . . . . . . . . . 40 2.2.3 Inferring Lightness and Illumination . . . . . . . . . . . . . . 43 2.2.4 Photometric Stereo: Shape from Multiple Shaded Images . . 46 2.3 Modelling Interreflection . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.3.1 The Illumination at a Patch Due to an Area Source . . . . . 52 2.3.2 Radiosity and Exitance . . . . . . . . . . . . . . . . . . . . . 54 2.3.3 An Interreflection Model . . . . . . . . . . . . . . . . . . . . . 55 2.3.4 Qualitative Properties of Interreflections . . . . . . . . . . . . 56 2.4 Shape from One Shaded Image . . . . . . . . . . . . . . . . . . . . . 59 2.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3 Color 68 3.1 Human Color Perception . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.1.1 Color Matching . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.1.2 Color Receptors . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.2 The Physics of Color . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.2.1 The Color of Light Sources . . . . . . . . . . . . . . . . . . . 73 3.2.2 The Color of Surfaces . . . . . . . . . . . . . . . . . . . . . . 76 3.3 Representing Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 3.3.1 Linear Color Spaces . . . . . . . . . . . . . . . . . . . . . . . 77 3.3.2 Non-linear Color Spaces . . . . . . . . . . . . . . . . . . . . . 83 3.4 AModel of Image Color . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.4.1 The Diffuse Term . . . . . . . . . . . . . . . . . . . . . . . . . 88 3.4.2 The Specular Term . . . . . . . . . . . . . . . . . . . . . . . . 90 3.5 Inference from Color . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 3.5.1 Finding Specularities Using Color . . . . . . . . . . . . . . . 90 3.5.2 Shadow Removal Using Color . . . . . . . . . . . . . . . . . . 92 3.5.3 Color Constancy: Surface Color from Image Color . . . . . . 95 3.6 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 II EARLY VISION: JUST ONE IMAGE 105 4 Linear Filter