Collection Evaluation in Academic Libraries: A Guide and Annotated Bibliography

287 Pages·1992·1.82 MB·English

by  Thomas Nisonger

Page iii
Collection Evaluation in  Academic Libraries
A Literature Guide and  Annotated Bibliography
Thomas E. Nisonger
1992 
LIBRARIES UNLIMITED, INC. 
Englewood, Colorado
Page iii
Collection Evaluation in  Academic Libraries
A Literature Guide and  Annotated Bibliography
Thomas E. Nisonger
1992 
LIBRARIES UNLIMITED, INC. 
Englewood, Colorado
Page iv
This book is dedicated to my father, 
Irvin J. Nisonger, 
and the memory of my mother, 
Mary C. Nisonger.
Copyright © 1992 Libraries Unlimited, Inc. 
All Rights Reserved 
Printed in the United States of America
No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, 
recording, or otherwise, without the prior written permission of the publisher. 
LIBRARIES UNLIMITED, INC. 
P.O. Box 6633 
Englewood, CO 80155­6633 
Library of Congress Cataloging­in­Publication Data  

Nisonger, Thomas E. 
Collection evaluation in academic libraries : a literature guide 
and annotated bibliography / Thomas E. Nisonger. 
xix, 271 p. 17x25 cm. 
Includes indexes. 
ISBN 0­87287­925­9  
1. Libraries, University and college­­Collection development­  
­Evaluation­­Bibliography. 2. Collection development (Libraries)­ 
­Evaluation­­Bibliography.  I. Title.  
Z675.U5N58    1992 
025.2'1877­­dc20                                    92­11037  
                                                                     CIP
Page v
Contents
Acknowledgments vii
Introduction ix
Abbreviations xvii
1   Survey Works 1
General Survey Works 2
Overviews from a Special Perspective 10
Bibliographies 13
2   Methods and Methodology 15
Methodological Discussions 15
The Checklist Method 17
Other Methods 19
Measurement of Holdings 23
Measurement of Use 25
Miscellaneous 27
Notes 29
3   Case Studies 30
Collection Evaluation Case Studies in a Single Library 31
Notes 36
4   Use Studies 37
General and  Miscellaneous Use Studies 38
Periodical Use 47
Government Documents Use 54
The Pittsburgh Study 55
Notes 60
5   Availability Studies and Document Delivery Tests 61
Availability Studies 62
Document Delivery Tests 71
Notes 72
6   Overlap Studies 74
Overlap Studies 75
Collective Evaluations of Two or More Library Collections 79
Page vi
7   Standards 83
Official Statements 85
Other 90
Notes 95
8   Citation Studies 97
General and  Miscellaneous 99
Case Studies Using Citation Analysis for Collection  
Evaluation 106
Structure of Disciplines or Subjects 111
Notes 119
9   The RLG Conspectus and the National Shelflist Count 120
The Conspectus—General 123
Case Studies of Implementation of the Conspectus in  
North America 130
The Conspectus in Europe 132
The Conspectus in Australia and New Zealand 136
The Pacific Northwest Conspectus 138
The North American Collections Inventory Project 142
Verification Studies 145
The National Shelflist Count 146
Notes 149
10   Evaluation of Serials 150
General and Miscellaneous Discussions 151
Serials Evaluation Models 162
Identification of Core Journals 164
Serials Cancellation Case Studies 167
Notes 176
11   Journal Ranking 177
Theoretical Discussions 179
Journal Rankings in  Business 185
Journal Rankings in the Social Sciences 192
Journal Rankings in Other Disciplines 202
Notes 207
12   Application of Automation to Collection Evaluation 209
Automated Systems 210
Software 214
Online Searching 216
Miscellaneous 218
Notes 222
Glossary 223
Author/Title  Index 229
Subject Index 255
Page vii
Acknowledgments
The author is indebted to numerous individuals who assisted in a variety of capacities. I gratefully acknowledge these contributions. Irvin J. Nisonger, my father, gave 
me the original inspiration to write a book. Claire, Suzanne, and Stanley Nisonger, my wife and children respectively, patiently endured countless hours when my 
attention was occupied by an article or a computer terminal. Suzanne also photocopied many articles and input some annotations into the word processor, while Claire 
verified a number of citations. Herbert S. White, former dean of Indiana University's School of Library and Information Science (SLIS), made this book possible by 
hiring me into a library and information science faculty. Daniel J. Callison, as acting dean of Indiana University's SLIS, arranged a convenient teaching load to allow 
timely manuscript completion. Judith Serebnick, associate professor of Library and Information Science at Indiana University, and Robert N. Broadus, professor at 
the School of Information and Library Science, University of North Carolina, Chapel Hill, read preliminary drafts of the manuscript and provided valuable feedback 
and encouragement. Blaise Cronin, dean, Indiana University's SLIS, provided helpful assistance. David V. Loertscher, senior acquisitions editor of Libraries 
Unlimited, offered valuable advice throughout this project. Pat Riesenman, a librarian at Indiana University, conducted a DIALOG online search. Karen Fouchereaux, 
Donna Rhiver, Ben Burck, Anne Fliotsos, and Cathy Zeljak, my graduate assistants over the course of several years, diligently tracked down citations, photocopied 
innumerable articles, and assisted with inputting. I also thank the Indiana University Office of Research and the University Graduate School for funding $100 of a 
DIALOG online search. Any deficiencies are the author's own responsibility.
Page ix
Introduction
This guide's primary objective is to summarize the literature published since 1980 that is pertinent to academic library collection evaluation. The intended audience is 
anyone interested in collection evaluation in academic libraries. This consists of two broad categories: 1) library practitioners, including full­time collection development 
specialists, administrators, and librarians with partial collection development responsibilities; and 2) individuals in library science education, including students, faculty, 
and researchers.
The Boundaries of Collection Evaluation
It is relatively easy to define collection evaluation. On the most fundamental level, the term means assessing the intrinsic quality of a library's holdings. On a broader 
level, the term includes determining how well the collection is serving its purpose and meeting patron information needs. As stated in the Magrill and Corbin textbook, 
"Collection evaluation is concerned with how good a collection is in terms of the kinds of materials in it and the value of each item in relation to items not in the 
collection, to the community being served, and to the library's potential users." 1
Paul Mosher identified several benefits to be derived from conducting a collection evaluation:
1. Understanding the collection's scope, depth, and utility
2. Assisting with collection planning
3. Acting as an aid to writing a collection development policy
4. Measuring a collection development policy's effectiveness
5. Determining collection quality
6. Improving the collection by rectifying deficiencies
Page x
7. Focusing human and financial resources on areas requiring attention
8. Justifying budget increases
9. Convincing administrators that action is being taken to rectify the "bottomless pit" of library acquisitions. 2
In recent years there has been increasing interest in the evaluation of innumerable types of library and information services. A keyword search of the term evaluation 
in the Library Literature CD­ROM database covering December 1984 through June 1991 revealed 5,538 entries; a similar search in the Library & Information 
Science Abstracts CD­ROM database covering 1969 through March 1991 identified 4,421 entries.
In the Mission of the Librarian, Ortega y Gasset observed that a librarian's role is to help patrons filter out from the "torrent of books" the small portion that meets 
their information needs.3 In a sense, a bibliography performs the same function, by filtering out from the vast array of published material the portion that seems most 
relevant to the topic and useful to the reader. Thus, this bibliography seeks to filter out from the vast library and information services evaluation literature the portion 
most relevant to academic library collection evaluation.
Determining the boundaries encompassed by the collection evaluation concept is much more challenging than defining the term itself. Nevertheless, based on the 
coverage in textbook chapters on evaluation, the ALA Guide to the Evaluation of Library Collections (see entry 1), as well as the work of such authorities as F. 
Wilfrid Lancaster (see entry 16) and Paul Mosher (see entry 21), one can confidently conclude that collection evaluation embraces use, citation analysis, overlap, and 
shelf availability studies as well as standards. Each of these categories is represented by a separate section in this literature guide.
A major criterion for separating collection evaluation from other collection development functions that are closely related in practice but analytically distinct in theory 
concerns whether materials are dealt with at the macro level (that is, in large categories) or the micro level (on an individual, title­by­title basis). Collection evaluation 
obviously deals with the library's holdings at a macro level, since it focuses on an entire group of materials and sometimes the total collection. In this context, weeding 
and selection would not be included within the scope of collection evaluation because they normally deal with materials on a title­by­title basis. In some instances, 
selection is also conducted on the macro level, as when approval plans or blanket orders are used.4 Nevertheless, the differentiation between evaluation on the one 
hand and selection on the other remains a valid and generally recognized distinction.
The preceding discussion should not be confused with the distinction between macroevaluation and microevaluation, as explained by Baker and Lancaster, based on 
work by King and Bryant. Macroevaluation is descriptive and measures the overall level of success, whereas microevaluation is diagnostic and identifies the 
reasons for failure.5
Page xi
Scope
This annotated bibliography focuses on items pertaining to collection evaluation in academic libraries and published from 1980 to approximately the end of the 1991 
calendar year. (The manuscript was submitted in early November 1991, although the final cutoff for adding entries was roughly three months after that date.) "Classic" 
or extremely important articles published prior to 1980 are also annotated, although a precise definition of classic is not readily available. Included are evaluation case 
studies, research pieces, overviews of the evaluation process, textbook chapters, literature reviews, "how­to" guides and manuals, standards, and methodological and 
theoretical discussions.
The term academic as used here covers universities, colleges, and community colleges. However, a few influential items concerning collection evaluation in public, 
school, and special libraries were also included. Medical, dental, and law libraries, although commonly classified as special libraries, are covered here because they are 
frequently affiliated with an academic institution and their collection evaluation literature is highly pertinent to academic librarianship. Non­English items, Ph.D. 
dissertations, master's theses, ERIC documents, National Technical Information Service documents, in­house library publications, and unpublished speeches or 
conference presentations were excluded.
This annotated bibliography is neither comprehensive nor highly selective. In other words, even though every identified item has not been included, this list is not limited 
to the very best contributions. Any work that would warrant the attention of a practitioner or student is included, while items with little substantive value were 
excluded. The primary selection criteria were the work's intrinsic merit and whether it would be of interest or value to this book's intended audience. Obviously, not 
every entry will be of equal value to all readers.
Items published before 1980 were included if: 1) they are frequently cited in the post­1980 collection evaluation literature; 2) they are explicitly identified as classic by 
contemporary authors; 3) their merit or significance warrants inclusion in the judgment of this literature guide's author; or 4) they are necessary for the full 
understanding of items published after 1980. For the sake of continuity, items published during the late 1970s that follow up or comment on the Pittsburgh Study or 
Kantor's branching method for analyzing book availability are also included. In the final analysis, the decision to include an item published before 1980 was essentially 
a subjective judgment for which the author assumes personal responsibility.
Based on advice from the publisher, this work's presumed audience is North American. Nevertheless, an attempt has been made to include relevant English­language 
material published throughout the world, on the assumption that the principles of collection evaluation are universal rather than limited to a particular geographic 
location. However, the author freely admits that his survey of internationally published material was limited to items that can be identified through the bibliographic 
apparatus available in North America.
Page xii
Selection and weeding are not within this literature guide's scope because they usually deal with materials at the micro rather than the macro level, as previously 
explained. Also beyond this bibliography's scope are items that primarily discuss other major components of the collection management process, such as collection 
maintenance, collection development policies, approval plans, and budgeting. Likewise excluded is the evaluation of procedures and issues relating to the collection 
development and acquisition process, for example, the evaluation of vendors, approval plans, gifts, and the relative merits of faculty selection versus librarian selection.
Items about preservation generally were excluded. Likewise, compilations of library statistics are not included unless they bear a direct application to collection 
evaluation, such as the National Shelflist Count.
Very little is available concerning nonprint collection evaluation in academic libraries. Most of what has been published about nonprint media, especially the newer 
formats such as computer software or CD­ROMS, concerns selection on an item­by­item basis rather than evaluation of the entire collection. Hence, this bibliography 
contains only a few entries pertaining to nonprint materials.
Organization
The book is organized into twelve chapters. Chapter 1 concerns overviews of collection evaluation; chapter 2 deals with collection evaluation methods and 
methodology; chapter 3 annotates collection evaluation case studies; chapter 4 covers use studies; chapter 5 is devoted to shelf availability studies and document 
delivery tests; chapter 6 focuses on overlap studies; chapter 7 covers standards; and chapter 8 deals with citation analysis. All these topics are obviously considered 
within the traditional boundaries of collection evaluation.
Chapter 9 concentrates on the RLG Conspectus and its variant form, the Pacific Northwest Conspectus. Earlier evaluation literature did not cover the Conspectus 
because only within the last half decade has it emerged as a nationally and, in many instances, internationally recognized collection evaluation instrument.
This book heavily emphasizes the evaluation of serials. Chapter 10 covers serials evaluation and chapter 11 is devoted to the closely related concept of journal 
ranking. Chapter 4 contains a section on periodical use studies. This emphasis reflects the extensive literature on the topic during the last decade. Academic libraries 
have become especially concerned about their serials collections because of the runaway inflation in serials costs and its effect on stagnant library budgets; thus, a 
major portion of this literature deals with the evaluation of serials for the purposes of cancellation. One could argue that inclusion of serials evaluation is contrary to the 
previously noted macro/micro distinction as a criterion for defining the boundaries of collection evaluation, as serials are usually evaluated on a title­by­title basis. 
However, serials were included because of their major significance to contemporary academic library collection development. Also, most serials