Problem Solving and Troubleshooting in AIX 5L

488 Pages·2002·4.298 MB·English

by  IBM Redbooks, Hyungoo Kim

Front cover
Problem Solving and
Troubleshooting in AIX 5L
Introduction of new problem solving
tools and changes in AIX 5L
Step by step troubleshooting
in real environments
Complete guide to the
problem determination
process
HyunGoo Kim
JaeYong An
John Harrison
Tony Abruzzesse
KyeongWon Jeong
ibm.com/redbooks

International Technical Support Organization
Problem Solving and Troubleshooting in AIX 5L
January 2002
SG24-5496-01
Take Note! Before using this information and the product it supports, be sure to read the
general information in “Special notices” on page439.
Second Edition (January 2002)
This edition applies to IBM ^ pSeries and RS/6000 Systems for use with the AIX 5L
Operating System Version 5.1 and is based on information available in August, 2001.
Comments may be addressed to:
IBM Corporation, International Technical Support Organization
Dept. JN9B Building 003 Internal Zip 2834
11400 Burnet Road
Austin, Texas 78758-3493
When you send information to IBM, you grant IBM a non-exclusive right to use or distribute the
information in any way it believes appropriate without incurring any obligation to you.
© Copyright International Business Machines Corporation 1999-2002. All rights reserved.
Note to U.S Government Users – Documentation related to restricted rights – Use, duplication or disclosure is subject to
restrictions set forth in GSA ADP Schedule Contract with IBM Corp.
Contents
Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xiii
Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
The team that wrote this redbook. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Special notice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xix
IBM trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xix
Comments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xix
Chapter 1. Problem determination introduction. . . . . . . . . . . . . . . . . . . . . . 1
1.1 Problem determination process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
1.1.1 Defining the problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Gathering information from the user. . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3 Gathering information from the system. . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.4 Resolving the problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.5 Obtaining software fixes and hardware microcode updates. . . . . . . . 6
1.1.6 Other relevant documentation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Troubleshooting starting point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10
1.2.1 Boot path flowchart. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Symptom index. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 Avoiding problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17
1.3.1 System health check. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Chapter 2. Error logging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1 Error logging overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20
2.2 Error log file processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21
2.2.1 Error templates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2 Error messages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 Error log management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
2.3.1 Viewing the error log. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2 Reading a summary error log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.3 Reading error logs in detail. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.4 Examples of detailed error reports . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Finding a core dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
Chapter 3. Boot problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1 Types of machines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
3.2 The boot process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
© Copyright IBM Corp. 2001 iii
3.2.1 Pre-boot state . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.2 Boot stage one . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2.3 Boot stage two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.4 Boot stage three . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3 Boot problem determination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49
3.3.1 Failure to locate a boot image. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.2 Codes displayed longer than five minutes . . . . . . . . . . . . . . . . . . . . 51
3.3.3 LED code 269 on SMP machines. . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.4 LED 549 hang. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4 Minimum configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55
3.5 Accessing rootvg from bootable media. . . . . . . . . . . . . . . . . . . . . . . .57
3.6 LED 551, 552, 554, 555, 556, and 557 halts. . . . . . . . . . . . . . . . . . . .58
3.6.1 LED 551, 555, or 557 halt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.6.2 LED 552, 554, or 556 halt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.6.3 LED 553 halt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.7 No login prompt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68
Chapter 4. System dumps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70
4.2 Saving a system dump when system is booting . . . . . . . . . . . . . . . . .70
4.2.1 LED 549 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3 Preparing for the dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71
4.3.1 Estimate the size of the dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.3.2 Selecting the dump device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.3 Create a dump device. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.4 The dumpcheck command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.3.5 Change the size of a dump device . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.6 Optional setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 Checking the dump status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85
4.4.1 Get the last dump information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.2 Dump status codes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.3 The sysdumpdev command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.4 Verifying the dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.5 Collecting the dump and related information. . . . . . . . . . . . . . . . . . . .89
4.5.1 The snap command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.6 Initiating a system dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .90
4.6.1 LED reason codes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.6.2 How to force a dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.7 The kdb command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93
4.7.1 Uses of kdb. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.7.2 What is the kernel?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.7.3 Examining a system dump with the kdb command. . . . . . . . . . . . . . 94
4.7.4 Basic kdb subcommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
iv Problem Solving and Troubleshooting in AIX 5L
4.7.5 Examining a system dump with the crash command . . . . . . . . . . . 103
4.7.6 Types of crashes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.7.7 Data required by IBM support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Chapter 5. Hardware problem determination . . . . . . . . . . . . . . . . . . . . . . 115
5.1 General advice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .116
5.1.1 Diagnostic tips. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.2 Device location notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 Problem diagnosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119
5.2.1 Making sense of the error log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.2 Physical inspection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.3 Running diagnostics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .124
5.3.1 Concurrent mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3.2 Online diagnostics in service mode. . . . . . . . . . . . . . . . . . . . . . . . . 129
5.3.3 Stand-alone diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.3.4 Stand-alone diagnostics from NIM server. . . . . . . . . . . . . . . . . . . . 135
5.3.5 Task selection or service aids. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4 System Management Services (SMS) . . . . . . . . . . . . . . . . . . . . . . .139
5.4.1 Firmware-based SMS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4.2 Diskette-based SMS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4.3 Using SMS on 7020 and 7248 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.5 TTY setup for use as a console . . . . . . . . . . . . . . . . . . . . . . . . . . . .140
5.6 Checkstops and machine checks . . . . . . . . . . . . . . . . . . . . . . . . . . .141
5.6.1 How to use the data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.7 Diagnosis of SCSI problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .142
5.7.1 Basic SCSI checks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.8 Serial Storage Architecture (SSA) disks. . . . . . . . . . . . . . . . . . . . . .150
5.8.1 General SSA setup rules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.8.2 SSA devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.8.3 SSA disk does not configure as a hdisk . . . . . . . . . . . . . . . . . . . . . 152
5.9 Peripheral devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .154
5.9.1 Disk drawers or towers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.9.2 External tapes and tape libraries. . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.9.3 General tape troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.9.4 4 mm, 8 mm, and DLT tape drives . . . . . . . . . . . . . . . . . . . . . . . . . 158
5.9.5 QIC tape drives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.9.6 CD-ROM jukeboxes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Chapter 6. LVM and JFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.1 Logical Volume Manager (LVM) . . . . . . . . . . . . . . . . . . . . . . . . . . . .164
6.1.1 High-level commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.1.2 Intermediate commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.1.3 Library calls. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Contents v
6.1.4 LVM device driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
6.1.5 Disk device driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
6.1.6 SCSI device driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.2 LVM system data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .167
6.2.1 LVM data on disk control blocks. . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.2.2 LVM data in the operating system. . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.2.3 Physical volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.2.4 Volume groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.2.5 Logical volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.2.6 Object Data Manager (ODM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.3 LVM problem determination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .169
6.3.1 Data integrity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
6.3.2 Re-synchronizing the ODM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.3.3 Collecting data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
6.3.4 Problems with importvg. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
6.4 JFS problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176
6.4.1 Mounting file systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.4.2 File system recovery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.4.3 JFS log problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
6.4.4 Enhanced Journaled File System (JFS2) . . . . . . . . . . . . . . . . . . . . 180
6.5 Disk replacement management . . . . . . . . . . . . . . . . . . . . . . . . . . . .181
6.5.1 Disk replacement procedure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Chapter 7. TCP/IP and networking problem solving . . . . . . . . . . . . . . . . 195
7.1 General network problem isolation . . . . . . . . . . . . . . . . . . . . . . . . . .196
7.2 Problem isolation steps for TCP/IP network problems . . . . . . . . . . .196
7.2.1 Selective host network problems . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.2.2 No network access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
7.2.3 Name resolution problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
7.2.4 Routing problem debugging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.2.5 Dynamic or static routing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
7.2.6 SRC problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
7.2.7 Network interface problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7.3 Common TCP/IP problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .218
7.3.1 Problems with packet delivery using a bridge. . . . . . . . . . . . . . . . . 218
7.3.2 LED 581 hang. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
7.3.3 Telnet or rlogin problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
7.3.4 Dynamic Host Configuration Protocol (DHCP) problems . . . . . . . . 224
7.3.5 snmpd not responding to queries . . . . . . . . . . . . . . . . . . . . . . . . . . 225
7.3.6 X.25 function keys not working properly. . . . . . . . . . . . . . . . . . . . . 225
7.4 TCP/IP network configuration issues . . . . . . . . . . . . . . . . . . . . . . . .226
7.4.1 Maximum Transmission Unit (MTU) . . . . . . . . . . . . . . . . . . . . . . . . 226
7.4.2 Path MTU (PMTU) and multipath routing . . . . . . . . . . . . . . . . . . . . 227
vi Problem Solving and Troubleshooting in AIX 5L
7.4.3 mbufs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.4.4 thewall. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.4.5 TCP/IP problem isolation commands . . . . . . . . . . . . . . . . . . . . . . . 228
7.4.6 ping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.4.7 rup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.4.8 traceroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.4.9 netstat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.4.10 arp. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.4.11 iptrace and ipreport. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.4.12 tcpdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
7.4.13 no . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
7.4.14 The stat commands. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
7.4.15 Virtual IP addresses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
7.5 NIS and NIS+ troubleshooting. . . . . . . . . . . . . . . . . . . . . . . . . . . . .236
7.5.1 Troubleshooting tools for NIS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
7.5.2 Troubleshooting examples with NIS . . . . . . . . . . . . . . . . . . . . . . . . 240
7.5.3 Troubleshooting examples for NIS+ . . . . . . . . . . . . . . . . . . . . . . . . 243
7.5.4 Automountd debugging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
7.6 NFS troubleshooting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .248
7.6.1 Identifying hard-mounted and soft-mounted file problems . . . . . . . 248
7.6.2 Identifying NFS problems checklist. . . . . . . . . . . . . . . . . . . . . . . . . 249
7.6.3 Asynchronous write errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
7.6.4 Common NFS error messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.6.5 Identifying the cause of slow access times for NFS . . . . . . . . . . . . 252
7.6.6 Checking network connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
7.6.7 Setting MTU sizes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
7.6.8 Fixing hung programs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
7.6.9 Permissions and authentication schemes. . . . . . . . . . . . . . . . . . . . 254
7.6.10 Name resolution on an NFS server. . . . . . . . . . . . . . . . . . . . . . . . 255
7.6.11 Mounting from NFS servers that have an earlier version of NFS . 256
7.6.12 Problems that occur if the NFS kernel extension is not loaded. . . 256
7.7 Problems with a SLIP network interface . . . . . . . . . . . . . . . . . . . . . .257
7.8 Asynchronous Point-to-Point Protocol (PPP) debugging. . . . . . . . . .257
7.8.1 AIX as a PPP client (outgoing calls) . . . . . . . . . . . . . . . . . . . . . . . . 258
7.8.2 AIX as a PPP server (incoming calls). . . . . . . . . . . . . . . . . . . . . . . 262
7.8.3 PPP and snmp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
7.8.4 Enabling PPP SNMP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
7.9 Sendmail troubleshooting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .264
7.9.1 Local mail delivery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
7.9.2 Network mail delivery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Chapter 8. X11 and graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
8.1 Handling graphics devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .268
Contents vii
8.1.1 Removing devices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.1.2 Hot plugging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.2 X11 component isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269
8.3 X server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270
8.3.1 Start X server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.3.2 Failure to start. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
8.3.3 Hung or stopped server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
8.4 Connecting X clients to the X server. . . . . . . . . . . . . . . . . . . . . . . . .274
8.4.1 The DISPLAY variable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.4.2 X transport. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
8.4.3 Testing client/server connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . 276
8.4.4 Failed X client start . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.5 X kernel extension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .279
8.5.1 Loading an X extension. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.5.2 Installing verification commands. . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.5.3 Checking X extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.6 CDE problem determination. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .280
8.6.1 CDE log files. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
8.6.2 Login screen does not appear. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
8.6.3 Problem with login. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
8.6.4 CDE hangs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
8.6.5 The DT messaging system could not be started. . . . . . . . . . . . . . . 282
8.7 Client libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .283
8.7.1 X11R6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.7.2 X11R6 enhancements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.7.3 X11/Motif compatibility fileset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
Chapter 9. User applications troubleshooting . . . . . . . . . . . . . . . . . . . . . 285
9.1 Problem determination approach . . . . . . . . . . . . . . . . . . . . . . . . . . .287
9.2 Application startup problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .287
9.2.1 PATH problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
9.2.2 Permissions problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
9.2.3 Name conflict . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
9.2.4 Library problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
9.2.5 Licensing and environment problems. . . . . . . . . . . . . . . . . . . . . . . 290
9.2.6 Binary compatibility and Linux application affinity. . . . . . . . . . . . . . 291
9.3 Application resource monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . .298
9.3.1 Resource problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
9.3.2 Resource Monitoring Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
9.4 System hang detection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .304
9.4.1 Option 1: Using SMIT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
9.4.2 Option 2: Using the command line interface. . . . . . . . . . . . . . . . . . 306
viii Problem Solving and Troubleshooting in AIX 5L