Multiple Testing Problems in Pharmaceutical Statistics (Chapman & Hall CRC Biostatistics Series)

301 Pages·2009·1.91 MB·English

by  Alex Dmitrienko

Multiple Testing
Problems in
Pharmaceutical
Statistics
© 2010 by Taylor and Francis Group, LLC
(cid:40)(cid:71)(cid:76)(cid:87)(cid:82)(cid:85)(cid:16)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:76)(cid:72)(cid:73)
(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:15)(cid:3)(cid:51)(cid:75)(cid:17)(cid:39)(cid:17)
(cid:51)(cid:85)(cid:82)(cid:73)(cid:72)(cid:86)(cid:86)(cid:82)(cid:85)
(cid:39)(cid:72)(cid:83)(cid:68)(cid:85)(cid:87)(cid:80)(cid:72)(cid:81)(cid:87)(cid:3)(cid:82)(cid:73)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:37)(cid:76)(cid:82)(cid:76)(cid:81)(cid:73)(cid:82)(cid:85)(cid:80)(cid:68)(cid:87)(cid:76)(cid:70)(cid:86)
(cid:39)(cid:88)(cid:78)(cid:72)(cid:3)(cid:56)(cid:81)(cid:76)(cid:89)(cid:72)(cid:85)(cid:86)(cid:76)(cid:87)(cid:92)(cid:3)(cid:54)(cid:70)(cid:75)(cid:82)(cid:82)(cid:79)(cid:3)(cid:82)(cid:73)(cid:3)(cid:48)(cid:72)(cid:71)(cid:76)(cid:70)(cid:76)(cid:81)(cid:72)
(cid:39)(cid:88)(cid:85)(cid:75)(cid:68)(cid:80)(cid:15)(cid:3)(cid:49)(cid:82)(cid:85)(cid:87)(cid:75)(cid:3)(cid:38)(cid:68)(cid:85)(cid:82)(cid:79)(cid:76)(cid:81)(cid:68)(cid:15)(cid:3)(cid:56)(cid:17)(cid:54)(cid:17)(cid:36)(cid:17)
(cid:54)(cid:72)(cid:85)(cid:76)(cid:72)(cid:86)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:82)(cid:85)(cid:86)
(cid:37)(cid:92)(cid:85)(cid:82)(cid:81)(cid:3)(cid:45)(cid:82)(cid:81)(cid:72)(cid:86) (cid:45)(cid:72)(cid:81)(cid:16)(cid:83)(cid:72)(cid:76)(cid:3)(cid:47)(cid:76)(cid:88)
(cid:54)(cid:72)(cid:81)(cid:76)(cid:82)(cid:85)(cid:3)(cid:39)(cid:76)(cid:85)(cid:72)(cid:70)(cid:87)(cid:82)(cid:85) (cid:51)(cid:85)(cid:82)(cid:73)(cid:72)(cid:86)(cid:86)(cid:82)(cid:85)
(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:38)(cid:82)(cid:81)(cid:86)(cid:88)(cid:79)(cid:87)(cid:76)(cid:81)(cid:74)(cid:3)(cid:38)(cid:72)(cid:81)(cid:87)(cid:85)(cid:72)(cid:3) (cid:39)(cid:76)(cid:89)(cid:76)(cid:86)(cid:76)(cid:82)(cid:81)(cid:3)(cid:82)(cid:73)(cid:3)(cid:37)(cid:76)(cid:82)(cid:80)(cid:72)(cid:87)(cid:85)(cid:92)
(cid:11)(cid:44)(cid:51)(cid:38)(cid:3)(cid:20)(cid:28)(cid:22)(cid:12) (cid:39)(cid:72)(cid:83)(cid:68)(cid:85)(cid:87)(cid:80)(cid:72)(cid:81)(cid:87)(cid:3)(cid:82)(cid:73)(cid:3)(cid:36)(cid:74)(cid:85)(cid:82)(cid:81)(cid:82)(cid:80)(cid:92)
(cid:51)(cid:192)(cid:93)(cid:72)(cid:85)(cid:3)(cid:42)(cid:79)(cid:82)(cid:69)(cid:68)(cid:79)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:39)(cid:72)(cid:89)(cid:72)(cid:79)(cid:82)(cid:83)(cid:80)(cid:72)(cid:81)(cid:87) (cid:49)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:68)(cid:79)(cid:3)(cid:55)(cid:68)(cid:76)(cid:90)(cid:68)(cid:81)(cid:3)(cid:56)(cid:81)(cid:76)(cid:89)(cid:72)(cid:85)(cid:86)(cid:76)(cid:87)(cid:92)
(cid:54)(cid:68)(cid:81)(cid:71)(cid:90)(cid:76)(cid:70)(cid:75)(cid:15)(cid:3)(cid:46)(cid:72)(cid:81)(cid:87)(cid:15)(cid:3)(cid:56)(cid:17)(cid:3)(cid:46)(cid:17) (cid:55)(cid:68)(cid:76)(cid:83)(cid:72)(cid:76)(cid:15)(cid:3)(cid:55)(cid:68)(cid:76)(cid:90)(cid:68)(cid:81)
(cid:46)(cid:68)(cid:85)(cid:79)(cid:3)(cid:40)(cid:17)(cid:3)(cid:51)(cid:72)(cid:68)(cid:70)(cid:72) (cid:37)(cid:85)(cid:88)(cid:70)(cid:72)(cid:3)(cid:58)(cid:17)(cid:3)(cid:55)(cid:88)(cid:85)(cid:81)(cid:69)(cid:88)(cid:79)(cid:79)
(cid:42)(cid:72)(cid:82)(cid:85)(cid:74)(cid:76)(cid:68)(cid:3)(cid:38)(cid:68)(cid:81)(cid:70)(cid:72)(cid:85)(cid:3)(cid:38)(cid:82)(cid:68)(cid:79)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:3) (cid:51)(cid:85)(cid:82)(cid:73)(cid:72)(cid:86)(cid:86)(cid:82)(cid:85)
(cid:39)(cid:76)(cid:86)(cid:87)(cid:76)(cid:81)(cid:74)(cid:88)(cid:76)(cid:86)(cid:75)(cid:72)(cid:71)(cid:3)(cid:38)(cid:68)(cid:81)(cid:70)(cid:72)(cid:85)(cid:3)(cid:54)(cid:70)(cid:75)(cid:82)(cid:79)(cid:68)(cid:85) (cid:54)(cid:70)(cid:75)(cid:82)(cid:82)(cid:79)(cid:3)(cid:82)(cid:73)(cid:3)(cid:50)(cid:83)(cid:72)(cid:85)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:3)(cid:3)
(cid:54)(cid:72)(cid:81)(cid:76)(cid:82)(cid:85)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:3)(cid:54)(cid:70)(cid:76)(cid:72)(cid:81)(cid:87)(cid:76)(cid:86)(cid:87)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:3) (cid:68)(cid:81)(cid:71)(cid:3)(cid:44)(cid:81)(cid:71)(cid:88)(cid:86)(cid:87)(cid:85)(cid:76)(cid:68)(cid:79)(cid:3)(cid:40)(cid:81)(cid:74)(cid:76)(cid:81)(cid:72)(cid:72)(cid:85)(cid:76)(cid:81)(cid:74)
(cid:51)(cid:85)(cid:82)(cid:73)(cid:72)(cid:86)(cid:86)(cid:82)(cid:85)(cid:3)(cid:82)(cid:73)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86) (cid:38)(cid:82)(cid:85)(cid:81)(cid:72)(cid:79)(cid:79)(cid:3)(cid:56)(cid:81)(cid:76)(cid:89)(cid:72)(cid:85)(cid:86)(cid:76)(cid:87)(cid:92)
(cid:45)(cid:76)(cid:68)(cid:81)(cid:81)(cid:16)(cid:51)(cid:76)(cid:81)(cid:74)(cid:3)(cid:43)(cid:86)(cid:88)(cid:3)(cid:38)(cid:82)(cid:79)(cid:79)(cid:72)(cid:74)(cid:72)(cid:3)(cid:82)(cid:73)(cid:3)(cid:51)(cid:88)(cid:69)(cid:79)(cid:76)(cid:70)(cid:3)(cid:43)(cid:72)(cid:68)(cid:79)(cid:87)(cid:75) (cid:44)(cid:87)(cid:75)(cid:68)(cid:70)(cid:68)(cid:15)(cid:3)(cid:49)(cid:72)(cid:90)(cid:3)(cid:60)(cid:82)(cid:85)(cid:78)
(cid:42)(cid:72)(cid:82)(cid:85)(cid:74)(cid:76)(cid:68)(cid:3)(cid:54)(cid:82)(cid:88)(cid:87)(cid:75)(cid:72)(cid:85)(cid:81)(cid:3)(cid:56)(cid:81)(cid:76)(cid:89)(cid:72)(cid:85)(cid:86)(cid:76)(cid:87)(cid:92)(cid:3)
(cid:54)(cid:87)(cid:68)(cid:87)(cid:72)(cid:86)(cid:69)(cid:82)(cid:85)(cid:82)(cid:15)(cid:3)(cid:42)(cid:72)(cid:82)(cid:85)(cid:74)(cid:76)(cid:68)(cid:3)
© 2010 by Taylor and Francis Group, LLC
Published Titles
(cid:3) (cid:20)(cid:17)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:36)(cid:81)(cid:76)(cid:80)(cid:68)(cid:79)(cid:3)(cid:54)(cid:87)(cid:88)(cid:71)(cid:76)(cid:72)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:39)(cid:72)(cid:89)(cid:72)(cid:79)(cid:82)(cid:83)(cid:80)(cid:72)(cid:81)(cid:87)(cid:15)(cid:3)
(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:72)(cid:81)(cid:16)(cid:83)(cid:72)(cid:76)(cid:3)(cid:47)(cid:76)(cid:88)
(cid:3) (cid:21)(cid:17)(cid:3)(cid:37)(cid:68)(cid:86)(cid:76)(cid:70)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:36)(cid:83)(cid:83)(cid:79)(cid:76)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:15)(cid:3)(cid:45)(cid:68)(cid:80)(cid:72)(cid:86)(cid:3)(cid:40)(cid:17)(cid:3)(cid:39)(cid:72)(cid:3)(cid:48)(cid:88)(cid:87)(cid:75)
(cid:3) (cid:22)(cid:17)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:37)(cid:76)(cid:82)(cid:68)(cid:89)(cid:68)(cid:76)(cid:79)(cid:68)(cid:69)(cid:76)(cid:79)(cid:76)(cid:87)(cid:92)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:37)(cid:76)(cid:82)(cid:72)(cid:84)(cid:88)(cid:76)(cid:89)(cid:68)(cid:79)(cid:72)(cid:81)(cid:70)(cid:72)(cid:3)(cid:54)(cid:87)(cid:88)(cid:71)(cid:76)(cid:72)(cid:86)(cid:15)(cid:3)
(cid:54)(cid:72)(cid:70)(cid:82)(cid:81)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:53)(cid:72)(cid:89)(cid:76)(cid:86)(cid:72)(cid:71)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:40)(cid:91)(cid:83)(cid:68)(cid:81)(cid:71)(cid:72)(cid:71)(cid:15)(cid:3)(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:72)(cid:81)(cid:16)(cid:83)(cid:72)(cid:76)(cid:3)(cid:47)(cid:76)(cid:88)
(cid:3) (cid:23)(cid:17)(cid:3)(cid:48)(cid:72)(cid:87)(cid:68)(cid:16)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:48)(cid:72)(cid:71)(cid:76)(cid:70)(cid:76)(cid:81)(cid:72)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:43)(cid:72)(cid:68)(cid:79)(cid:87)(cid:75)(cid:3)(cid:51)(cid:82)(cid:79)(cid:76)(cid:70)(cid:92)(cid:15)(cid:3)(cid:39)(cid:68)(cid:79)(cid:72)(cid:81)(cid:72)(cid:3)(cid:46)(cid:17)(cid:3)(cid:54)(cid:87)(cid:68)(cid:81)(cid:74)(cid:79)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:39)(cid:82)(cid:81)(cid:68)(cid:79)(cid:71)(cid:3)(cid:36)(cid:17)(cid:3)(cid:37)(cid:72)(cid:85)(cid:85)(cid:92)
(cid:3) (cid:24)(cid:17)(cid:3)(cid:42)(cid:72)(cid:81)(cid:72)(cid:85)(cid:68)(cid:79)(cid:76)(cid:93)(cid:72)(cid:71)(cid:3)(cid:47)(cid:76)(cid:81)(cid:72)(cid:68)(cid:85)(cid:3)(cid:48)(cid:82)(cid:71)(cid:72)(cid:79)(cid:86)(cid:29)(cid:3)(cid:36)(cid:3)(cid:37)(cid:68)(cid:92)(cid:72)(cid:86)(cid:76)(cid:68)(cid:81)(cid:3)(cid:51)(cid:72)(cid:85)(cid:86)(cid:83)(cid:72)(cid:70)(cid:87)(cid:76)(cid:89)(cid:72)(cid:15)(cid:3)(cid:39)(cid:76)(cid:83)(cid:68)(cid:78)(cid:3)(cid:46)(cid:17)(cid:3)(cid:39)(cid:72)(cid:92)(cid:15)(cid:3)
(cid:54)(cid:88)(cid:77)(cid:76)(cid:87)(cid:3)(cid:46)(cid:17)(cid:3)(cid:42)(cid:75)(cid:82)(cid:86)(cid:75)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:37)(cid:68)(cid:81)(cid:76)(cid:3)(cid:46)(cid:17)(cid:3)(cid:48)(cid:68)(cid:79)(cid:79)(cid:76)(cid:70)(cid:78)
(cid:3) (cid:25)(cid:17)(cid:3)(cid:39)(cid:76)(cid:73)(cid:73)(cid:72)(cid:85)(cid:72)(cid:81)(cid:70)(cid:72)(cid:3)(cid:40)(cid:84)(cid:88)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:3)(cid:90)(cid:76)(cid:87)(cid:75)(cid:3)(cid:51)(cid:88)(cid:69)(cid:79)(cid:76)(cid:70)(cid:3)(cid:43)(cid:72)(cid:68)(cid:79)(cid:87)(cid:75)(cid:3)(cid:36)(cid:83)(cid:83)(cid:79)(cid:76)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:15)(cid:3)(cid:47)(cid:72)(cid:80)(cid:88)(cid:72)(cid:79)(cid:3)(cid:36)(cid:17)(cid:3)(cid:48)(cid:82)(cid:92)(cid:112)(cid:3)
(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:86)(cid:75)(cid:68)(cid:3)(cid:54)(cid:72)(cid:87)(cid:75)(cid:3)(cid:46)(cid:68)(cid:83)(cid:68)(cid:71)(cid:76)(cid:68)
(cid:3) (cid:26)(cid:17)(cid:3)(cid:48)(cid:72)(cid:71)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:36)(cid:69)(cid:75)(cid:68)(cid:92)(cid:68)(cid:3)(cid:44)(cid:81)(cid:71)(cid:85)(cid:68)(cid:92)(cid:68)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:54)(cid:68)(cid:81)(cid:77)(cid:72)(cid:72)(cid:89)(cid:3)(cid:37)(cid:17)(cid:3)(cid:54)(cid:68)(cid:85)(cid:80)(cid:88)(cid:78)(cid:68)(cid:71)(cid:71)(cid:68)(cid:80)
(cid:3) (cid:27)(cid:17)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:86)(cid:3)(cid:73)(cid:82)(cid:85)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:55)(cid:85)(cid:76)(cid:68)(cid:79)(cid:86)(cid:15)(cid:3)(cid:48)(cid:68)(cid:85)(cid:78)(cid:3)(cid:59)(cid:17)(cid:3)(cid:49)(cid:82)(cid:85)(cid:79)(cid:72)(cid:68)(cid:81)(cid:86)
(cid:3) (cid:28)(cid:17)(cid:3)(cid:38)(cid:68)(cid:88)(cid:86)(cid:68)(cid:79)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:37)(cid:76)(cid:82)(cid:80)(cid:72)(cid:71)(cid:76)(cid:70)(cid:76)(cid:81)(cid:72)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:40)(cid:83)(cid:76)(cid:71)(cid:72)(cid:80)(cid:76)(cid:82)(cid:79)(cid:82)(cid:74)(cid:92)(cid:29)(cid:3)(cid:37)(cid:68)(cid:86)(cid:72)(cid:71)(cid:3)(cid:82)(cid:81)(cid:3)(cid:48)(cid:76)(cid:81)(cid:76)(cid:80)(cid:68)(cid:79)(cid:3)
(cid:54)(cid:88)(cid:73)(cid:192)(cid:70)(cid:76)(cid:72)(cid:81)(cid:87)(cid:3)(cid:38)(cid:68)(cid:88)(cid:86)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:48)(cid:76)(cid:78)(cid:72)(cid:79)(cid:3)(cid:36)(cid:76)(cid:70)(cid:78)(cid:76)(cid:81)
(cid:3)(cid:20)(cid:19)(cid:17)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:39)(cid:85)(cid:88)(cid:74)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:29)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:82)(cid:79)(cid:82)(cid:74)(cid:76)(cid:72)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:53)(cid:72)(cid:70)(cid:72)(cid:81)(cid:87)(cid:3)(cid:39)(cid:72)(cid:89)(cid:72)(cid:79)(cid:82)(cid:83)(cid:80)(cid:72)(cid:81)(cid:87)(cid:86)(cid:15)(cid:3)
(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:88)(cid:81)(cid:3)(cid:54)(cid:75)(cid:68)(cid:82)
(cid:3)(cid:20)(cid:20)(cid:17)(cid:3)(cid:54)(cid:68)(cid:80)(cid:83)(cid:79)(cid:72)(cid:3)(cid:54)(cid:76)(cid:93)(cid:72)(cid:3)(cid:38)(cid:68)(cid:79)(cid:70)(cid:88)(cid:79)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:15)(cid:3)(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:15)(cid:3)(cid:45)(cid:88)(cid:81)(cid:3)(cid:54)(cid:75)(cid:68)(cid:82)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:43)(cid:68)(cid:81)(cid:86)(cid:75)(cid:72)(cid:81)(cid:74)(cid:3)(cid:58)(cid:68)(cid:81)(cid:74)
(cid:3)(cid:20)(cid:21)(cid:17)(cid:3)(cid:36)(cid:83)(cid:83)(cid:79)(cid:76)(cid:72)(cid:71)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:73)(cid:82)(cid:85)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:72)(cid:85)(cid:15)(cid:3)(cid:39)(cid:68)(cid:85)(cid:92)(cid:79)(cid:3)(cid:54)(cid:17)(cid:3)(cid:51)(cid:68)(cid:88)(cid:79)(cid:86)(cid:82)(cid:81)
(cid:3)(cid:20)(cid:22)(cid:17)(cid:3)(cid:36)(cid:71)(cid:89)(cid:68)(cid:81)(cid:70)(cid:72)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:55)(cid:85)(cid:76)(cid:68)(cid:79)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:49)(cid:68)(cid:81)(cid:70)(cid:92)(cid:3)(cid:47)(cid:17)(cid:3)(cid:42)(cid:72)(cid:79)(cid:79)(cid:72)(cid:85)
(cid:3)(cid:20)(cid:23)(cid:17)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:44)(cid:81)(cid:71)(cid:88)(cid:86)(cid:87)(cid:85)(cid:92)(cid:15)(cid:3)(cid:55)(cid:75)(cid:76)(cid:85)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:53)(cid:68)(cid:79)(cid:83)(cid:75)(cid:3)(cid:37)(cid:88)(cid:81)(cid:70)(cid:75)(cid:72)(cid:85)(cid:3)
(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:76)(cid:68)(cid:16)(cid:60)(cid:72)(cid:82)(cid:81)(cid:74)(cid:3)(cid:55)(cid:86)(cid:68)(cid:92)
(cid:3)(cid:20)(cid:24)(cid:17)(cid:3)(cid:39)(cid:49)(cid:36)(cid:3)(cid:48)(cid:76)(cid:70)(cid:85)(cid:82)(cid:68)(cid:85)(cid:85)(cid:68)(cid:92)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:53)(cid:72)(cid:79)(cid:68)(cid:87)(cid:72)(cid:71)(cid:3)(cid:42)(cid:72)(cid:81)(cid:82)(cid:80)(cid:76)(cid:70)(cid:86)(cid:3)(cid:55)(cid:72)(cid:70)(cid:75)(cid:81)(cid:76)(cid:84)(cid:88)(cid:72)(cid:86)(cid:29)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:15)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:44)(cid:81)(cid:87)(cid:72)(cid:85)(cid:83)(cid:85)(cid:72)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:82)(cid:73)(cid:3)(cid:40)(cid:91)(cid:83)(cid:72)(cid:85)(cid:76)(cid:80)(cid:72)(cid:81)(cid:87)(cid:86)(cid:15)(cid:3)
(cid:39)(cid:68)(cid:89)(cid:76)(cid:71)(cid:3)(cid:37)(cid:17)(cid:3)(cid:36)(cid:79)(cid:79)(cid:86)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:42)(cid:85)(cid:76)(cid:72)(cid:85)(cid:3)(cid:51)(cid:17)(cid:3)(cid:51)(cid:68)(cid:74)(cid:72)(cid:15)(cid:3)(cid:55)(cid:17)(cid:3)(cid:48)(cid:68)(cid:85)(cid:78)(cid:3)(cid:37)(cid:72)(cid:68)(cid:86)(cid:79)(cid:72)(cid:92)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:82)(cid:71)(cid:72)(cid:3)(cid:58)(cid:17)(cid:3)(cid:40)(cid:71)(cid:90)(cid:68)(cid:85)(cid:71)(cid:86)
(cid:3)(cid:20)(cid:25)(cid:17)(cid:3)(cid:37)(cid:68)(cid:86)(cid:76)(cid:70)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:36)(cid:83)(cid:83)(cid:79)(cid:76)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:15)(cid:3)(cid:54)(cid:72)(cid:70)(cid:82)(cid:81)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)
(cid:45)(cid:68)(cid:80)(cid:72)(cid:86)(cid:3)(cid:40)(cid:17)(cid:3)(cid:39)(cid:72)(cid:3)(cid:48)(cid:88)(cid:87)(cid:75)
(cid:3)(cid:20)(cid:26)(cid:17)(cid:3)(cid:36)(cid:71)(cid:68)(cid:83)(cid:87)(cid:76)(cid:89)(cid:72)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:55)(cid:85)(cid:76)(cid:68)(cid:79)(cid:86)(cid:15)(cid:3)(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:48)(cid:68)(cid:85)(cid:78)(cid:3)(cid:38)(cid:75)(cid:68)(cid:81)(cid:74)
(cid:3)(cid:20)(cid:27)(cid:17)(cid:3)(cid:43)(cid:68)(cid:81)(cid:71)(cid:69)(cid:82)(cid:82)(cid:78)(cid:3)(cid:82)(cid:73)(cid:3)(cid:53)(cid:72)(cid:74)(cid:85)(cid:72)(cid:86)(cid:86)(cid:76)(cid:82)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:48)(cid:82)(cid:71)(cid:72)(cid:79)(cid:76)(cid:81)(cid:74)(cid:29)(cid:3)(cid:36)(cid:83)(cid:83)(cid:79)(cid:76)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:3)(cid:73)(cid:82)(cid:85)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:44)(cid:81)(cid:71)(cid:88)(cid:86)(cid:87)(cid:85)(cid:76)(cid:72)(cid:86)(cid:15)(cid:3)(cid:39)(cid:68)(cid:85)(cid:92)(cid:79)(cid:3)
(cid:54)(cid:17)(cid:3)(cid:51)(cid:68)(cid:88)(cid:79)(cid:86)(cid:82)(cid:81)
(cid:3)(cid:20)(cid:28)(cid:17)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:54)(cid:87)(cid:68)(cid:69)(cid:76)(cid:79)(cid:76)(cid:87)(cid:92)(cid:3)(cid:54)(cid:87)(cid:88)(cid:71)(cid:76)(cid:72)(cid:86)(cid:15)(cid:3)(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)
(cid:3)(cid:21)(cid:19)(cid:17)(cid:3)(cid:54)(cid:68)(cid:80)(cid:83)(cid:79)(cid:72)(cid:3)(cid:54)(cid:76)(cid:93)(cid:72)(cid:3)(cid:38)(cid:68)(cid:79)(cid:70)(cid:88)(cid:79)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:15)(cid:3)(cid:54)(cid:72)(cid:70)(cid:82)(cid:81)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:15)(cid:3)
(cid:45)(cid:88)(cid:81)(cid:3)(cid:54)(cid:75)(cid:68)(cid:82)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:43)(cid:68)(cid:81)(cid:86)(cid:75)(cid:72)(cid:81)(cid:74)(cid:3)(cid:58)(cid:68)(cid:81)(cid:74)
(cid:3)(cid:21)(cid:20)(cid:17)(cid:3)(cid:40)(cid:79)(cid:72)(cid:80)(cid:72)(cid:81)(cid:87)(cid:68)(cid:85)(cid:92)(cid:3)(cid:37)(cid:68)(cid:92)(cid:72)(cid:86)(cid:76)(cid:68)(cid:81)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:47)(cid:72)(cid:80)(cid:88)(cid:72)(cid:79)(cid:3)(cid:36)(cid:17)(cid:3)(cid:48)(cid:82)(cid:92)(cid:112)
(cid:3)(cid:21)(cid:21)(cid:17)(cid:3)(cid:36)(cid:71)(cid:68)(cid:83)(cid:87)(cid:76)(cid:89)(cid:72)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:55)(cid:75)(cid:72)(cid:82)(cid:85)(cid:92)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:44)(cid:80)(cid:83)(cid:79)(cid:72)(cid:80)(cid:72)(cid:81)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:56)(cid:86)(cid:76)(cid:81)(cid:74)(cid:3)(cid:54)(cid:36)(cid:54)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:53)(cid:15)(cid:3)(cid:48)(cid:68)(cid:85)(cid:78)(cid:3)(cid:38)(cid:75)(cid:68)(cid:81)(cid:74)
(cid:3)(cid:21)(cid:22)(cid:17)(cid:3)(cid:38)(cid:82)(cid:80)(cid:83)(cid:88)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:68)(cid:79)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:82)(cid:78)(cid:76)(cid:81)(cid:72)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:36)(cid:81)(cid:71)(cid:72)(cid:85)(cid:86)(cid:3)(cid:46)(cid:108)(cid:79)(cid:79)(cid:112)(cid:81)
(cid:3)(cid:21)(cid:23)(cid:17)(cid:3)(cid:38)(cid:82)(cid:80)(cid:83)(cid:88)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:68)(cid:79)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:37)(cid:76)(cid:82)(cid:80)(cid:72)(cid:71)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:53)(cid:72)(cid:86)(cid:72)(cid:68)(cid:85)(cid:70)(cid:75)(cid:15)(cid:3)(cid:53)(cid:68)(cid:89)(cid:76)(cid:81)(cid:71)(cid:85)(cid:68)(cid:3)(cid:46)(cid:75)(cid:68)(cid:87)(cid:87)(cid:85)(cid:72)(cid:72)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)
(cid:39)(cid:68)(cid:92)(cid:68)(cid:81)(cid:68)(cid:81)(cid:71)(cid:3)(cid:49)(cid:17)(cid:3)(cid:49)(cid:68)(cid:76)(cid:78)
(cid:3)(cid:21)(cid:24)(cid:17)(cid:3)(cid:48)(cid:72)(cid:71)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:37)(cid:76)(cid:82)(cid:86)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:54)(cid:72)(cid:70)(cid:82)(cid:81)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:36)(cid:17)(cid:3)(cid:44)(cid:81)(cid:71)(cid:85)(cid:68)(cid:92)(cid:68)(cid:81)
(cid:3)(cid:21)(cid:25)(cid:17)(cid:3)(cid:39)(cid:49)(cid:36)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:92)(cid:79)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:48)(cid:76)(cid:70)(cid:85)(cid:82)(cid:68)(cid:85)(cid:85)(cid:68)(cid:92)(cid:86)(cid:29)(cid:3)(cid:40)(cid:91)(cid:83)(cid:72)(cid:85)(cid:76)(cid:80)(cid:72)(cid:81)(cid:87)(cid:68)(cid:79)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:15)(cid:3)
(cid:54)(cid:88)(cid:81)(cid:16)(cid:38)(cid:75)(cid:82)(cid:81)(cid:74)(cid:3)(cid:58)(cid:68)(cid:81)(cid:74)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:85)(cid:87)(cid:88)(cid:85)(cid:68)(cid:86)(cid:3)(cid:51)(cid:72)(cid:87)(cid:85)(cid:82)(cid:81)(cid:76)(cid:86)
(cid:3)(cid:21)(cid:26)(cid:17)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:37)(cid:76)(cid:82)(cid:68)(cid:89)(cid:68)(cid:76)(cid:79)(cid:68)(cid:69)(cid:76)(cid:79)(cid:76)(cid:87)(cid:92)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:37)(cid:76)(cid:82)(cid:72)(cid:84)(cid:88)(cid:76)(cid:89)(cid:68)(cid:79)(cid:72)(cid:81)(cid:70)(cid:72)(cid:3)(cid:54)(cid:87)(cid:88)(cid:71)(cid:76)(cid:72)(cid:86)(cid:15)(cid:3)(cid:55)(cid:75)(cid:76)(cid:85)(cid:71)(cid:3)(cid:40)(cid:71)(cid:76)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)
(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:45)(cid:72)(cid:81)(cid:16)(cid:83)(cid:72)(cid:76)(cid:3)(cid:47)(cid:76)(cid:88)
(cid:3)(cid:21)(cid:27)(cid:17)(cid:3)(cid:55)(cid:85)(cid:68)(cid:81)(cid:86)(cid:79)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:68)(cid:79)(cid:3)(cid:48)(cid:72)(cid:71)(cid:76)(cid:70)(cid:76)(cid:81)(cid:72)(cid:29)(cid:3)(cid:54)(cid:87)(cid:85)(cid:68)(cid:87)(cid:72)(cid:74)(cid:76)(cid:72)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:86)(cid:15)(cid:3)(cid:39)(cid:72)(cid:81)(cid:81)(cid:76)(cid:86)(cid:3)(cid:38)(cid:82)(cid:86)(cid:80)(cid:68)(cid:87)(cid:82)(cid:86)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)
(cid:54)(cid:75)(cid:72)(cid:76)(cid:81)(cid:16)(cid:38)(cid:75)(cid:88)(cid:81)(cid:74)(cid:3)(cid:38)(cid:75)(cid:82)(cid:90)
(cid:3)(cid:21)(cid:28)(cid:17)(cid:3)(cid:37)(cid:68)(cid:92)(cid:72)(cid:86)(cid:76)(cid:68)(cid:81)(cid:3)(cid:48)(cid:72)(cid:87)(cid:75)(cid:82)(cid:71)(cid:86)(cid:3)(cid:73)(cid:82)(cid:85)(cid:3)(cid:48)(cid:72)(cid:68)(cid:86)(cid:88)(cid:85)(cid:72)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:36)(cid:74)(cid:85)(cid:72)(cid:72)(cid:80)(cid:72)(cid:81)(cid:87)(cid:15)(cid:3)(cid:47)(cid:92)(cid:79)(cid:72)(cid:3)(cid:39)(cid:17)(cid:3)(cid:37)(cid:85)(cid:82)(cid:72)(cid:80)(cid:72)(cid:79)(cid:76)(cid:81)(cid:74)
(cid:3)(cid:22)(cid:19)(cid:17)(cid:3)(cid:39)(cid:68)(cid:87)(cid:68)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:54)(cid:68)(cid:73)(cid:72)(cid:87)(cid:92)(cid:3)(cid:48)(cid:82)(cid:81)(cid:76)(cid:87)(cid:82)(cid:85)(cid:76)(cid:81)(cid:74)(cid:3)(cid:38)(cid:82)(cid:80)(cid:80)(cid:76)(cid:87)(cid:87)(cid:72)(cid:72)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:55)(cid:85)(cid:76)(cid:68)(cid:79)(cid:86)(cid:15)(cid:3)(cid:45)(cid:68)(cid:92)(cid:3)(cid:43)(cid:72)(cid:85)(cid:86)(cid:82)(cid:81)
(cid:3)(cid:22)(cid:20)(cid:17)(cid:3)(cid:39)(cid:72)(cid:86)(cid:76)(cid:74)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:36)(cid:81)(cid:68)(cid:79)(cid:92)(cid:86)(cid:76)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:38)(cid:79)(cid:76)(cid:81)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:55)(cid:85)(cid:76)(cid:68)(cid:79)(cid:86)(cid:3)(cid:90)(cid:76)(cid:87)(cid:75)(cid:3)(cid:55)(cid:76)(cid:80)(cid:72)(cid:16)(cid:87)(cid:82)(cid:16)(cid:40)(cid:89)(cid:72)(cid:81)(cid:87)(cid:3)(cid:40)(cid:81)(cid:71)(cid:83)(cid:82)(cid:76)(cid:81)(cid:87)(cid:86)(cid:15)(cid:3)(cid:46)(cid:68)(cid:85)(cid:79)(cid:3)(cid:40)(cid:17)(cid:3)(cid:51)(cid:72)(cid:68)(cid:70)(cid:72)(cid:3)
(cid:3)(cid:22)(cid:21)(cid:17)(cid:3)(cid:37)(cid:68)(cid:92)(cid:72)(cid:86)(cid:76)(cid:68)(cid:81)(cid:3)(cid:48)(cid:76)(cid:86)(cid:86)(cid:76)(cid:81)(cid:74)(cid:3)(cid:39)(cid:68)(cid:87)(cid:68)(cid:3)(cid:51)(cid:85)(cid:82)(cid:69)(cid:79)(cid:72)(cid:80)(cid:86)(cid:29)(cid:3)(cid:40)(cid:48)(cid:15)(cid:3)(cid:39)(cid:68)(cid:87)(cid:68)(cid:3)(cid:36)(cid:88)(cid:74)(cid:80)(cid:72)(cid:81)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:49)(cid:82)(cid:81)(cid:76)(cid:87)(cid:72)(cid:85)(cid:68)(cid:87)(cid:76)(cid:89)(cid:72)(cid:3)(cid:38)(cid:82)(cid:80)(cid:83)(cid:88)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)
(cid:48)(cid:76)(cid:81)(cid:74)(cid:3)(cid:55)(cid:17)(cid:3)(cid:55)(cid:68)(cid:81)(cid:15)(cid:3)(cid:42)(cid:88)(cid:82)(cid:16)(cid:47)(cid:76)(cid:68)(cid:81)(cid:74)(cid:3)(cid:55)(cid:76)(cid:68)(cid:81)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:46)(cid:68)(cid:76)(cid:3)(cid:58)(cid:68)(cid:81)(cid:74)(cid:3)(cid:49)(cid:74)
(cid:3)(cid:22)(cid:22)(cid:17)(cid:3)(cid:48)(cid:88)(cid:79)(cid:87)(cid:76)(cid:83)(cid:79)(cid:72)(cid:3)(cid:55)(cid:72)(cid:86)(cid:87)(cid:76)(cid:81)(cid:74)(cid:3)(cid:51)(cid:85)(cid:82)(cid:69)(cid:79)(cid:72)(cid:80)(cid:86)(cid:3)(cid:76)(cid:81)(cid:3)(cid:51)(cid:75)(cid:68)(cid:85)(cid:80)(cid:68)(cid:70)(cid:72)(cid:88)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:54)(cid:87)(cid:68)(cid:87)(cid:76)(cid:86)(cid:87)(cid:76)(cid:70)(cid:86)(cid:15)(cid:3)(cid:36)(cid:79)(cid:72)(cid:91)(cid:3)(cid:39)(cid:80)(cid:76)(cid:87)(cid:85)(cid:76)(cid:72)(cid:81)(cid:78)(cid:82)(cid:15)(cid:3)(cid:36)(cid:77)(cid:76)(cid:87)(cid:3)(cid:38)(cid:17)(cid:3)(cid:55)(cid:68)(cid:80)(cid:75)(cid:68)(cid:81)(cid:72)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:41)(cid:85)(cid:68)(cid:81)(cid:78)(cid:3)(cid:37)(cid:85)(cid:72)(cid:87)(cid:93)(cid:3)
© 2010 by Taylor and Francis Group, LLC
Multiple Testing
Problems in
Pharmaceutical
Statistics
Edited by
Alex Dmitrienko
Eli Lilly and Company
Indianapolis, Indiana, U.S.A.
Ajit C. Tamhane
Northwestern Univesity
Evanston, Illinois, U.S.A.
Frank Bretz
Novartis Pharma AG
Basel, Switzerland
Hannover Medical School
Germany
© 2010 by Taylor and Francis Group, LLC
Chapman & Hall/CRC
Taylor & Francis Group
6000 Broken Sound Parkway NW, Suite 300
Boca Raton, FL 33487-2742
© 2010 by Taylor and Francis Group, LLC
Chapman & Hall/CRC is an imprint of Taylor & Francis Group, an Informa business
No claim to original U.S. Government works
Printed in the United States of America on acid-free paper
10 9 8 7 6 5 4 3 2 1
International Standard Book Number: 978-1-58488-984-7 (Hardback)
This book contains information obtained from authentic and highly regarded sources. Reasonable efforts
have been made to publish reliable data and information, but the author and publisher cannot assume
responsibility for the validity of all materials or the consequences of their use. The authors and publishers
have attempted to trace the copyright holders of all material reproduced in this publication and apologize to
copyright holders if permission to publish in this form has not been obtained. If any copyright material has
not been acknowledged please write and let us know so we may rectify in any future reprint.
Except as permitted under U.S. Copyright Law, no part of this book may be reprinted, reproduced, transmit-
ted, or utilized in any form by any electronic, mechanical, or other means, now known or hereafter invented,
including photocopying, microfilming, and recording, or in any information storage or retrieval system,
without written permission from the publishers.
For permission to photocopy or use material electronically from this work, please access www.copyright.
com (http://www.copyright.com/) or contact the Copyright Clearance Center, Inc. (CCC), 222 Rosewood
Drive, Danvers, MA 01923, 978-750-8400. CCC is a not-for-profit organization that provides licenses and
registration for a variety of users. For organizations that have been granted a photocopy license by the CCC,
a separate system of payment has been arranged.
Trademark Notice: Product or corporate names may be trademarks or registered trademarks, and are used
only for identification and explanation without intent to infringe.
Library of Congress Cataloging-in-Publication Data
Multiple testing problems in pharmaceutical statistics / editors, Alex Dmitrienko, Ajit C.
Tamhane, Frank Bretz.
p. ; cm. -- (Chapman & Hall/CRC biostatistics series ; 33)
Includes bibliographical references and index.
ISBN 978-1-58488-984-7 (hardcover : alk. paper)
1. Drugs--Testing--Statistical methods. I. Dmitrienko, Alex. II. Tamhane, Ajit C. III.
Bretz, Frank. IV. Series: Chapman & Hall/CRC biostatistics series ; 33.
[DNLM: 1. Clinical Trials as Topic. 2. Statistics as Topic. QV 771 M957 2010]
RM301.27.M85 2010
615’.1901--dc22 2009040277
Visit the Taylor & Francis Web site at
http://www.taylorandfrancis.com
and the CRC Press Web site at
http://www.crcpress.com
© 2010 by Taylor and Francis Group, LLC
Contents
Preface xi
List of Contributors xv
1 Multiplicity Problems in Clinical Trials: A Regulatory
Perspective 1
Mohammad Huque and Joachim R¨ohmel
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Common multiplicity problems in clinical trials . . . . . . . 3
1.2.1 Clinical win criteria with primary endpoints . . . . . . 4
1.2.2 Consistency-ensured analysis of multiple endpoints . 7
1.2.3 Co-primary endpoints . . . . . . . . . . . . . . . . . . 8
1.2.4 Secondary endpoints . . . . . . . . . . . . . . . . . . 11
1.2.5 Dose-response and dose-control comparisons . . . . . 12
1.2.6 Subgroup analyses . . . . . . . . . . . . . . . . . . . . 14
1.2.7 Combination drug trials . . . . . . . . . . . . . . . . . 16
1.2.8 Three-arm trials with an active control . . . . . . . . 17
1.2.9 Advanced multiplicity problems . . . . . . . . . . . . 20
1.3 Reducing multiplicity in clinical trials . . . . . . . . . . . . 23
1.3.1 Hierarchical testing . . . . . . . . . . . . . . . . . . . 23
1.3.2 Composite endpoints . . . . . . . . . . . . . . . . . . 25
1.4 Multiplicity concerns in special situations . . . . . . . . . . 28
1.4.1 Use of multiple subsets of patient data . . . . . . . . 28
1.4.2 Use of multiple statistical methods . . . . . . . . . . 29
1.4.3 Analysis of covariance . . . . . . . . . . . . . . . . . . 29
1.5 Multiplicity in the analysis of safety endpoints . . . . . . . . 30
1.6 Concluding remarks . . . . . . . . . . . . . . . . . . . . . . 32
2 Multiple Testing Methodology 35
Alex Dmitrienko, Frank Bretz, Peter H. Westfall, James Troendle,
Brian L. Wiens, Ajit C. Tamhane, and Jason C. Hsu
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2 Error rate definitions . . . . . . . . . . . . . . . . . . . . . . 36
2.2.1 Comparisonwise and familywise error rates . . . . . . 36
2.2.2 Generalized familywise error rate, false discovery rate
and false discovery proportion. . . . . . . . . . . . . . 38
v
© 2010 by Taylor and Francis Group, LLC
vi
2.2.3 Role of Type II errors . . . . . . . . . . . . . . . . . . 39
2.3 Multiple testing principles . . . . . . . . . . . . . . . . . . . 40
2.3.1 Union-intersection testing . . . . . . . . . . . . . . . . 40
2.3.2 Intersection-union testing . . . . . . . . . . . . . . . . 41
2.3.3 Closure principle . . . . . . . . . . . . . . . . . . . . . 41
2.3.4 Properties of closed testing procedures . . . . . . . . . 44
2.3.5 Partitioning principle . . . . . . . . . . . . . . . . . . 45
2.4 Adjusted significance levels, p-values and confidence intervals 46
2.4.1 Adjusted significance levels and p-values . . . . . . . . 46
2.4.2 Simultaneous confidence intervals . . . . . . . . . . . . 47
2.5 Common multiple testing procedures . . . . . . . . . . . . . 48
2.5.1 Classification of multiple testing procedures . . . . . . 48
2.5.2 Notation. . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.5.3 Dose-finding trial example . . . . . . . . . . . . . . . . 50
2.6 Multiple testing procedures based on univariate p-values . . 52
2.6.1 Bonferroni procedure . . . . . . . . . . . . . . . . . . . 52
2.6.2 Holm procedure and its extensions . . . . . . . . . . . 53
2.6.3 Fixed-sequence procedure . . . . . . . . . . . . . . . . 56
2.6.4 Fallback procedure . . . . . . . . . . . . . . . . . . . . 57
2.6.5 Bonferroni-basedclosed testing procedures . . . . . . 58
2.6.6 Reverse fixed-sequence procedure . . . . . . . . . . . . 62
2.6.7 Simes global test . . . . . . . . . . . . . . . . . . . . . 63
2.6.8 Hommel procedure . . . . . . . . . . . . . . . . . . . . 65
2.6.9 Hochberg procedure . . . . . . . . . . . . . . . . . . . 66
2.6.10 Adjusted p-values. . . . . . . . . . . . . . . . . . . . . 67
2.6.11 Simultaneous confidence intervals . . . . . . . . . . . . 70
2.7 Parametric multiple testing procedures . . . . . . . . . . . . 73
2.7.1 Single-step Dunnett procedure . . . . . . . . . . . . . 74
2.7.2 Stepwise Dunnett procedures . . . . . . . . . . . . . . 75
2.7.3 Extended Shaffer-Royenprocedure . . . . . . . . . . . 78
2.7.4 Adjusted p-values and simultaneous confidence intervals 78
2.7.5 Multiple comparisons in general linear models . . . . . 81
2.8 Resampling-based multiple testing procedures . . . . . . . . 82
2.8.1 Closed resampling-based procedures . . . . . . . . . . 83
2.8.2 Step-down Dunnett procedures based on parametric
and nonparametric resampling . . . . . . . . . . . . . 85
2.8.3 Step-down resampling-based procedures for multivari-
ate linear models . . . . . . . . . . . . . . . . . . . . . 88
2.8.4 Permutation-basedprocedures . . . . . . . . . . . . . 90
2.9 Software implementation . . . . . . . . . . . . . . . . . . . . 94
2.9.1 Multiple comparisonprocedures in SAS . . . . . . . . 94
2.9.2 Multiple comparisonprocedures in R . . . . . . . . . . 95
© 2010 by Taylor and Francis Group, LLC
vii
3 Multiple Testing in Dose-Response Problems 99
Frank Bretz, Ajit C. Tamhane, and Jos´e Pinheiro
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
3.2 Dose-response trend tests . . . . . . . . . . . . . . . . . . . . 101
3.2.1 Notation. . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.2.2 Contrast tests . . . . . . . . . . . . . . . . . . . . . . . 102
3.2.3 Multiple contrast tests for general linear models . . . 104
3.2.4 Thalidomide study example . . . . . . . . . . . . . . . 105
3.3 Target dose estimation using multiple hypothesis testing . . 109
3.3.1 Estimation of the minimum effective dose . . . . . . . 111
3.3.2 Estimation of the maximum safe dose . . . . . . . . . 115
3.4 Power and sample size calculation for target dose estimation 117
3.5 Hybrid approaches combining multiple testing and modeling 118
3.5.1 Modeling techniques . . . . . . . . . . . . . . . . . . . 119
3.5.2 MCP-Mod: An integrated dose-finding approach com-
bining multiple comparisons and modeling . . . . . . . 121
3.5.3 Asthma dose-finding trial . . . . . . . . . . . . . . . . 125
4 Analysis of Multiple Endpoints in Clinical Trials 131
Ajit C. Tamhane and Alex Dmitrienko
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.2 Inferential goals . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.2.1 At-least-one procedures . . . . . . . . . . . . . . . . . 133
4.2.2 Global procedures . . . . . . . . . . . . . . . . . . . . 134
4.2.3 All-or-none procedures . . . . . . . . . . . . . . . . . . 135
4.2.4 Superiority-noninferiority procedures . . . . . . . . . . 135
4.3 At-least-one procedures . . . . . . . . . . . . . . . . . . . . . 136
4.3.1 Procedures based on univariate p-values . . . . . . . . 136
4.3.2 Parametric and resampling-basedprocedures . . . . . 143
4.4 Global testing procedures . . . . . . . . . . . . . . . . . . . . 147
4.4.1 Normal theory model . . . . . . . . . . . . . . . . . . 147
4.4.2 OLS and GLS procedures . . . . . . . . . . . . . . . . 148
4.4.3 Likelihood ratio and other procedures . . . . . . . . . 153
4.4.4 Procedures for individual endpoints . . . . . . . . . . 155
4.5 All-or-none procedures . . . . . . . . . . . . . . . . . . . . . 157
4.6 Superiority-noninferiority procedures . . . . . . . . . . . . . 159
4.7 Software implementation . . . . . . . . . . . . . . . . . . . . 163
5 Gatekeeping Procedures in Clinical Trials 165
Alex Dmitrienko and Ajit C. Tamhane
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2 Motivating examples . . . . . . . . . . . . . . . . . . . . . . 166
5.2.1 Clinical trials with serial gatekeepers . . . . . . . . . . 167
5.2.2 Clinical trials with parallel gatekeepers. . . . . . . . . 168
5.2.3 Clinical trials with tree-structured gatekeepers . . . . 170
© 2010 by Taylor and Francis Group, LLC
viii
5.3 Serial gatekeeping procedures . . . . . . . . . . . . . . . . . . 171
5.3.1 General serial gatekeeping framework . . . . . . . . . 172
5.3.2 Serial gatekeeping procedures with a single decision-
making branch . . . . . . . . . . . . . . . . . . . . . . 173
5.3.3 Serial gatekeeping procedures with multiple decision-
making branches . . . . . . . . . . . . . . . . . . . . . 175
5.3.4 Other serial gatekeeping procedures . . . . . . . . . . 176
5.4 Parallel gatekeeping procedures . . . . . . . . . . . . . . . . 177
5.4.1 General parallel gatekeeping framework . . . . . . . . 177
5.4.2 Multistage parallel gatekeeping procedures . . . . . . 178
5.4.3 Cardiovascular clinical trial example . . . . . . . . . . 182
5.5 Tree gatekeeping procedures . . . . . . . . . . . . . . . . . . 186
5.5.1 General tree gatekeeping framework . . . . . . . . . . 186
5.5.2 Combination-therapy clinical trial example . . . . . . 188
5.6 Software implementation . . . . . . . . . . . . . . . . . . . . 189
6 Adaptive Designs and Confirmatory Hypothesis Testing 193
Willi Maurer, Michael Branson, and Martin Posch
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
6.2 Basic principles and methods of error rate control . . . . . . 196
6.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . 196
6.2.2 Causes of multiplicity and bias in adaptive designs . . 196
6.2.3 Repeated hypothesis testing at interim analyses in
group sequential designs . . . . . . . . . . . . . . . . 197
6.2.4 Adaptation of design features: Sample size . . . . . . . 200
6.2.5 Multiple hypothesis selection and testing in adaptive
designs . . . . . . . . . . . . . . . . . . . . . . . . . . 204
6.3 Principles of adaptive testing procedures . . . . . . . . . . . 210
6.3.1 Combination test principle . . . . . . . . . . . . . . . 211
6.3.2 Conditional error principle . . . . . . . . . . . . . . . 212
6.4 Adaptive multiple testing procedures . . . . . . . . . . . . . 214
6.4.1 Adaptive closed tests . . . . . . . . . . . . . . . . . . 214
6.4.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . 218
6.5 Case studies . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
6.5.1 Treatment selection design . . . . . . . . . . . . . . . 220
6.5.2 Subpopulation selection design . . . . . . . . . . . . . 229
6.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
7 Design and Analysis of Microarray Experiments for
Pharmacogenomics 239
Jason C. Hsu, Youlan Rao, Yoonkyung Lee, Jane Chang, Kristin
Bergsteinsdottir, Magnus Karl Magnu´sson, Tao Wang, and Eirikur
Steingr´ımsson
7.1 Potential uses of biomarkers . . . . . . . . . . . . . . . . . . 239
7.2 Clinical uses of genetic profiling . . . . . . . . . . . . . . . . 240
© 2010 by Taylor and Francis Group, LLC
ix
7.3 Two stages of pharmacogenomic development . . . . . . . . 241
7.4 Multiplicity in pharmacogenomics . . . . . . . . . . . . . . . 243
7.4.1 Multiplicity of genes . . . . . . . . . . . . . . . . . . . 244
7.4.2 Multiplicity of subgroups . . . . . . . . . . . . . . . . 248
7.5 Designing pharmacogenomic studies . . . . . . . . . . . . . . 250
7.5.1 Control for platform change using external reference
sample . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
7.5.2 Design to discover group differences . . . . . . . . . . 250
7.5.3 Permutation tests may not control error rates . . . . . 254
7.6 Analyzing microarraydata by modeling . . . . . . . . . . . . 255
7.7 A proof of concept experiment . . . . . . . . . . . . . . . . . 257
7.8 Software implementation . . . . . . . . . . . . . . . . . . . . 262
7.8.1 SAS procedures . . . . . . . . . . . . . . . . . . . . . . 262
7.8.2 R Functions . . . . . . . . . . . . . . . . . . . . . . . . 263
Bibliography 265
© 2010 by Taylor and Francis Group, LLC