Основы работы с технологией параллельных вычислений CUDA: Учебное пособие

78 Pages·2020·3.803 MB·Russian

by  Коллектив авторов

5858
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
РЯЗАНСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
им. В.Ф. УТКИНА

ОСНОВЫ РАБОТЫ С ТЕХНОЛОГИЕЙ
ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ CUDA

Учебное пособие

Рязань 2020
УДК 004.042
Основы работы с технологией параллельных вычислений
CUDA: учебное пособие / Рязан. гос. радиотехн. ун-т; сост.:
С.И. Елесина. – Рязань, 2020. – 80 с.
Рассматриваются основы программирования с использованием
технологии CUDA. Приводится теоретический материал и примеры
реализации.
Предназначены для студентов, обучающихся по направлению
02.03.03 уровня бакалавриата и 09.04.01 уровня магистратуры.
Табл 4. Ил. 46. Библиогр.: 5 назв.

Программно-аппаратная архитектура параллельных вычислений
CUDA,, графический процессор общего назначения, гетерогенная
вычислительная система

Печатается по решению редакционно-издательского совета
Рязанского государственного радиотехнического университета.

Рецензент: кафедра электронных вычислительных машин
Рязанского государственного радиотехнического университета
(зав. кафедрой Б.В. Костров)

Основы работы
с технологией параллельных вычислений CUDA

Е л е с и н а Светлана Ивановна

Рязанский государственный радиотехнический университет.
390005, Рязань, ул. Гагарина, 59/1.
Редакционно-издательский центр РГРТУ.

2
ВВЕДЕНИЕ
В последнее время эстафета параллельных вычислений перешла к массовому
рынку, так или иначе связанному с трёхмерными играми. Универсальные
устройства с многоядерными процессорами для параллельных векторных
вычислений, используемых в 3D-графике, достигают высокой пиковой
производительности, которая универсальным процессорам не под силу.
Конечно, максимальная скорость достигается лишь в ряде удобных задач и
имеет некоторые ограничения, но такие устройства уже начали довольно
широко применять в сферах, для которых они изначально и не
предназначались. Отличным примером такого параллельного процессора
являются все современные видеокарты от лидеров рынка — компаний
NVIDIA и AMD.
Для 3D видеоускорителей ещё несколько лет назад появились первые
технологии неграфических расчётов общего назначения GPGPU (General-
Purpose computation on GPUs). Современные видеочипы содержат сотни
математических исполнительных блоков, и эта мощь может использоваться
для значительного ускорения множества вычислительно интенсивных
приложений.
Разработчики задумали сделать так, чтобы GPU рассчитывали не только
изображение в 3D приложениях, но и применялись в других параллельных
расчётах. В GPGPU для этого использовались графические API: OpenGL и
Direct3D. Вычисления на GPU развивались и развиваются очень быстро. И в
дальнейшем, два основных производителя видеочипов, NVIDIA и AMD,
разработали и анонсировали соответствующие платформы под названием
CUDA (Compute Unified Device Architecture) и CTM (Close To Metal или
AMD Stream Computing), соответственно. В отличие от предыдущих моделей
программирования GPU, эти были выполнены с учётом прямого доступа к
аппаратным возможностям видеокарт. Платформы не совместимы между
собой, CUDA — это расширение языка программирования C со своим
компилятором и библиотеками для вычислений на GPU, а CTM —
виртуальная машина, исполняющая ассемблерный код. Зато обе платформы
ликвидировали некоторые из важных ограничений предыдущих моделей
GPGPU. CUDA доступна на 32-битных и 64-битных операционных системах
Linux, Windows и MacOS X.

3
1. ОТЛИЧИЯ МЕЖДУ CPU и GPU
Основные различия между архитектурами CPU и GPU:
1. Предназначение ядра. Ядра CPU созданы для исполнения одного
потока последовательных инструкций с максимальной производительностью,
а GPU проектируются для быстрого исполнения большого числа параллельно
выполняемых потоков инструкций.
2. Работа ядра. У видеочипов работа простая и распараллеленная
изначально и из-за этого в GPU используется большое количество
исполнительных блоков, которые легко загрузить, в отличие от
последовательного потока инструкций для CPU.
3. Доступ к памяти. В GPU он связанный и легко предсказуемый — если
из памяти читается пиксель текстуры, то через некоторое время придёт время
и для соседних пикселей. Для записи аналогично. Видеочипу, в отличие от
универсальных процессоров, не нужна кэш-память большого размера, а для
текстур требуются лишь несколько до 128-256 килобайт.
4. Работа с памятью. Не все ЦП имеют встроенные контроллеры памяти,
а у всех GPU обычно есть по несколько контроллеров (до восьми 64-битных
каналов в чипе NVIDIA GT20). На видеокартах применяется более быстрая
память, и в результате видеочипам доступна в разы большая пропускная
способность памяти, что важно для параллельных расчётов, оперирующих с
огромными потоками данных.
5. Организация кэширование. Универсальные центральные процессоры
используют кэш-память для увеличения производительности за счёт
снижения задержек доступа к памяти, а GPU используют кэш или общую
память для увеличения полосы пропускания. CPU снижают задержки доступа
к памяти при помощи кэш-памяти большого размера, а также предсказания
ветвлений кода. Эти аппаратные части занимают большую часть площади
чипа и потребляют много энергии. Видеочипы обходят проблему задержек
доступа к памяти при помощи одновременного исполнения тысяч потоков —
в то время, когда один из потоков ожидает данных из памяти, видеочип
может выполнять вычисления другого потока без ожидания и задержек.
6. Организация многопоточности. CPU исполняет 1-2 потока
вычислений на одно процессорное ядро, а видеочипы могут поддерживать до
1024 потоков на каждый мультипроцессор, которых в чипе несколько штук.
И если переключение с одного потока на другой для CPU стоит сотни тактов,
то GPU переключает несколько потоков за один такт.
7. ЦП используют SIMD (одна инструкция выполняется над
многочисленными данными) блоки для векторных вычислений, а видеочипы
4
применяют SIMT (одна инструкция и несколько потоков) для скалярной
обработки потоков. SIMT не требует, чтобы разработчик преобразовывал
данные в векторы, и допускает произвольные ветвления в потоках.
8. В отличие от современных универсальных CPU, видеочипы
предназначены для параллельных вычислений с большим количеством
арифметических операций. И значительно большее число транзисторов GPU
работает по прямому назначению — обработке массивов данных, а не
управляет исполнением (flow control) немногочисленных последовательных
вычислительных потоков. Схема того, сколько места в CPU и GPU занимает
разнообразная логика представлена на рис. 1.

Рисунок 1 – Логика в CPU и GPU
В итоге, основой для эффективного использования мощи GPU в научных и
иных неграфических расчётах является распараллеливание алгоритмов на
сотни исполнительных блоков, имеющихся в видеочипах.
2. СОСТАВ NVIDIA CUDA
CUDA предоставляет в распоряжение программиста ряд функций, которые
могут быть использованы только CPU (так называемый CUDA host АРI). Эти
функции отвечают за:
 управление GPU;
 работу с контекстом;
 работу с памятью;
 работу с модулями;
 управление выполнением кода;
 работу с текстурами;
 взаимодействие с OpenGL и Direct3D.

5
CUDA АРI для CPU (host АРI) выступает в двух формах:
 низкоуровневый CUDA driver API;
 высокоуровневый CUDA runtime АРI (реализованный через CUDA
driver АРI).
Эти АРI являются взаимоисключающими – в своей программе вы можете
работать только с одним из них.
На рис. 2 приведены различные уровни программно-аппаратного стека
CUDA. Как видно, все взаимодействие с GPU происходит только через
драйвер устройства. Над ним находятся CUDA driver АРI, CUDA runtime АРI
и СUDА библиотеки.
Программа может взаимо-действовать с верхними уровнями через CUDA
driver
API, CUDA runtime АРI и библиотеки (на данный момент это библиотеки
CUFFT, CUBLAS и CUDPP), имеющие свои API.

Рисунок 2 – Программный стек CUDA
Высокоуровневый работает «сверху» низкоуровневого, все вызовы runtime
транслируются в простые инструкции, обрабатываемые низкоуровневым
Driver API. Но даже «высокоуровневый» API предполагает знания об
устройстве и работе видеочипов NVIDIA, слишком высокого уровня
абстракции там нет.
6
3. ОСНОВНЫЕ ПОНЯТИЯ И ОСОБЕННОСТИ CUDA
Хост (Host) – центральный процессор, который управляет выполнением
программы.
Устройство (Device) – видеокарта, являющаяся сопроцессором к
центральному процессору (хосту).
Ядро (Kernel) – параллельная часть алгоритма, выполняется на гриде.
Грид (Grid) – объединение блоков, которые выполняются на одном
устройстве.
Блок (Block) – объединение потоков, которое выполняется целиком на
одном потоковом мультипроцессоре – SM. Имеет свой уникальный
идентификатор внутри грида.
Тред (Thread) – единица выполнения программы. Имеет свой уникальный
идентификатор внутри блока.
Варп (Warp) – 32 последовательно идущих треда, выполняется физически
одновременно.
4. ОСНОВЫ СОЗДАНИЯ ПРОГРАММ НА CUDA
Первым шагом при переносе существующего приложения на CUDA является
его профилирование и определение участков кода, являющихся
«бутылочным горлышком», тормозящим работу. Если среди таких участков
есть подходящие для быстрого параллельного исполнения, эти функции
переносятся на Cи расширения CUDA для выполнения на GPU.
Программа компилируется при помощи поставляемого NVIDIA
компилятора, который генерирует код и для CPU, и для GPU. При
исполнении программы, центральный процессор выполняет свои порции
кода, а GPU выполняет CUDA код с наиболее тяжелыми параллельными
вычислениями. Эта часть, предназначенная для GPU, называется ядром
(kernel). В ядре определяются операции, которые будут исполнены над
данными.
Видеочип получает ядро и создает копии для каждого элемента данных. Эти
копии называются потоками (thread). Поток содержит счётчик, регистры и
состояние. Для больших объёмов данных, таких как обработка изображений,
запускаются миллионы потоков.
Типичный, но не обязательный шаблон решения задач:
 задача разбивается на подзадачи (рис. 3);
 входные данные делятся на блоки, которые вмещаются в
разделяемую память;
 каждый блок обрабатывается блоком потоков;
7
 подблок подгружается в разделяемую память из глобальной памяти;
 над данными в разделяемой памяти проводятся соответствующие
вычисления;
 результаты копируются из разделяемой памяти обратно в
глобальную память.

Рисунок 3 – Разбиение задачи на набор независимо решаемых подзадач
Поскольку все нити блока выполняются физически одновременно, то для их
взаимного согласования необходим механизм синхронизации. Для этой цели
в CUDA предусмотрен вызов _syncthreads(), который блокирует
дальнейшее исполнение кода ядра до тех пор, пока все нити блока не войдут
в эту функцию (рис. 4).

Рисунок 4 – Барьерная синхронизация

8
5. МОДЕЛЬ ПРОГРАММИРОВАНИЯ CUDA
Классический подход к параллельным вычислениям (OpenMP, MPI)
заключается в разбиении исходной задачи на максимально независимые
участки, каждый из которых считается в самостоятельном потоке (OpenMP,
MPI) или даже самостоятельном процессе операционной системы. Причем,
чаще всего количество потоков равно количеству ядер, задействованных под
расчет. В CUDA подход к параллелизму значительно отличается, частично
это связано с изначальной настроенностью на работу с общей памятью,
частично связано с низкой стоимостью создания потока. Количество потоков
не привязано напрямую к количеству вычислительных ядер, мало того, число
потоков обычно в разы превосходит его. Модель программирования в CUDA
предполагает группирование потоков. Потоки объединяются в блоки потоков
(thread block) — одномерные или двумерные сетки потоков,
взаимодействующих между собой при помощи разделяемой памяти и точек
синхронизации. Программа (ядро, kernel) исполняется над сеткой (grid)
блоков потоков (thread blocks). Одновременно исполняется одна сетка.
Каждый блок может быть одно-, двух- или трехмерным по форме, и может
состоять из 512 потоков на текущем аппаратном обеспечении (рис. 5).
Если в блоке число тредов не кратно 32, каждый из блоков будет независимо
разбит на варпы по 32 треда, а последний будет иметь меньшее число тредов,
что иногда может сильно повлиять на скорость работы (рис. 6).

Рисунок 5 – Иерархия нитей CUDA
9
Рисунок 6 – Вычислительная конфигурация грида
Группировка блоков в сетки позволяет уйти от ограничений и применить
ядро к большему числу потоков за один вызов. Это помогает и при
масштабировании. Если у GPU недостаточно ресурсов, он будет выполнять
блоки последовательно. В обратном случае, блоки могут выполняться
параллельно, что важно для оптимального распределения работы на
видеочипах разного уровня, начиная от мобильных и интегрированных.
Ограничения, накладываемые на размеры грида и блока, определяются
вычислительной мощностью графического процессора. Некоторые
приведены в табл/ 1.
Таблица 1 – Ограничения на размер грида и блока
Грид Блок
X 65536 512
Y 65536 512
Z 1 64
Всего 4294967296 512
10