Table Of ContentМИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ
УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ МИНЕРАЛЬНО-СЫРЬЕВОЙ УНИВЕРСИТЕТ
«ГОРНЫЙ»»
Кафедра «Системного анализа и управления»
«Введение в программирование на гибридных суперкомпьютерах по
технологии Nvidia CUDA»
Учебное пособие
для студентов всех форм обучения по дисциплине «ОПЕРАЦИОННЫЕ
СИСТЕМЫ» обучающихся: по направлениям
220400.62 «Управление в технических системах»,
220201.65 «Управление и информатика в технических системах»
Санкт - Петербург
2014 г.
3
УДК 681.5+32.973.26-018.2
ББК 32.965+004.4
Автор:
к.т.н., ст. преподаватель САиУ НМСУ «Горный» Ю. В. Ильюшин
Дизайн обложки: Ю.В. Ильюшин
Введение в программирование на гибридных суперкомпьютерах по
И 49 технологии Nvidia CUDA: учебное пособие // Ю.В. Ильюшин. Изд-во:
СатисЪ, СПб., 2014. 73 с.
Рецензенты:
Першин И.М. (СКФУ) д.т.н., профессор;
Чернышев А.Б. (ПГГТУ) д.т.н., доцент;
Учебное пособие для изучения основ программирования на расширении
языка С Nvidia CUDA для применения его в параллельных алгоритмах
выполняемых на графических процессорах. Пособие расчитано на
начинающего пользователя, но имеющего представление о программировании
на языке С/С++. Задачи приводимые в данном пособии не показывают
огромного роста производительности гибридных суперкомпьютеров, а
показывают как производить выполнение самых простых задач, таких как
обработка массивов, различного рода операции с числами и т.д. Данное
пособие распростроняеться бесплатно. Не подлежит продажи.
ISBN 978-5-905853-01-2
© Ильюшин Ю.В. 2014 г.
4
Содержание
Введение 6
Глава 1. Теоретические основы Nvidia CUDA 11
1.1. Установка 11
1.2. Основные определения и структура памяти 16
1.3. Типы данных 23
1.4. Встроенные переменные 24
1.5. Директива запуска ядра 25
1.6. Вычисление числа Пи 27
1.7. Замер времени в CUDA 30
Глава 2. Практическая часть 31
Лабораторная работа № 1. Первая программа на CUDA 31
Лабораторная работа № 2. Сложение двух чисел. 37
Лабораторная работа № 3. Сумма элементов одномерного массива 41
Лабораторная работа № 4. Сложение двух одномерных массивов 43
Лабораторная работа № 5. Умножение двух двухмерных массивов 45
Лабораторная работа № 6. Создание консольного калькулятора 49
Лабораторная работа № 7. Вычисление функции sin (x) 52
Лабораторная работа № 8. Переназначение двухмерного массива 54
Лабораторная работа № 9. Расчет температурного поля 56
Лабораторная работа № 10. Опрос технических характеристик видеокарты 59
Заключение 62
Список дополнительной и рекомендованной литературы 68
Приложение 1. Структура файла book.h 69
5
Введение
Устройства для превращения персональных компьютеров в маленькие
суперкомпьютеры известны довольно давно. Ещё в 80-х годах прошлого века
на рынке предлагались так называемые транспьютеры, которые вставлялись в
распространенные тогда слоты расширения ISA. Первое время их
производительность в соответствующих задачах впечатляла, но затем рост
быстродействия универсальных процессоров ускорился, они усилили свои
позиции в параллельных вычислениях, и смысла в транспьютерах не осталось.
Хотя подобные устройства существуют и сейчас — это разнообразные
специализированные ускорители. Но зачастую сфера их применения узка и
особого распространения такие ускорители не получили.
В последнее время эстафета параллельных вычислений перешла к
массовому рынку, так или иначе связанному с трёхмерными играми.
Универсальные устройства с многоядерными процессорами для параллельных
векторных вычислений, используемых в 3D-графике, достигают высокой
пиковой производительности, которая универсальным процессорам не под
силу. Конечно, максимальная скорость достигается лишь в ряде удобных задач
и имеет некоторые ограничения, но такие устройства уже начали довольно
широко применять в сферах, для которых они изначально и не
предназначались. Отличным примером такого параллельного процессора
является процессор Cell, разработанный альянсом Sony-Toshiba-IBM и
применяемый в игровой приставке Sony PlayStation 3, а также и все
современные видеокарты от лидеров рынка — компаний NVIDIA и AMD.
Для 3D видеоускорителей ещё несколько лет назад появились первые
технологии неграфических расчётов общего назначения GPGPU (General-
Purpose computation on GPUs). Так как современные видеочипы содержат сотни
математических исполнительных блоков, и эта мощь может использоваться для
значительного ускорения множества вычислительно интенсивных приложений.
И нынешние поколения GPU обладают достаточно гибкой архитектурой, что
6
вместе с высокоуровневыми языками программирования и программно-
аппаратными архитектурами, раскрывает эти возможности и делает их
значительно более доступными.
На создание GPCPU разработчиков побудило появление достаточно
быстрых и гибких шейдерных программ, которые способны исполнять
современные видеочипы. Разработчики задумали сделать так, чтобы GPU
рассчитывали не только изображение в 3D приложениях, но и применялись в
других параллельных расчётах. В GPGPU для этого использовались
графические API: OpenGL и Direct3D, когда данные к видеочипу передавались
в виде текстур, а расчётные программы загружались в виде шейдеров.
Недостатками такого метода является сравнительно высокая сложность
программирования, низкая скорость обмена данными между CPU и GPU и
другие ограничения.
Вычисления на GPU развивались и развиваются очень быстро. И в
дальнейшем, два основных производителя видеочипов, NVIDIA и AMD,
разработали и анонсировали соответствующие платформы под названием
CUDA (Compute Unified Device Architecture) и CTM (Close To Metal или AMD
Stream Computing), соответственно. В отличие от предыдущих моделей
программирования GPU, эти были выполнены с учётом прямого доступа к
аппаратным возможностям видеокарт. Платформы не совместимы между
собой, CUDA — это расширение языка программирования C, а CTM —
виртуальная машина, исполняющая ассемблерный код. Зато обе платформы
ликвидировали некоторые из важных ограничений предыдущих моделей
GPGPU, использующих традиционный графический конвейер и
соответствующие интерфейсы Direct3D или OpenGL. Конечно же, открытые
стандарты, использующие OpenGL, кажутся наиболее портируемыми и
универсальными, они позволяют использовать один и тот же код для
видеочипов разных производителей. Но у таких методов есть масса
недостатков, они значительно менее гибкие и не такие удобные в
использовании. Кроме того, они не дают использовать специфические
7
возможности определённых видеокарт, такие, как быстрая разделяемая (общая)
память, присутствующая в современных вычислительных процессорах.
Именно поэтому компания NVIDIA выпустила платформу CUDA — C-
подобный язык программирования со своим компилятором и библиотеками для
вычислений на GPU. Конечно же, написание оптимального кода для
видеочипов совсем не такое простое и эта задача нуждается в длительной
ручной работе, но CUDA как раз и раскрывает все возможности и даёт
программисту больший контроль над аппаратными возможностями GPU.
Важно, что поддержка NVIDIA CUDA есть у чипов G8x, G9x и GT2xx,
применяемых в видеокартах GeForce серий 8, 9, 10 и 200, которые очень
широко распространены. В настоящее время выпущена финальная версия
CUDA 5.5, в которой появились некоторые новые возможности, например,
поддержка расчётов с двойной точностью. CUDA доступна на 32-битных и 64-
битных операционных системах Linux, Windows и MacOS X.
Разработка CUDA была анонсирована вместе с чипом G80 в ноябре 2006,
а релиз публичной бета-версии CUDA SDK состоялся в феврале 2007 года.
Версия 1.0 вышла в июне 2007 года под запуск в продажу решений Tesla,
основанных на чипе G80, и предназначенных для рынка
высокопроизводительных вычислений. Затем, в конце года вышла бета-версия
CUDA 1.1, которая, несмотря на малозначительное увеличение номера версии,
ввела довольно много нового.
Из появившегося в CUDA 1.1 можно отметить включение CUDA-
функциональности в обычные видеодрайверы NVIDIA. Это означало, что в
требованиях к любой CUDA программе достаточно было указать видеокарту
серии GeForce 8 и выше, а также минимальную версию драйверов 169.xx. Это
очень важно для разработчиков, при соблюдении этих условий CUDA
программы будут работать у любого пользователя. Также было добавлено
асинхронное выполнение вместе с копированием данных (только для чипов
G84, G86, G92 и выше), асинхронная пересылка данных в видеопамять,
8
атомарные операции доступа к памяти, поддержка 64-битных версий Windows
и возможность мультичиповой работы CUDA в режиме SLI.
Бета-версия CUDA 2.0, была выпущена весной 2008 года. Во второй
версии появились: поддержка вычислений двойной точности (аппаратная
поддержка только у GT200), наконец-то поддерживается Windows Vista (32 и
64-битные версии) и Mac OS X, добавлены средства отладки и
профилирования, поддерживаются 3D текстуры, оптимизированная пересылка
данных. Что касается вычислений с двойной точностью, то их скорость на
текущем аппаратном поколении ниже одинарной точности в несколько раз.
Реализация в GT200 этой поддержки заключается в том, блоки FP32 не
используются для получения результата в четыре раза меньшем темпе, для
поддержки FP64 вычислений в NVIDIA решили сделать выделенные
вычислительные блоки. И в GT200 их в десять раз меньше, чем блоков FP32 (по
одному блоку двойной точности на каждый мультипроцессор).
Реально производительность может быть даже ещё меньше, так как
архитектура оптимизирована для 32-битного чтения из памяти и регистров,
кроме того, двойная точность не нужна в графических приложениях, и в GT200
она сделана скорее, чтобы просто была. Да и современные четырехъядерные
процессоры показывают не намного меньшую реальную производительность.
Но будучи даже в 10 раз медленнее, чем одинарная точность, такая поддержка
полезна для схем со смешанной точностью. Одна из распространенных техник
— получить изначально приближенные результаты в одинарной точности, и
затем их уточнить в двойной. Теперь это можно сделать прямо на видеокарте,
без пересылки промежуточных данных к CPU.
Ещё одна полезная особенность CUDA 2.0 не имеет отношения к GPU,
как ни странно. Просто теперь можно компилировать код CUDA в
высокоэффективный многопоточный SSE код для быстрого исполнения на
центральном процессоре. То есть, теперь эта возможность годится не только
для отладки, но и реального использования на системах без видеокарты
NVIDIA. Ведь использование CUDA в обычном коде сдерживается тем, что
9
видеокарты NVIDIA хоть и самые популярные среди выделенных
видеорешений, но имеются не во всех системах. И до версии 2.0 в таких
случаях пришлось бы делать два разных кода: для CUDA и отдельно для CPU.
А теперь можно выполнять любую CUDA программу на CPU с высокой
эффективностью, пусть и с меньшей скоростью, чем на видеочипах.
22 марта 2010 года nVidia выпустила CUDA Toolkit 3.0, который
содержал поддержку OpenCL.
На 2014 год актуальной версией являеться версия CUDA 5.5
Однако такого рода задачи требуют совершенно нового подхода к
программированию. Методическое пособие ставит задачу обучения студентов
программированию на языке С с учетом расширения его на программирование
графических процессоров. Он расчитан на начинающего пользователя, но
имеющего представление о программировании на языке С/С++. Задачи
приводимые в данном практикуме не показывают огромного роста
производительности гибридных суперкомпьютеров, а показывают как
производить выполнение самых простых задач, таких как обработка массивов,
различного рода операции с числами и т.д. [1]
10
Глава 1. Теоретические основы Nvidia CUDA
1.1. Установка
CUDA (Compute Unified Device Architecture) – это архитектура
параллельных вычислений от NVIDIA, позволяющая существенно увеличить
вычислительную производительность благодаря использованию GPU
(графических процессоров). Платформа параллельных вычислений CUDA®
обеспечивает набор расширений для языков C и С++, позволяющих выражать
как параллелизм данных, так и параллелизм задач на уровне мелких и крупных
структурных единиц. Программист может выбрать средства разработки: языки
высокого уровня, такие как C, C++, Fortran или же открытые стандарты, такие
как директивы OpenACC.
В рамках наших задач мы будем использовать язык программироания С.
Для его установки и получения возможности программирования на языке
CUDA необходимо произвести его установку в ситему и подключение к среде
разработки. Рассмотрим все по порядку. Сначала необходимо установить в
компьютер видеокарту с чипсетом от nvidia с поддержкой технологии CUDA
(списко видеокарт с поддержкой CUDA приведен
https://developer.nvidia.com/cuda-gpus ). Далее необходимо скачать из интернета
и установить:
1. Microsoft Visual Studio 2005/2008
Среда разработки Visual Studio представляет собой полный набор
инструментов для создания как настольных приложений, так и корпоративных
веб-приложений для совместной работы групп. Используя эффективные
инструменты разработки Visual Studio, основанные на использовании
компонентов, и другие технологии, можно не только создавать эффективно
работающие настольные приложения, но и упрощать совместное
проектирование, разработку и развертывание корпоративных решений.
11
С какой целью выбираеться именно 2005/2008 вместо скажем 2013 версии
скажем позднее. Скачивать для тестирования лучше всего официальную MSDN
версию на 90 дней. Этого периода вполне хватит для базового ознакомление с
технологией программирования CUDA. А в случае если будет необходимо
дальнейшее развертывание можно приобрести лицензию. Скачать эту версию
возможно, как саита microsoft (msdn.microsoft.com), так и с любого торент
трекера версия MSDN распространяеться бесплатно (см. Рисунок 1).
Рисунок 1 – Внешний вид среды Microsoft Visual Studio Ru
Далее с официального сайта Nvidia скачиваем собственно среду
компиляции и исполнения.
2. CUDA 5.5 PRODUCTION RELEASE
Для скачивания необходимо выбирать версию которая необходима для
вашей операционной системы (Windows / linux; 32/64 бит). Как показано на
рисунке 2.
И устанавливаеться в систему с параметрами по умолчанию. В том числе
с соглашением о том, что в данный момент к вам в систему будут скачаны и
установлены самые последние драйвера от компании Nvidia.
12
