Увеличение производительности за счёт многоядерности. Среди данных систем можно выделить

Для информационной индустрии начало XXI века совпало со сдвигами, которые можно охарактеризовать как «тектонические». К признакам новой эпохи стоит отнести использование сервис-ориентированных архитектур (service-oriented architecture, SOA), кластерных конфигураций и многого-многого другого, в том числе многоядерных процессоров. Но, разумеется, фундаментальная причина происходящего - развитие физики полупроводников, следствием которого стало увеличение числа логических элементов на единицу площади, подчиняющееся закону Гордона Мура. Количество транзисторов на кристалле уже исчисляется сотнями миллионов и скоро преодолеет миллиардный рубеж, в результате чего неизбежно проявляется действие известного закона диалектики, постулирующего взаимосвязь количественных и качественных изменений. В изменившихся условиях на первый план выходит новая категория - сложность , причем системы становятся сложными и на микроуровне (процессоры) и на макроуровне (корпоративные информационные системы).

В какой-то мере происходящее в современном компьютерном мире можно уподобить эволюционному переходу, произошедшему миллионы лет назад, когда появились многоклеточные организмы. К тому моменту сложность одной клетки достигла определенного предела, и последующая эволюция пошла по пути развития инфраструктурной сложности. То же самое происходит и с компьютерными системами: сложность одного ядра процессора, равно как и монолитной архитектуры корпоративных информационных систем достигла определенного максимума. Теперь на макроуровне осуществляется переход от монолитных систем к компонентным (или составленным из сервисов), а внимание разработчиков фокусируется на инфраструктурном программном обеспечении промежуточного слоя, а на микроуровне появляются новые архитектуры процессоров.

Буквально в самое последнее время представление о сложности начало терять общеупотребительный смысл, превратившись в самостоятельный фактор. В этом отношении сложность еще не вполне осмыслена, а отношение к ней не вполне определено, хотя, как ни странно, уже почти 50 лет существует отдельная научная дисциплина, которая так и называется - «теория сложных систем». (Напомним, что в теории «сложной» называют систему, отдельные компоненты которой объединены нелинейным способом; такая система не является просто суммой компонентов, как бывает в линейных системах.) Можно лишь удивляться тому, что теория систем пока не воспринята теми специалистами и компаниями, деятельность которых приводит их к созданию этих сложных систем средствами информационных технологий.

«Бутылочное горло» архитектуры фон Неймана

На микроуровне аналогом перехода от одноклеточных организмов к многоклеточным может оказаться переход от одноядерных процессоров к многоядерным (Chip MultiProcessors, CMP). CMP дает одну из возможностей преодоления врожденной слабости современных процессоров - «бутылочного горла» архитектуры фон Неймана.

Вот что говорил Джон Бэкус на церемонии вручения ему Тьюринговской премии в 1977 году: «Что такое компьютер по фон Нейману? Когда 30 лет назад Джон фон Нейман и другие предложили свою оригинальную архитектуру, идея показалась элегантной, практичной и позволяющей упростить решение целого ряда инженерных и программистских задач. И хотя за прошедшее время условия, существовавшие на момент ее публикации, радикально изменились, мы отождествляем наши представления о компьютерах с этой старой концепций. В простейшем изложении фон-неймановский компьютер состоит из трех частей: это центральный процессор (CPU или ЦПУ), память и соединяющий их канал, который служит для обмена данными между CPU и памятью, причем маленькими порциями (лишь по одному слову). Я предлагаю назвать этот канал «бутылочным горлом фон Неймана». Наверняка должно быть менее примитивное решение, чем перекачивание огромного количества данных через «узкое бутылочное горло». Такой канал не только создает проблему для трафика, но еще и является «интеллектуальным бутылочным горлом», которое навязывает программистам «пословное» мышление, не позволяя рассуждать в более высоких концептуальных категориях».

Наибольшую известность Бэкусу принесло создание в середине 50-х годов языка Fortran, который в течение несколько последующих десятилетий был самым популярным средством создания расчетных программ. Но позже, видимо, Бэкус глубоко осознал его слабости и понял, что разработал «самый фон-неймановский язык» изо всех языков высокого уровня. Поэтому основной пафос его критики был обращен прежде всего к несовершенным методам программирования.

С момента произнесения Бэкусом его речи в программировании произошли заметные сдвиги, появились функциональные и объектно-ориентированные технологии, и с их помощью удалось преодолеть то, что Бэкус назвал «интеллектуальным фон-неймановским бутылочным горлом». Однако архитектурная первопричина данного явления, врожденная болезнь канала между памятью и процессором - его ограниченная пропускная способность - не исчезла, несмотря на прогресс в области технологии за прошедшие с тех пор 30 лет. С годами эта проблема постоянно усугубляется, поскольку скорость работы памяти растет гораздо медленнее, чем производительность процессоров, и разрыв между ними становится все больше .

Фон-неймановская архитектура компьютера не является единственно возможной. С точки зрения организации обмена командами между процессором и памятью все компьютеры можно разделить на четыре класса:

  • SISD (Single Instruction Single Data) - «один поток команд, один поток данных»»;
  • SIMD (Single Instruction Multiply Data) - один поток команд, много потоков данных;
  • MISD (Multiple Instruction Single Data) - много потоков команд, один поток данных;
  • MIMD (Multiple Instruction Multiple Data) - много потоков команд, много потоков данных.

Из этой классификации видно, что фон-неймановская машина является частным случаем, попадающим в категорию SISD. Возможные усовершенствования в рамках архитектуры SISD ограничиваются включением в нее конвейеров и других дополнительных функциональных узлов, а также использованием разных методов кэширования. Две другие категории архитектур (SIMD, в которую входят векторные процессоры, и конвейерные архитектуры MISD) были реализованы в нескольких проектах, но не стали массовыми. Если оставаться в рамках этой классификации, то единственной возможностью преодоления ограничений «бутылочного горла» остается развитие архитектур класса MIMD. В их рамках обнаруживается множество подходов: это могут быть и различные параллельные и кластерные архитектуры, и многопотоковые процессоры.

Еще несколько лет назад в силу технологических ограничений все многопотоковые процессоры строились на базе одного ядра, и такая многопотоковость была названа «одновременной» - Simultaneous MultiThreading (SMT) . А с появлением многоядерных процессоров появился альтернативный тип многопотоковости - Chip MultiProcessors (CMP) .

Особенности многопотоковых процессоров

Переход от простых однопотоковых процессоров к логически более сложным многопотоковым сопряжен с преодолением специфических, не встречавшихся прежде сложностей. Функционирование устройства, где процесс исполнения разбивается на агенты или потоки (threads) отличает две особенности:

  • принцип недетерминированности (indetermination principle) . В многопотоковом приложении процесс разбивается на взаимодействующие между собой потоки-агенты без заранее оговоренной определенности;
  • принцип неизвестности (uncertainty principle) . То, как именно ресурсы будут распределяться между потоками-агентами, также неизвестно заранее.

Из-за этих особенностей работа многопотоковых процессоров принципиально отличается от детерминированных вычислений по фон-неймановской схеме. В данном случае текущее состояние процесса нельзя определить как линейную функцию предшествующего состояния и поступивших на вход данных, хотя каждый из процессов можно рассматривать как фон-неймановскую микромашину. (В приложении к поведению потоков можно даже употребить термин «странность», используемый в квантовой физике.) Наличие этих особенностей приближает многопотоковый процессор к представлениям о сложной системе, но с чисто практической точки зрения понятно, что на уровне выполнения процессов ни о какой недетерминированности или неопределенности, а тем более о странности и речи быть не может. Корректно выполняемая программа не может быть странной.

В самом общем виде многопотоковый процессор состоит из двух типов примитивов. Первый тип - это ресурс, поддерживающий исполнение потока, который называют mutex (от Mutual Exclusion - «взаимное исключение»), а второй - события. То, как физически реализован тот или иной mutex, зависит от выбранной схемы - SMT или CMP. В любом случае выполнение процесса сводится к тому, что очередной поток захватываает mutex на время своего исполнения, а затем освобождает его. Если mutex занят одним потоком, то второй поток не может его заполучить. Конкретная процедура передачи полномочий на обладание mutex от одного потока другому может иметь случайный характер; она зависит от реализации управления, например, в определенной операционной системе. В любом случае управление должно быть построено так, чтобы ресурсы, состоящие из mutex, распределялись корректно и подавлялся эффект неопределенности.

События - это объекты (event), сигнализирующие о об изменении во внешней среде. Они могут переводить себя в режим ожидания до наступления иного события или сообщать о своем состоянии другому событию. Таким способом события могут взаимодействовать между собой, и при этом должна обеспечиваться преемственность данных между событиями. Ожидающий исполнения агент необходимо информировать о готовности данных для него. И как в распределении mutex должен подавляться эффект неопределенности, так при работе с событиями должен подавляться эффект неизвестности. Впервые схема SMT была реализована в процессорах Compaq Alpha 21464, а также в Intel Xeon MP и Itanium .

Логически CMP проще: здесь параллелизм обеспечивается тем, что каждый из потоков обрабатывается собственным ядром. Но если приложение не может быть разделено на потоки, то оно (при отсутствии специальных мер) обрабатывается одним ядром, и в таком случае общая производительность процессора ограничивается быстродействием одного ядра. На первый взгляд, процессор, построенный по схеме SMT, более гибок, а следовательно, эта схема предпочтительна. Но такое утверждение справедливо лишь при невысокой плотности размещения транзисторов. Если частота измеряется мегагерцами и число транзисторов в кристалле приближается к миллиарду, а задержки при передаче сигналов становятся большими, чем время переключения, то преимущества получает микроархитектура CMP, в которой связанные вычислительные элементы локализованы.

Однако физическое распараллеливание приводит к тому, что CMP не слишком эффективна при последовательных вычислениях. Для преодоления этого недостатка используется подход, получивший название «спекулятивная многопотоковость» (Speculative Multithreading). В русском языке слово «спекулятивный» имеет отрицательный смысловой оттенок, поэтому мы назовем такую многопотоковость «условной». Данный подход предполагает аппаратную или программную поддержку деления последовательного приложения на условные потоки, согласование их выполнения и интеграцию результатов в памяти .

Эволюция CMP

Первые массовые CMP-процессоры предназначались для серверного рынка. Вне зависимости от вендора они, в сущности, представляли собой два независимых суперскалярных процессора на одной подложке. Основная мотивация создания подобных конструкций состоит в уменьшении объема, с тем чтобы в одном конструктиве можно было «упаковывать» больше процессоров, повышая удельную мощность на единицу объема (что критически важно для современных центров обработки данных). Тогда на общем системном уровне достигается некоторая дополнительная экономия, поскольку процессоры, находящиеся на одном кристалле, используют общие системные ресурсы, такие как высокоскоростные коммуникации. Обычно между соседствующими процессорами имеется лишь общий системный интерфейс (рис. 1 , б).

Апологеты использования CMP-процессоров обосновывают дальнейшее (свыше двух) увеличение числа ядер особенностями серверной нагрузки, отличающей этот тип компьютеров от встроенных или предназначенных для массивных вычислений систем. От сервера требуется большая общая производительность, но задержка отдельного обращения к системе является не столь критичной. Тривиальный пример: пользователь может просто не заметить миллисекундную задержку появления обновленной Web-страницы, но весьма болезненно реагирует на перегрузку сервера, которая может стать причиной перебоев в обслуживании.

Специфика нагрузки дает CMP-процессорам еще одно заметное преимуществ. Скажем, заменяя одноядерный процессор двухъядерным, можно при той же производительности вдвое уменьшить тактовую частоту. При этом теоретически время обработки отдельного запроса может возрасти вдвое, но поскольку физическое разделение потоков уменьшает ограничение «бутылочного горла» фон-неймановской архитектуры, суммарная задержка окажется значительно меньшей, чем двукратная. При меньших частоте и сложности одного ядра существенно сокращается потребление энергии, а при увеличении числа ядер перечисленные аргументы в пользу CMP только усиливаются. Поэтому следующий логически оправданный шаг состоит в том, чтобы собрать несколько ядер и объединить их общей кэш-памятью, например как в проекте Hydra (рис 1, в). А далее можно усложнить ядра и сделать их многопотоковыми, что и было реализовано в проекте Niagara (рис 1, г).

Сложность процессоров имеет еще одно важное проявление. Проектирование изделия, насчитывающего миллиарды компонентов, становится все более трудоемкой задачей - несмотря на использование средств автоматизации. Показательно, что мы являемся свидетелями более чем десятилетнего «доведения до ума» архитектуры IA-64. Проектирование CMP-процессора существенно проще: если есть проработанное ядро, то оно может тиражироваться в нужных количествах, а проектирование ограничивается созданием внутренней инфраструктуры кристалла. К тому же однотипность ядер упрощает проектирование системных плат, которое сводится к масштабированию, а в конечном счете, меняются показатели подсистем ввода/вывода.

Несмотря на приведенные аргументы, пока нет достаточных оснований для однозначного утверждения о преимуществах CMP по сравнению с SMT. Опыт создания процессоров, реализующих SMT, является гораздо большим: начиная с середины 80-х годов созданы несколько десятков экспериментальных изделий и несколько серийных процессоров. История развития CPM пока короткая: если не учитывать семейство специализированных сигнальных процессоров Texas Instruments TMS 320C8x, то первым успешным проектом стал Hydra, выполненный в Стэндфордском университете. Среди университетских исследовательских проектов, нацеленных на построение CMP-процессоров, известны еще три - Wisconsin Multiscalar, Carnegie-Mellon Stampede и MIT M-machine.

Микропроцессор Hydra

Кристалл Hydra состоит из четырех процессорных ядер на основе известной RISC-архитектуры MIPS . Каждое ядро имеет кэш-память команд и кэш-память данных, а все ядра объединены в общую кэш-память второго уровня. Процессоры выполняют обычный набор команд MIPS плюс команды условного хранения (Store Conditional или SC), предназначенные для реализации синхронизационных примитивов. Процессоры и кэш-память второго уровня объединяются шинами чтения/записи, а кроме того, есть вспомогательные адресные и управляющие шины. Все эти шины являются виртуальными, то есть логически представляются проводными шинами, а физически разделены на множество сегментов, использующих повторители, и буферов, что позволяет повысить скорость работы ядер.

Шина чтения/записи играет роль системной. Благодаря ее расположению внутри кристалла она имеет достаточную пропускную способность для обеспечения обмена с кэш-памятью за один цикл. Достичь таких показателей производительности обмена даже в самых дорогих традиционных мультипроцессорных архитектурах сложно из-за физических ограничений на число внешних контактов процессоров. Эффективные шины обмена с кэш-памятью предотвращают проблему возникновения «бутылочного горла» между ядрами и памятью.

Тестирование Hydra при нагрузках с явно выраженным параллелизмом на типичных Web- и серверных приложениях показало, что производительность четырех ядер по сравнению с одним ядром возрастает в 3-3,8 раз, то есть практически линейно. Это дает основания полагать, что процессоры такого типа вполне удачно «впишутся» в те приложения, в которых используются серверы с SMP-архитектурой. Но понятно, что процессор должен достаточно эффективно работать и с последовательными приложениями, поэтому одна из важнейших задач заключается в реализации условной многопотоковости. В Hydra она реализована на аппаратном уровне, и выбор этого подхода обоснован тем, что он не требует дополнительных затрат на программирование параллельных приложений.

Условная многопотоковость базируется на разбиении последовательности команд программы на потоки, которые могут выполняться параллельно. Естественно, между такими потоками может быть логическая взаимозависимость, и для их согласования в процессор встраивается специальный механизм синхронизации. Суть его работы сводится к тому, что если какому-то потоку требуются данные из параллельного потока, а они еще не готовы, то выполнение такого потока приостанавливается. На деле здесь проявляются элементы недетерминированности, о которых шла речь выше. Процесс синхронизации довольно сложен, поскольку необходимо определить все возможные зависимости между потоками и условия синхронизации. Условная синхронизация позволяет распараллеливать программы без предварительного знания их свойств. Важно, что механизм синхронизации является динамическим, он работает без вмешательства программиста или компилятора, который способен только на статическое деление приложений на потоки. Испытания модели на основе разных тестов показали, что средства условной многопотоковости позволяют увеличить производительность процессора в несколько раз, и чем более явным параллелизмом характеризуется тест, тем меньше такое значение.

В 2000 году в обстановке строгой секретности была создана компания Afara. Ее основателями стали профессор Кунле Олукотун из Стэнфордского университета и известный разработчик процессоров Лес Кон, имевший опыт работы в Intel и Sun Microsystems. Кон был одним из авторов RISC-процессоров i860 и i960 в первой из этих корпораций и UltraSPARC-I - во второй. Под его руководством осуществлена переработка Hydra под процессорные ядра на базе процессора SPARC. В 2002 году Afara была куплена Sun Microsystems, и на этом закончилась история проекта Hydra и началась история Niagara.

Niagara - «сплав» MAJC и Hydra

У процессора UltraSPARC T1, более известного как Niagara, два основных предшественника - Hydra и MAJC.

В середине 90-х годов, на волне увлечения специализированными Java-процессорами, в Sun Microsystems была предпринята попытка создания процессора «с очень длинным словом» - Very Long Instruction Word (VLIW). Эта инициатива получила название MAJC (Microprocessor Architecture for Java Computing). Как и в других проектах, стартовавших в то время (Intel IA-64 Itanium), в данном случае ставилась задача переноса некоторых из самых сложных операций в ведение компилятора. Освободившуюся транзисторную логику можно использовать для создания более производительных функциональных узлов (functional units), с тем чтобы обеспечить продуктивный обмен командами и данными между CPU, кэш-памятью и основной памятью. Таким образом, преодолевалось фон-неймановское «бутылочное горло».

MAJC отличался от большинства процессоров отсутствием специализированных сопроцессоров (subprocessors), которые обычно называют функциональными устройствами, предназначенными для выполнения операций с целыми числами, числами с плавающей точкой и мультимедийными данными. В нем все функциональные устройства были одинаковыми, способными к выполнению любых операций, что, с одной стороны, снижало эффективность выполнения отдельных операций, но с другой повышало коэффициент использования всего процессора.

Niagara воплощает в себе лучшее из двух альтернативных подходов к реализации многопотоковости - SMT и CMP. На первый взгляд, он очень похож на Hydra, но скорее Hydra можно назвать «макетом» Niagara. Помимо того что в последнем - вдвое больше ядер, каждое из них может обрабатывать четыре потока.

Процессор Niagara обеспечивает аппаратную поддержку выполнения 32 потоков, которые разделены на восемь групп (по четыре потока в каждой). Для выполнения каждой группы служит свой обрабатывающий канал SPARC pipeline (рис.2 ). Он представляет собой процессорное ядро, построенное в соответствии с архитектурой SPARC V9. Каждый SPARC pipeline содержит кэш-память первого уровня для команд и данных. Совместно 32 потока используют кэш-память второго уровня емкостью 3 Мбайт, разделенную на четыре банка. Коммутатор соединяет восемь ядер, банки кэш-памяти второго уровня и другие распределяемые ресурсы CPU, причем поддерживает скорость обмена 200 Гбайт/с. Кроме того, в коммутаторе находится порт для систем ввода/вывода и каналы к памяти типа DDR2 DRAM, обеспечивающие скорость обмена 20 Гбайт/с; максимальная емкость памяти составляет до 128 Гбайт.

Проект Niagara ориентирован на операционную систему Solaris, поэтому все приложения, работающие под управлением Solaris, могут выполняться на новом процессоре без каких-либо изменений. Прикладное программное обеспечение воспринимает Niagara как 32 дискретных процессора.

Проект Cell

Собственный подход к созданию многоядерных процессоров предложила корпорация IBM, чей проект Cell назван «гетерогенным мультипроцессорным чипом» (heterogeneous chip multiprocessor). Архитектуру Cell именуют еще и Cell Broadband Engine Architecture (CBEA). Мультипроцессор Cell состоит из ядра IBM 64-bit Power Architecture и восьми специализированных сопроцессоров, реализующих схему «одна команда много данных». В компании IBM эту архитектуру называют Synergistic Processor Unit (SPU). Она может с успехом использоваться при необходимости обрабатывать большие потоки данных, например в криптографии, в разных мультимедийных и научных приложениях, таких как быстрое преобразование Фурье или матричные операции. Архитектура Cell создана группой исследователей IBM Research совместно с коллегами из IBM Systems Technology Group, Sony и Toshiba, а ее первым приложением должны стать мультимедийные устройства, требующие больших объемов вычислений.

Основа Synergistic Processor Unit - набор команд Instruction Set Architecture (ISA). Команды имеют длину 32 бит и адресуются трем операндам, размещаемым в регистровом пуле, который состоит из 128 регистров по 128 бит в каждом.

В перспективе применение Cell не будет ограничено игровыми системами. На очереди - телевидение высокой четкости, домашние серверы и даже суперкомпьютеры.

Литература
  1. Леонид Черняк. Ревизия первооснов - конец застоя? // Открытые системы. - 2003, №5.
  2. Михаил Кузьминский. Многонитевая архитектура микропроцессоров // Открытые системы. - 2002, №1.
  3. Rajat A Dua, Bhushan Lokhande. A Comparative study of SMT and CMP multiprocessors. -
  • Tutorial

В этой статье я попытаюсь описать терминологию, используемую для описания систем, способных исполнять несколько программ параллельно, то есть многоядерных, многопроцессорных, многопоточных. Разные виды параллелизма в ЦПУ IA-32 появлялись в разное время и в несколько непоследовательном порядке. Во всём этом довольно легко запутаться, особенно учитывая, что операционные системы заботливо прячут детали от не слишком искушённых прикладных программ.

Цель статьи - показать, что при всём многообразии возможных конфигураций многопроцессорных, многоядерных и многопоточных систем для программ, исполняющихся на них, создаются возможности как для абстракции (игнорирования различий), так и для учёта специфики (возможность программно узнать конфигурацию).

Предупреждение о знаках ®, ™, в статье

Мой объясняет, почему сотрудники компаний должны в публичных коммуникациях использовать знаки авторского права. В этой статье их пришлось использовать довольно часто.

Процессор

Конечно же, самый древний, чаще всего используемый и неоднозначный термин - это «процессор».

В современном мире процессор - это то (package), что мы покупаем в красивой Retail коробке или не очень красивом OEM-пакетике. Неделимая сущность, вставляемая в разъём (socket) на материнской плате. Даже если никакого разъёма нет и снять его нельзя, то есть если он намертво припаян, это один чип.

Мобильные системы (телефоны, планшеты, ноутбуки) и большинство десктопов имеют один процессор. Рабочие станции и сервера иногда могут похвастаться двумя или больше процессорами на одной материнской плате.

Поддержка нескольких центральных процессоров в одной системе требует многочисленных изменений в её дизайне. Как минимум, необходимо обеспечить их физическое подключение (предусмотреть несколько сокетов на материнской плате), решить вопросы идентификации процессоров (см. далее в этой статье, а также мою заметку), согласования доступов к памяти и доставки прерываний (контроллер прерываний должен уметь маршрутизировать прерывания на несколько процессоров) и, конечно же, поддержки со стороны операционной системы. Я, к сожалению, не смог найти документального упоминания момента создания первой многопроцессорной системы на процессорах Intel, однако Википедия утверждает , что Sequent Computer Systems поставляла их уже в 1987 году, используя процессоры Intel 80386. Широко распространённой поддержка же нескольких чипов в одной системе становится доступной, начиная с Intel® Pentium.

Если процессоров несколько, то каждый из них имеет собственный разъём на плате. У каждого из них при этом имеются полные независимые копии всех ресурсов, таких как регистры, исполняющие устройства, кэши. Делят они общую память - RAM. Память может подключаться к ним различными и довольно нетривиальными способами, но это отдельная история, выходящая за рамки этой статьи. Важно то, что при любом раскладе для исполняемых программ должна создаваться иллюзия однородной общей памяти, доступной со всех входящих в систему процессоров.


К взлёту готов! Intel® Desktop Board D5400XS

Ядро

Исторически многоядерность в Intel IA-32 появилась позже Intel® HyperThreading, однако в логической иерархии она идёт следующей.

Казалось бы, если в системе больше процессоров, то выше её производительность (на задачах, способных задействовать все ресурсы). Однако, если стоимость коммуникаций между ними слишком велика, то весь выигрыш от параллелизма убивается длительными задержками на передачу общих данных. Именно это наблюдается в многопроцессорных системах - как физически, так и логически они находятся очень далеко друг от друга. Для эффективной коммуникации в таких условиях приходится придумывать специализированные шины, такие как Intel® QuickPath Interconnect. Энергопотребление, размеры и цена конечного решения, конечно, от всего этого не понижаются. На помощь должна прийти высокая интеграция компонент - схемы, исполняющие части параллельной программы, надо подтащить поближе друг к другу, желательно на один кристалл. Другими словами, в одном процессоре следует организовать несколько ядер , во всём идентичных друг другу, но работающих независимо.

Первые многоядерные процессоры IA-32 от Intel были представлены в 2005 году. С тех пор среднее число ядер в серверных, десктопных, а ныне и мобильных платформах неуклонно растёт.

В отличие от двух одноядерных процессоров в одной системе, разделяющих только память, два ядра могут иметь также общие кэши и другие ресурсы, отвечающие за взаимодействие с памятью. Чаще всего кэши первого уровня остаются приватными (у каждого ядра свой), тогда как второй и третий уровень может быть как общим, так и раздельным. Такая организация системы позволяет сократить задержки доставки данных между соседними ядрами, особенно если они работают над общей задачей.


Микроснимок четырёхядерного процессора Intel с кодовым именем Nehalem. Выделены отдельные ядра, общий кэш третьего уровня, а также линки QPI к другим процессорам и общий контроллер памяти.

Гиперпоток

До примерно 2002 года единственный способ получить систему IA-32, способную параллельно исполнять две или более программы, состоял в использовании именно многопроцессорных систем. В Intel® Pentium® 4, а также линейке Xeon с кодовым именем Foster (Netburst) была представлена новая технология - гипертреды или гиперпотоки, - Intel® HyperThreading (далее HT).

Ничто не ново под луной. HT - это частный случай того, что в литературе именуется одновременной многопоточностью (simultaneous multithreading, SMT). В отличие от «настоящих» ядер, являющихся полными и независимыми копиями, в случае HT в одном процессоре дублируется лишь часть внутренних узлов, в первую очередь отвечающих за хранение архитектурного состояния - регистры. Исполнительные же узлы, ответственные за организацию и обработку данных, остаются в единственном числе, и в любой момент времени используются максимум одним из потоков. Как и ядра, гиперпотоки делят между собой кэши, однако начиная с какого уровня - это зависит от конкретной системы.

Я не буду пытаться объяснить все плюсы и минусы дизайнов с SMT вообще и с HT в частности. Интересующийся читатель может найти довольно подробное обсуждение технологии во многих источниках, и, конечно же, в Википедии . Однако отмечу следующий важный момент, объясняющий текущие ограничения на число гиперпотоков в реальной продукции.

Ограничения потоков
В каких случаях наличие «нечестной» многоядерности в виде HT оправдано? Если один поток приложения не в состоянии загрузить все исполняющие узлы внутри ядра, то их можно «одолжить» другому потоку. Это типично для приложений, имеющих «узкое место» не в вычислениях, а при доступе к данным, то есть часто генерирующих промахи кэша и вынужденных ожидать доставку данных из памяти. В это время ядро без HT будет вынуждено простаивать. Наличие же HT позволяет быстро переключить свободные исполняющие узлы к другому архитектурному состоянию (т.к. оно как раз дублируется) и исполнять его инструкции. Это - частный случай приёма под названием latency hiding, когда одна длительная операция, в течение которой полезные ресурсы простаивают, маскируется параллельным выполнением других задач. Если приложение уже имеет высокую степень утилизации ресурсов ядра, наличие гиперпотоков не позволит получить ускорение - здесь нужны «честные» ядра.

Типичные сценарии работы десктопных и серверных приложений, рассчитанных на машинные архитектуры общего назначения, имеют потенциал к параллелизму, реализуемому с помощью HT. Однако этот потенциал быстро «расходуется». Возможно, по этой причине почти на всех процессорах IA-32 число аппаратных гиперпотоков не превышает двух. На типичных сценариях выигрыш от использования трёх и более гиперпотоков был бы невелик, а вот проигрыш в размере кристалла, его энергопотреблении и стоимости значителен.

Другая ситуация наблюдается на типичных задачах, выполняемых на видеоускорителях. Поэтому для этих архитектур характерно использование техники SMT с бóльшим числом потоков. Так как сопроцессоры Intel® Xeon Phi (представленные в 2010 году) идеологически и генеалогически довольно близки к видеокартам, на них может быть четыре гиперпотока на каждом ядре - уникальная для IA-32 конфигурация.

Логический процессор

Из трёх описанных «уровней» параллелизма (процессоры, ядра, гиперпотоки) в конкретной системе могут отсутствовать некоторые или даже все. На это влияют настройки BIOS (многоядерность и многопоточность отключаются независимо), особенности микроархитектуры (например, HT отсутствовал в Intel® Core™ Duo, но был возвращён с выпуском Nehalem) и события при работе системы (многопроцессорные сервера могут выключать отказавшие процессоры в случае обнаружения неисправностей и продолжать «лететь» на оставшихся). Каким образом этот многоуровневый зоопарк параллелизма виден операционной системе и, в конечном счёте, прикладным приложениям?

Далее для удобства обозначим количества процессоров, ядер и потоков в некоторой системе тройкой (x , y , z ), где x - это число процессоров, y - число ядер в каждом процессоре, а z - число гиперпотоков в каждом ядре. Далее я буду называть эту тройку топологией - устоявшийся термин, мало что имеющий с разделом математики. Произведение p = xyz определяет число сущностей, именуемых логическими процессорами системы. Оно определяет полное число независимых контекстов прикладных процессов в системе с общей памятью, исполняющихся параллельно, которые операционная система вынуждена учитывать. Я говорю «вынуждена», потому что она не может управлять порядком исполнения двух процессов, находящихся на различных логических процессорах. Это относится в том числе к гиперпотокам: хотя они и работают «последовательно» на одном ядре, конкретный порядок диктуется аппаратурой и недоступен для наблюдения или управления программам.

Чаще всего операционная система прячет от конечных приложений особенности физической топологии системы, на которой она запущена. Например, три следующие топологии: (2, 1, 1), (1, 2, 1) и (1, 1, 2) - ОС будет представлять в виде двух логических процессоров, хотя первая из них имеет два процессора, вторая - два ядра, а третья - всего лишь два потока.


Windows Task Manager показывает 8 логических процессоров; но сколько это в процессорах, ядрах и гиперпотоках?


Linux top показывает 4 логических процессора.

Это довольно удобно для создателей прикладных приложений - им не приходится иметь дело с зачастую несущественными для них особенностями аппаратуры.

Программное определение топологии

Конечно, абстрагирование топологии в единственное число логических процессоров в ряде случаев создаёт достаточно оснований для путаницы и недоразумений (в жарких Интернет-спорах). Вычислительные приложения, желающие выжать из железа максимум производительности, требуют детального контроля над тем, где будут размещены их потоки: поближе друг к другу на соседних гиперпотоках или же наоборот, подальше на разных процессорах. Скорость коммуникаций между логическими процессорами в составе одного ядра или процессора значительно выше, чем скорость передачи данных между процессорами. Возможность неоднородности в организации оперативной памяти также усложняет картину.

Информация о топологии системы в целом, а также положении каждого логического процессора в IA-32 доступна с помощью инструкции CPUID. С момента появления первых многопроцессорных систем схема идентификации логических процессоров несколько раз расширялась. К настоящему моменту её части содержатся в листах 1, 4 и 11 CPUID. Какой из листов следует смотреть, можно определить из следующей блок-схемы, взятой из статьи :

Я не буду здесь утомлять всеми подробностями отдельных частей этого алгоритма. Если возникнет интерес, то этому можно посвятить следующую часть этой статьи. Отошлю интересующегося читателя к , в которой этот вопрос разбирается максимально подробно. Здесь же я сначала кратко опишу, что такое APIC и как он связан с топологией. Затем рассмотрим работу с листом 0xB (одиннадцать в десятичном счислении), который на настоящий момент является последним словом в «апикостроении».

APIC ID
Local APIC (advanced programmable interrupt controller) - это устройство (ныне входящее в состав процессора), отвечающее за работу с прерываниями, приходящими к конкретному логическому процессору. Свой собственный APIC есть у каждого логического процессора. И каждый из них в системе должен иметь уникальное значение APIC ID. Это число используется контроллерами прерываний для адресации при доставке сообщений, а всеми остальными (например, операционной системой) - для идентификации логических процессоров. Спецификация на этот контроллер прерываний эволюционировала, пройдя от микросхемы Intel 8259 PIC через Dual PIC, APIC и xAPIC к x2APIC .

В настоящий момент ширина числа, хранящегося в APIC ID, достигла полных 32 бит, хотя в прошлом оно было ограничено 16, а ещё раньше - только 8 битами. Нынче остатки старых дней раскиданы по всему CPUID, однако в CPUID.0xB.EDX возвращаются все 32 бита APIC ID. На каждом логическом процессоре, независимо исполняющем инструкцию CPUID, возвращаться будет своё значение.

Выяснение родственных связей
Значение APIC ID само по себе ничего не говорит о топологии. Чтобы узнать, какие два логических процессора находятся внутри одного физического (т.е. являются «братьями» гипертредами), какие два - внутри одного процессора, а какие оказались и вовсе в разных процессорах, надо сравнить их значения APIC ID. В зависимости от степени родства некоторые их биты будут совпадать. Эта информация содержится в подлистьях CPUID.0xB, которые кодируются с помощью операнда в ECX. Каждый из них описывает положение битового поля одного из уровней топологии в EAX (точнее, число бит, которые нужно сдвинуть в APIC ID вправо, чтобы убрать нижние уровни топологии), а также тип этого уровня - гиперпоток, ядро или процессор, - в ECX.

У логических процессоров, находящихся внутри одного ядра, будут совпадать все биты APIC ID, кроме принадлежащих полю SMT. Для логических процессоров, находящихся в одном процессоре, - все биты, кроме полей Core и SMT. Поскольку число подлистов у CPUID.0xB может расти, данная схема позволит поддержать описание топологий и с бóльшим числом уровней, если в будущем возникнет необходимость. Более того, можно будет ввести промежуточные уровни между уже существующими.

Важное следствие из организации данной схемы заключается в том, что в наборе всех APIC ID всех логических процессоров системы могут быть «дыры», т.е. они не будут идти последовательно. Например, во многоядерном процессоре с выключенным HT все APIC ID могут оказаться чётными, так как младший бит, отвечающий за кодирование номера гиперпотока, будет всегда нулевым.

Отмечу, что CPUID.0xB - не единственный источник информации о логических процессорах, доступный операционной системе. Список всех процессоров, доступный ей, вместе с их значениями APIC ID, кодируется в таблице MADT ACPI .

Операционные системы и топология

Операционные системы предоставляют информацию о топологии логических процессоров приложениям с помощью своих собственных интерфейсов.

В Linux информация о топологии содержится в псевдофайле /proc/cpuinfo , а также выводе команды dmidecode . В примере ниже я фильтрую содержимое cpuinfo на некоторой четырёхядерной системе без HT, оставляя только записи, относящиеся к топологии:

Скрытый текст

[email protected]:~$ cat /proc/cpuinfo |grep "processor\|physical\ id\|siblings\|core\|cores\|apicid" processor: 0 physical id: 0 siblings: 4 core id: 0 cpu cores: 2 apicid: 0 initial apicid: 0 processor: 1 physical id: 0 siblings: 4 core id: 0 cpu cores: 2 apicid: 1 initial apicid: 1 processor: 2 physical id: 0 siblings: 4 core id: 1 cpu cores: 2 apicid: 2 initial apicid: 2 processor: 3 physical id: 0 siblings: 4 core id: 1 cpu cores: 2 apicid: 3 initial apicid: 3

В FreeBSD топология сообщается через механизм sysctl в переменной kern.sched.topology_spec в виде XML:

Скрытый текст

[email protected]:~$ sysctl kern.sched.topology_spec kern.sched.topology_spec: 0, 1, 2, 3, 4, 5, 6, 7 0, 1, 2, 3, 4, 5, 6, 7 0, 1 THREAD groupSMT group 2, 3 THREAD groupSMT group 4, 5 THREAD groupSMT group 6, 7 THREAD groupSMT group

В MS Windows 8 сведения о топологии можно увидеть в диспетчере задач Task Manager.

Разобравшись с теорией многопоточности, рассмотрим практический пример - Pentium 4. Уже на этапе разработки этого процессора инженеры Intel продолжали работу над повышением его быстродействия без внесения изменений в программный интерфейс. Рассматривалось пять простейших способов:
1. Повышение тактовой частоты.
2. Размещение на одной микросхеме двух процессоров.
3. Введение новых функциональных блоков.
1. Удлинение конвейера.
2. Использование многопоточности.
Самый очевидный способ повышения быстродействия заключается в том, чтобы повысить тактовую частоту, не меняя другие параметры. Как правило, каждая последующая модель процессора имеет несколько более высокую тактовую частоту, чем предыдущая. К сожалению, при прямолинейном повышении тактовой частоты разработчики сталкиваются с двумя проблемами: увеличением энергопотребления (что актуально для портативных компьютеров и других вычислительных устройств, работающих на аккумуляторах) и перегревом (что требует создания более эффективных теплоотводов).
Второй способ - размещение на микросхеме двух процессоров - сравнительно прост, но он сопряжен с удвоением площади, занимаемой микросхемой. Если каждый процессор снабжается собственной кэш-памятью, количество микросхем на пластине уменьшается вдвое, но это также означает удвоение затрат на производство. Если для обоих процессоров предусматривается общая кэш-память, значительного увеличения занимаемой площади удается избежать, однако в этом случае возникает другая проблема - объем кэш-памяти в пересчете на каждый процессор уменьшается вдвое, а это неизбежно сказывается на производительности. Кроме того, если профессиональные серверные приложения способны полностью задействовать ресурсы нескольких процессоров, то в обычных настольных программах внутренний параллелизм развит в значительно меньшей степени.
Введение новых функциональных блоков также не представляет сложности, но здесь важно соблюсти баланс. Какой смысл в десятке блоков АЛУ, если микросхема не может выдавать команды на конвейер с такой скоростью, которая позволяет загрузить все эти блоки?
Конвейер с увеличенным числом ступеней, способный разделять задачи на более мелкие сегменты и обрабатывать их за короткие периоды времени, с одной стороны, повышает производительность, с другой, усиливает негативные последствия неверного прогнозирования переходов, кэш-промахов, прерываний и других событий, нарушающих нормальный ход обработки команд в процессоре. Кроме того, чтобы полностью реализовать возможности расширенного конвейера, необходимо повысить тактовую частоту, а это, как мы знаем, приводит к повышенным энергопотреблению и теплоотдаче.
Наконец, можно реализовать многопоточность. Преимущество этой технологии состоит во введении дополнительного программного потока, позволяющего ввести в действие те аппаратные ресурсы, которые в противном случае простаивали бы. По результатам экспериментальных исследований разработчики Intel выяснили, что увеличение площади микросхемы на 5 % при реализации многопоточности для многих приложений дает прирост производительности на 25 %. Первым процессором Intel с поддержкой многопоточности стал Xeon 2002 года. Впоследствии, начиная с частоты 3,06 ГГц, многопоточность была внедрена в линейку Pentium 4. Intel называет реализацию многопоточности в Pentium 4 гиперпоточностью (hyperthreading).
Основной принцип гиперпоточности - одновременное исполнение двух программных потоков (или процессов - процессор не отличает процессы от программных потоков). Операционная система рассматривает гиперпоточный процессор Pentium 4 как двухпроцессорный комплекс с общими кэшами и основной памятью. Планирование операционная система выполняет для каждого программного потока отдельно. Таким образом, в одно и то же время могут выполняться два приложения. К примеру, почтовая программа может отправлять или принимать сообщения в фоновом режиме, пока пользователь взаимодействует с интерактивным приложением - то есть демон и пользовательская программа выполняются одновременно, как будто системе доступно два процессора.
Прикладные программы, предусматривающие возможность исполнения в виде нескольких программных потоков, могут задействовать оба «виртуальных процессора». Например, программы редактирования видеоданных обычно позволяют пользователям применять фильтры ко всем кадрам. Такие фильтры корректируют яркость, контраст, цветовой баланс и другие свойства кадров. В такой ситуации программа может назначить один виртуальный процессор для обработки четных кадров, а другой - для обработки нечетных. При этом два процессора будут работать совершенно независимо друг от друга.
Поскольку программные потоки обращаются к одним и тем же аппаратным ресурсам, необходима координация этих потоков. В контексте гиперпоточности разработчики Intel выделили четыре полезных стратегии управления совместным потреблением ресурсов: дублирование ресурсов, а также жесткое, пороговое и полное разделение ресурсов. Рассмотрим эти стратегии.
Начнем с дублирования ресурсов (resource duplication). Как известно, некоторые ресурсы с целью организации программных потоков дублируются. Например, так как каждому программному потоку требуется индивидуальное управление, нужен второй счетчик команд. Кроме того, необходимо ввести вторую таблицу отображения архитектурных регистров (ЕАХ, ЕВХ и т. д.) на физические регистры; аналогичным образом, дублируется контроллер прерываний, поскольку обработка прерываний для каждого потока производится индивидуально.
Далее следует методика жесткого разделения ресурсов (partitioned resource sharing) между программными потоками. К примеру, если в процессоре предусмотрена очередь между двумя функциональными ступенями конвейера, то половину слотов можно отдавать потоку 1, другую половину - потоку 2. Разделение ресурсов легко реализуется, не ведет к дисбалансу и обеспечивает полную независимость программных потоков друг от друга. При полном разделении всех ресурсов один процессор фактически превращается в два. С другой стороны, может сложиться такая ситуация, при которой один программный поток не использует ресурсы, которые могли бы пригодиться второму потоку, но в отношении которых у него нет полномочий доступа. В результате ресурсы, которые в иной ситуации могли бы быть задействованы, простаивают.
Противоположность жесткого разделения - полное разделение ресурсов (full resource sharing). В этой схеме к нужным ресурсам может получить доступ любой программный поток, а обслуживаются они в порядке поступления запросов на доступ. Рассмотрим ситуацию, в которой быстрый поток, состоящий преимущественно из операций сложения и вычитания, сосуществует с медленным потоком, реализующим операции умножения и деления. Если команды вызываются из памяти быстрее, чем выполняются операции умножения и деления, число команд, вызванных в рамках медленного потока и поставленных в очередь на конвейер, будет постепенно расти. В конечном итоге эти команды заполнят очередь, в результате быстрый поток из-за нехватки места в ней остановится. Полное разделение ресурсов решает проблему неоптимального расходования общих ресурсов, но создает дисбаланс их потребления - один поток может замедлить или остановить другой.
Промежуточная схема реализуется в рамках порогового разделения ресурсов (threshold resource sharing). Согласно этой схеме любой программный поток может динамически получать определенный (ограниченный) объем ресурсов. Применительно к реплицированным ресурсам этот подход обеспечивает гибкость без угрозы простоя одного из программных потоков из-за невозможности получения ресурсов. Если, к примеру, запретить каждому из потоков занимать больше 3/4 очереди команд, повышенное потребление ресурсов медленным потоком не помешает исполнению быстрого.
Модель гиперпоточности Pentium 4 объединяет разные стратегии разделения ресурсов. Таким образом, предпринимается попытка решить все проблемы, связанные с каждой стратегией. Дублирование реализуется в отношении ресурсов, доступ к которым постоянно требуется обоим программным потокам (в частности, в отношении счетчика команд, таблицы отображения регистров и контроллера прерываний). Дублирование этих ресурсов увеличивает площадь микросхемы всего лишь на 5 % - согласитесь, вполне разумная плата за многопоточность. Ресурсы, доступные в таком объеме, что практически исключается вероятность их захвата одним потоком (например, строки кэша), распределяются динамически. Доступ к ресурсам, контролирующим работу конвейера (в частности, его многочисленные очереди), разделяется - каждому программному потоку отдается половина слотов. Главный конвейер архитектуры Netburst, реализованной в Pentium 4, изображен на рис. 8.7; белые и серые области на этой иллюстрации обозначают механизм распределения ресурсов между белым и серым программными потоками.
Как видим, все очереди на этой иллюстрации разделены - каждому программному потоку выделяется по половине слотов. Ни один из программных потоков не может ограничить работу другого. Блок распределения и подмены также разделяется. Ресурсы планировщика разделяются динамически, но на основе некоего порогового значения - таким образом, ни один из потоков не может занять все слоты очереди. Для всех остальных ступеней конвейера имеет место полное разделение.
Впрочем, с многопоточностью не все так просто. Даже у такой прогрессивной методики есть недостатки. Жесткое разделение ресурсов не связано с серьезными издержками, а вот динамическое разделение, в особенности с учетом пороговых величин, требует отслеживать потребление ресурсов на этапе исполнения. Кроме того, в некоторых случаях программы значительно лучше работают без многопоточности, чем с ней. Предположим, к примеру, что при наличии двух программных потоков для нормального функционирования каждому из них требуется 3/4 кэша. Если бы они выполнялись поочередно, каждый показал бы достаточную эффективность при небольшом количестве кэш-промахов (как известно, связанных с дополнительными издержками). В случае параллельного исполнения кэш-промахов у каждого было бы значительно больше, и конечный результат оказался бы хуже, чем без многопоточности.
Дополнительные сведения о механизме многопоточности РепПит 4 можно почерпнуть в .

saul 9 сентября 2015 в 13:38

Реализация многопоточной архитектуры игрового движка

  • Блог компании Intel ,
  • Разработка игр ,
  • Параллельное программирование ,
  • Разработка веб-сайтов
  • Перевод

С появлением многоядерных процессоров возникла необходимость в создании игрового движка на основе параллельной архитектуры. Использование всех процессоров системы - как графического (ГП), так и центрального (ЦП) - открывает гораздо больше возможностей по сравнению с однопоточным движком на базе только ГП. Например, используя больше ядер ЦП, можно улучшить визуальные эффекты, увеличив количество физических объектов, используемых в игре, а также добиться более реалистичного поведения персонажей за счет реализации продвинутого искусственного интеллекта (ИИ).
Рассмотрим особенности реализации многопоточной архитектуры игрового движка.

1. Введение

1.1. Обзор

Многопоточная архитектура игрового движка позволяет использовать возможности всех процессоров платформы по максимуму. Она предполагает параллельное выполнение различных функциональных блоков на всех доступных процессорах. Однако реализовать подобную схему, оказывается, не так просто. Отдельные элементы игрового движка часто взаимодействуют между собой, что может привести к появлению ошибок при одновременном их выполнении. Для обработки подобных сценариев в движке предусмотрены специальные механизмы синхронизации данных, исключающие возможные блокировки. В нем также реализованы методы одновременной синхронизации данных, за счет чего время выполнения удается свести к минимуму.

Для понимания представленных материалов нужно хорошо разбираться в современных методах создания компьютерных игр, поддержки многопоточности для игровых движков или для улучшения производительности приложений в целом.

2. Состояние параллельного выполнения

Состояние параллельного выполнения - это ключевое понятие многопоточности. Только разделив игровой движок на отдельные системы, работающие каждая в своем режиме и практически не взаимодействующие с остальной частью движка, можно добиться наибольшей эффективности параллельных вычислений и сократить время, необходимое на синхронизацию. Полностью изолировать отдельные части движка, исключив все общие ресурсы, не представляется возможным. Однако для таких операций, как получение данных о положении или ориентации объектов, отдельные системы могут использовать локальные копии данных, а не общие ресурсы. Это позволяет свести к минимуму зависимость данных в различных частях движка. Уведомления об изменениях общих данных, выполненных отдельной системой, передаются менеджеру состояний, который помещает их в очередь. Это называется режимом обмена сообщениями. Данный режим предполагает, что, завершив выполнение задач, системы движка получают уведомления об изменениях и соответствующим образом обновляют свои внутренние данные. Такой механизм позволяет значительно сократить время синхронизации и зависимости систем друг от друга.

2.1 Состояния выполнения

Чтобы менеджер состояний выполнения работал эффективно, рекомендуется синхронизировать операции по определенному тактовому импульсу. Это позволяет всем системам работать одновременно. При этом частота тактов не обязательно должна соответствовать частоте передачи кадров. Да и длительность тактов может не зависеть от частоты. Ее можно выбрать таким образом, чтобы один такт соответствовал времени, необходимому на передачу одного кадра (вне зависимости от его размера). Иными словами, частоту или длительность тактов определяет конкретная реализация менеджера состояний. На рисунке 1 показан «свободный» пошаговый режим работы, в котором не требуется, чтобы все системы завершали выполнение операции за один и тот же такт. Режим, при котором все системы завершают выполнение операций за один такт, называется «жестким» пошаговым режимом. Он схематично изображен на рисунке 2.


Рисунок 1. Состояние выполнения в свободном пошаговом режиме

2.1.1. Свободный пошаговый режим
В свободном пошаговом режиме все системы работают непрерывно в течение заранее заданного промежутка времени, необходимого для завершения очередной порции вычислений. Однако название «свободный» не следует понимать буквально: системы синхронизируются не в произвольный момент времени, они лишь «свободны» в выборе числа тактов, необходимого на выполнение очередного этапа.
Как правило, в этом режиме недостаточно отправить менеджеру состояний простое уведомление об изменении состояния. Необходимо также передать обновленные данные. Это вызвано тем, что система, которая изменила общие данные, может находиться в состоянии выполнения, в то время как другая система, ожидающая эти данные, уже готова выполнить обновление. В этом случае требуется больше памяти, так как нужно создавать больше копий данных. Поэтому «свободный» режим нельзя считать универсальным решением на все случаи жизни.
2.1.2. Жесткий пошаговый режим
В этом режиме выполнение задач всех систем завершается за один такт. Такой механизм проще в реализации и не требует передачи обновленных данных вместе с уведомлением. Действительно, при необходимости одна система может просто запросить новые значения у другой системы (разумеется, в конце цикла выполнения).
В жестком режиме можно реализовать псевдосвободный пошаговый режим работы, распределяя вычисления между различными шагами. В частности, это может потребоваться для расчетов ИИ, где за первый такт вычисляется начальная «общая цель», которая постепенно уточняется на следующих этапах.


Рисунок 2. Состояние выполнения в жестком пошаговом режиме

2.2. Синхронизация данных

Изменение общих данных несколькими системами может привести к конфликту изменений. На этот случай в системе обмена сообщениями необходимо предусмотреть алгоритм выбора правильного итогового значения. Существует два основных подхода, основанных на следующих критериях.
  • Время: итоговым значением становится последнее внесенное изменение.
  • Приоритет: итоговым значением становится изменение, выполненное системой с наибольшим приоритетом. Если приоритет систем совпадает, можно также учитывать время внесения изменений.
Все устаревшие данные (по любому из критериев) можно просто перезаписать или исключить из очереди уведомлений.
Поскольку итоговое значение может зависеть от порядка внесения изменений, использовать относительные значения общих данных может оказаться очень сложно. В таких случаях следует использовать абсолютные значения. Тогда при обновлении локальных данных системы могут просто заменить старые значения новыми. Оптимальное решение - выбирать абсолютные или относительные значения в зависимости от конкретной ситуации. Например, общие данные, такие как положение и ориентация, должны иметь абсолютные значения, поскольку для них важен порядок внесения изменений. Относительные значения можно использовать, к примеру, для системы генерации частиц, поскольку вся информация о частицах хранится только в ней самой.

3. Движок

При разработке движка основное внимание уделяется гибкости, необходимой для дальнейшего расширения его функциональности. Это позволит оптимизировать его для использования в условиях определенных ограничений (например, по памяти).
Движок можно условно разделить на две части: фреймворк и менеджеры. Фреймворк (см. раздел 3.1) включает в себя части игры, которые тиражируются в процессе выполнения, то есть существуют в нескольких экземплярах. В него также входят элементы, участвующие в выполнении основного цикла игры. Менеджеры (см. раздел 3.2) представляют собой Singleton-объекты, отвечающие за выполнение логической составляющей игры.
Ниже представлена схема игрового движка.


Рисунок 3. Общая архитектура движка

Обратите внимание, что функциональные игровые модули, или системы, не являются частью движка. Движок лишь объединяет их между собой, выступая в роли связующего элемента. Подобная модульная организация дает возможность загружать и выгружать системы по мере необходимости.

Взаимодействие движка и систем осуществляется при помощи интерфейсов. Они реализованы таким образом, чтобы предоставить движку доступ к функциям систем, а системам - к менеджерам движка.
Подробная схема движка представлена в приложении A, «Схема движка».

Фактически все системы независимы друг от друга (см. раздел 2, «Состояние одновременного выполнения»), то есть они могут выполнять действия параллельно, не влияя на работу других систем. Однако любое изменение данных повлечет за собой определенные сложности, поскольку системам придется взаимодействовать между собой. Обмен информацией между системами необходим в следующих случаях:

  • чтобы сообщить другой системе об изменении общих данных (например, положения или ориентации объектов);
  • чтобы выполнить функции, недоступные для данной системы (например, система ИИ обращается к системе расчета геометрических или физических свойств объекта, чтобы выполнить тест на пересечение лучей).
В первом случае для управления обменом информацией можно использовать менеджер состояний, описанный в предыдущем разделе. (Подробнее о менеджере состояний см. в разделе 3.2.2, «Менеджер состояний».)
Во втором случае необходимо реализовать специальный механизм, который позволит предоставить службы одной системы для использования другой. Полное описание этого механизма приведено в разделе 3.2.3, «Менеджер служб».

3.1. Фреймворк

Фреймворк служит для объединения всех элементов движка. В нем происходит инициализация движка, за исключением менеджеров, экземпляры которых создаются глобально. В нем также хранится информация о сцене. Чтобы добиться большей гибкости, сцена реализуется в виде так называемой универсальной сцены, которая содержит универсальные объекты. Они представляют собой контейнеры, объединяющие различные функциональные части сцены. Подробная информация приведена в разделе 3.1.2.
Основной цикл игры также реализован во фреймворке. Схематично его можно представить следующим образом.


Рисунок 4. Основной цикл игры

Движок работает в оконной среде, поэтому на первом шаге цикла игры необходимо обработать все незавершенные сообщения окон ОС. Если этого не сделать, движок не будет реагировать на сообщения ОС. На втором шаге планировщик назначает задачи с помощью менеджера задач. Этот процесс подробно описан в разделе 3.1.1 ниже. После этого менеджер состояний (см. раздел 3.2.2) рассылает информацию о выполненных изменениях системам движка, на работу которых она может повлиять. На последнем шаге, в зависимости от статуса выполнения, фреймворк определяет, следует ли завершить или продолжить работу движка, например, для перехода к следующей сцене. Информация о состоянии движка хранится у менеджера среды. Подробнее см. в разделе 3.2.4.

3.1.1. Планировщик
Планировщик генерирует опорный тактовый сигнал выполнения с заданной частотой. Если в режиме эталонного тестирования требуется, чтобы следующая операция начиналась сразу после завершения предыдущей, не дожидаясь окончания такта, частота может быть неограниченной.
По тактовому сигналу планировщик с помощью менеджера задач переводит системы в режим выполнения. В свободном пошаговом режиме (раздел 2.1.1) планировщик опрашивает системы, чтобы определить, сколько тактов им понадобится на завершение задачи. По результатам опроса планировщик определяет, какие системы готовы к выполнению, а какие завершат работу в конкретный такт. Планировщик может изменить количество тактов, если какой-либо системе требуется больше времени на выполнение. В жестком пошаговом режиме (раздел 2.1.2) все системы начинают и заканчивают выполнение в один и тот же такт, поэтому планировщик ждет, когда завершится выполнение всех систем.
3.1.2. Универсальная сцена и объекты
Универсальная сцена и объекты являются контейнерами для функциональности, реализованной в других системах. Они предназначены исключительно для взаимодействия с движком и не выполняют никаких других функций. Однако их можно расширить, чтобы использовать функции, доступные другим системам. Это позволяет добиться слабой связанности. Действительно, универсальная сцена и объекты могут использовать свойства других систем, не будучи привязанными к ним. Именно это свойство исключает зависимость систем друг от друга и дает им возможность работать одновременно.
На схеме ниже изображено расширение универсальной сцены и объекта.


Рисунок 5. Расширение универсальной сцены и объекта

Рассмотрим принцип работы расширений на следующем примере. Допустим, выполнено расширение универсальной универсальная сцены сцена расширена на для использование использования графических, физических и других свойств. В этом случае за инициализацию дисплея будет отвечать «графическая» часть расширения, а за реализацию физических законов для твердых тел, например силы тяжести, - его «физическая» часть. Сцены содержат объекты, поэтому универсальная сцена тоже будет включать в себя несколько универсальных объектов. Универсальные объекты также можно расширить намогут быть расширены для использование использования графических, физических и других свойств. Например, прорисовка объекта на экране будет реализована графическими функциями расширения, а расчет взаимодействия твердых тел - физическими.

Подробная схема взаимодействия движка и систем приведена в приложении B, «Схема взаимодействия движка и систем».
Следует заметить, что универсальная сцена и универсальный объект отвечают за регистрацию всех своих «расширений» в менеджере состояний, для того, чтобы все расширения могли получать уведомления об изменениях, внесенных другими расширениями (то есть другими системами). В качестве примера можно привести графическое расширение, зарегистрированное для получения уведомлений об изменениях положения и ориентации, выполненных физическим расширением.
Подробную информацию о компонентах системы см. в разделе 5.2, «Компоненты системы».

3.2. Менеджеры

Менеджеры управляют работой движка. Они являются Singleton-объектами, то есть менеджер каждого типа доступен только в одном экземпляре. Это необходимо, поскольку дублирование ресурсов менеджеров неизбежно приведет к избыточности и отрицательно скажется на производительности. Кроме того, менеджеры отвечают за реализацию общих функций для всех систем.
3.2.1. Менеджер задач
Менеджер задач отвечает за управление системными задачами в пуле потоков. Чтобы обеспечить оптимальное n-кратное масштабирование и предотвратить назначение лишних потоков, исключая неоправданные издержки на переключение задач в операционной системе, пул потоков создает по одному потоку на каждый процессор.

Планировщик передает менеджеру задач список задач для выполнения, а также информацию о том, завершения каких задач необходимо дождаться. Он получает эти данные от различных систем. Каждая система получает только одну задачу для выполнения. Такой метод называют функциональной декомпозицией. Однако для обработки данных каждую такую задачу можно разделить на произвольное количество подзадач (декомпозиция данных).
Ниже приведен пример распределения задач между потоками для четырехъядерной системы.


Рисунок 6. Пример пула потоков, используемого менеджером задач

Помимо обработки запросов планировщика по доступу к основным задачам менеджер задач может работать в режиме инициализации. Он последовательно опрашивает системы от каждого потока, чтобы они могли инициализировать локальные хранилища данных, необходимые для работы.
Советы по реализации менеджера задач даны в приложении D, «Советы по реализации задач».

3.2.2. Менеджер состояний
Менеджер состояний является частью механизма обмена сообщениями. Он отслеживает изменения и рассылает уведомления о них всем системам, которых эти изменения могут затронуть. Чтобы не рассылать ненужных уведомлений, менеджер состояний хранит информацию о том, какие системы оповещать в том или ином случае. Этот механизм реализован на основе шаблона «Наблюдатель» (см. приложение C, «Наблюдатель (шаблон проектирования)»). Если говорить вкратце, данный шаблон предполагает использование «наблюдателя», который следит за любыми изменениями субъекта, при этом роль посредника между ними выполняет контроллер изменений.

Механизм работает следующим образом. 1. Наблюдатель сообщает контроллеру изменений (или менеджеру состояний), изменения каких субъектов он хочет отслеживать. 2. Субъект уведомляет контроллер обо всех своих изменениях. 3. По сигналу фреймворка контроллер оповещает наблюдателя об изменениях субъекта. 4. Наблюдатель отправляет субъекту запрос на получение обновленных данных.

В режиме свободного пошагового выполнения (см. раздел 2.1.1) реализация этого механизма несколько усложняется. Во-первых, обновленные данные придется отправлять вместе с уведомлением об изменении. В этом режиме отправка по запросу неприменима. Действительно, если на момент получения запроса система, ответственная за изменения, еще не закончит выполнение, она не сможет предоставить обновленные данные. Во-вторых, если какая-то система еще не готова получить изменения в конце такта, менеджер состояний должен будет удерживать измененные данные до тех пор, пока все зарегистрированные для их получения системы не придут в состояние готовности.

Во фреймворке для этого предусмотрено два менеджера состояний: для обработки изменений на уровне сцены и на уровне объекта. Обычно сообщения, касающиеся сцен и объектов, независимы друг от друга, поэтому использование двух отдельных менеджеров исключает необходимость обработки ненужных данных. Но если в сцене необходимо учитывать состояние какого-либо объекта, ее можно зарегистрировать на для получение получения уведомлений о его изменениях.

Чтобы не выполнять лишней синхронизации, менеджер состояний формирует очередь уведомлений об изменениях отдельно для каждого потока, создаваемого менеджером задач. Поэтому при доступе к очереди никакой синхронизации не требуется. В разделе 2.2 описан метод, который можно использовать для объединения очередей после выполнения.


Рисунок 7. Уведомление о внутренних изменениях универсального объекта

Уведомления об изменениях не обязательно рассылать последовательно. Существует способ их параллельной рассылки. Выполняя задачу, система работает со всеми своими объектами. Например, по мере того как физические объекты взаимодействуют друг с другом, физическая система управляет их перемещением, расчетом столкновений, новых действующих сил и т. п. При получении уведомлений объект системы не взаимодействует с другими объектами своей системы. Он взаимодействует со связанными с ним расширениями универсального объекта. Это означает, что универсальные объекты теперь независимы друг от друга и их можно обновить одновременно. Такой подход не исключает крайних случаев, которые следует учитывать в процессе синхронизации. Однако он позволяет использовать режим параллельного выполнения, когда казалось, что действовать можно только последовательно.

3.2.3. Менеджер служб
Менеджер служб предоставляет системам доступ к функциям других систем, которые иначе были бы им недоступны. Важно понимать, что доступ к функциям осуществляется с помощью интерфейсов, а не напрямую. Информация об интерфейсах систем также хранится в менеджере служб.
Чтобы исключить зависимости систем друг от друга, каждая из них обладает лишь небольшим набором служб. Кроме того, возможность использования той или иной службы определяется не самой системой, а менеджером служб.


Рисунок 8. Пример менеджера служб

У менеджера служб есть и другая функция. Он предоставляет системам доступ к свойствам других систем. Свойствами называются специфичные значения конкретных систем, которые не передаются в системе обмена сообщениями. Это может быть расширение разрешение экрана в графической системе или величина силы тяжести в физической. Менеджер служб открывает системам доступ к таким данным, но не позволяет напрямую их контролировать. Он помещает изменения свойств в специальную очередь и публикует их только после последовательного выполнения. Обратите внимание, что доступ к свойствам другой системы требуется достаточно редко и не стоит им злоупотреблять. Например, он может понадобиться для включения и отключения режима каркасной сетки в графической системе из окна консоли или для изменения разрешения экрана по запросу игрока из интерфейса пользователя. Данную возможность преимущественно используют для установки параметров, которые не изменяются от кадра к кадру.

3.2.4. Менеджер среды
  • Менеджер среды обеспечивает работу среды выполнения движка. Его функции условно можно разделить на следующие группы.
  • Переменные: имена и значения общих переменных, используемых всеми частями движка. Обычно значения переменных определяются при загрузке сцены или определенных пользовательских настроек. Движок и различные системы могут получить к ним доступ, отправив соответствующий запрос.
  • Выполнение: данные о выполнении, например о завершении выполнения сцены или программы. Эти параметры могут устанавливать и запрашивать как сами системы, так и движок.
3.2.5. Менеджер платформы
Менеджер платформы реализует абстракцию для вызовов операционной системы, а также обеспечивает дополнительную функциональность помимо простой абстракции. Преимуществом такого подхода является инкапсуляция нескольких типичных функций в рамках одного вызова. То есть их не придется реализовывать отдельно для каждого вызывающего элемента, перегружая его подробностями о вызовах ОС.
Рассмотрим в качестве примера вызов менеджера платформы для загрузки динамической библиотеки системы. Он не только загружает систему, но также получает точки входа функции и вызывает функцию инициализации библиотеки. Менеджер также хранит дескриптор библиотеки и выгружает его после завершения работы движка.

Менеджер платформы также отвечает за предоставление информации о процессоре, например о поддерживаемых SIMD-инструкциях, и за инициализацию определенного режима работы процессов. Других функций формирования запросов системы использовать не могут.

4. Интерфейсы

Интерфейсы являются средствами взаимодействия между фреймворком, менеджерами и системами. Фреймворк и менеджеры являются частью движка, поэтому они могут взаимодействовать друг с другом напрямую. Системы к движку не относятся. Более того, все они выполняют разные функции, что приводит к необходимости создания единого метода взаимодействия с ними. Поскольку системы не могут взаимодействовать с менеджерами напрямую, для них необходимо предусмотреть другой способ доступа. При этом не все функции менеджеров должны быть открыты для систем. Некоторые из них доступны только фреймворку.

Интерфейсы определяют набор функций, необходимых для использования стандартного метода доступа. Это избавляет фреймворк от необходимости знать детали реализации конкретных систем, поскольку он может взаимодействовать с ними только посредством определенного набора вызовов.

4.1. Интерфейсы субъекта и наблюдателя

Основное назначение интерфейсов субъекта и наблюдателя - регистрация того, каким наблюдателям оправлять уведомления о каких субъектах, а также отправка таких уведомлений. Регистрация и разрыв связи с наблюдателем являются стандартными функциями для всех субъектов, включенными в реализацию их интерфейса.

4.2. Интерфейсы менеджеров

Менеджеры, несмотря на то что они являются Singleton-объектами, напрямую доступны только для фреймворка. Другие системы могут получить доступ к менеджерам только через интерфейсы, которые представляют лишь часть их общей функциональности. После инициализации интерфейс передается системе, которая использует его для работы с определенными функциями менеджера.
Не существует единого интерфейса для всех менеджеров. Каждый из них имеет свой отдельный интерфейс.

4.3. Интерфейсы системы

Чтобы фреймворк мог получить доступ к компонентам системы, ей необходимы интерфейсы. Без них поддержку каждой новой системы движка пришлось бы реализовывать отдельно.
Каждая система включает в себя четыре компонента, поэтому и интерфейсов должно быть четыре. А именно: система, сцена, объект и задача. Подробное описание см. в разделе 5, «Системы». Интерфейсы - это средства получения доступа к компонентам. Интерфейсы системы позволяют создавать и удалять сцены. Интерфейсы сцены, в свою очередь, позволяют создавать и уничтожать объекты, а также запрашивать информацию об основной задаче системы. Интерфейс задач в основном используется менеджером задач при постановке задач в пул потоков.
Поскольку сцена и объект, как части системы, должны взаимодействовать друг с другом и с универсальной сценой и объектом, к которым они привязаны, их интерфейсы также создают на основе интерфейсов субъекта и наблюдателя.

4.4. Интерфейсы изменений

Эти интерфейсы служат для передачи данных между системами. Все системы, выполняющие изменения определенного типа, должны реализовать такой интерфейс. В качестве примера можно привести геометрию. Интерфейс геометрии включает в себя методы определения положения, ориентации и масштаба элемента. Любая система, вносящая изменения в геометрию, должна реализовать такой интерфейс, чтобы для доступа к измененным данным не требовалась информация о других системах.

5. Системы

Системы являются частью движка, которая отвечает за реализацию игровой функциональности. Они выполняют все основные задачи, без которых движок не имел бы смысла. Взаимодействие между движком и системами осуществляется при помощи интерфейсов (см. раздел 4.3, «Интерфейсы системы»). Это необходимо, чтобы не перегружать движок информацией о различных типах систем. Благодаря интерфейсам процесс добавления новой системы становится гораздо проще, поскольку в движке не требуется учитывать все детали реализации.

5.1. Типы

Системы движка можно условно разделить на несколько заранее определенных категорий, соответствующих стандартным компонентам игры. Например: геометрия, графика, физика (столкновение твердых тел), звук, обработка входных данных, ИИ и анимация.
Системы с нестандартными функциями относятся к отдельной категории. Важно понимать, что любая система, которая изменяет данные конкретной категории, должна знать об интерфейсе этой категории, поскольку движок не предоставляет такую информацию.

5.2. Компоненты системы

Для каждой системы необходимо реализовать несколько компонентов. Вот некоторые из них: система, сцена, объект и задача. Все эти компоненты служат для взаимодействия с различными частями движка.
На схеме ниже изображены взаимодействия между различными компонентами.


Рисунок 9. Компоненты системы

Подробная схема связей между системами движка приведена в приложении B, «Схема взаимодействия движка и систем».

5.2.1. Система
Компонент «система», или просто система, отвечает за инициализацию системных ресурсов, которые практически не будут меняться в процессе работы движка. Например, графическая система анализирует адреса ресурсов для определения места их нахождения и ускорения загрузки при использовании ресурса. Она также задает разрешение экрана.
Система является основной входной точкой для фреймворка. Она предоставляет информацию о себе (например, тип системы), а также методы создания и удаления сцен.
5.2.2. Сцена
Компонент «сцена», или системная сцена, отвечает за управление ресурсами, которые относятся к текущей сцене. Универсальная сцена использует системные сцены для расширения функциональности за счет использования их функций. В качестве примера можно привести физическую сцену, которая используется при создании нового игрового мира и при инициализации сцены определяет в нем силы гравитации.
В сценах предусмотрены методы создания и уничтожения объектов, а также компонент «задача» для обработки сцены и метод доступа к нему.
5.2.3. Объект
Компонент «объект», или системный объект, принадлежит сцене и обычно связан с тем, что пользователь видит на экране. Универсальный объект использует системный объект для расширения функциональности, предоставляя его свойства как свои собственные.
Примером может послужить геометрическое, графическое и физическое расширение универсального объекта для отображения деревянной балки на экране. Геометрические свойства будут включать в себя положение, ориентацию и масштаб объекта. Для его отображения графическая система будет использовать специальную сетку. А физическая система наделит его свойствами твердого тела для расчета взаимодействий с другими телами и действующих сил гравитации.

В определенных случаях в системном объекте необходимо учитывать изменения универсального объекта или одного из его расширений. Для этой цели можно создать специальную связь, которая позволит отслеживать выполненные изменения.

5.2.4. Задача
Компонент «задача», или системная задача, используется для обработки сцены. Задача получает команду на обновление сцены от менеджера задач. Это сигнал для запуска системных функций на объектах сцены.
Выполнение задачи можно разбить на подзадачи, распределяя их также с помощью менеджера задач на еще большее число потоков. Это удобный способ масштабирования движка на несколько процессоров. Такой метод называют декомпозицией данных.
Информация об изменении объектов в процессе обновления задач сцены передается менеджеру состояний. Подробную информацию о менеджере состояний см. в разделе 3.2.2.

6. Объединяя все компоненты

Все описанные выше элементы связаны между собой и являются частью одного целого. Работу движка можно условно разделить на несколько этапов, описанных в следующих разделах.

6.1. Этап инициализации

Работа движка начинается с инициализации менеджеров и фреймворка.
  • Фреймворк вызывает загрузчик сцены.
  • Определив, какие системы сцена будет использовать, загрузчик вызывает менеджера платформы для загрузки соответствующих модулей.
  • Менеджер платформы загружает соответствующие модули и передает их менеджеру интерфейсов, затем вызывает их для создания новой системы.
  • Модуль возвращает загрузчику указатель на экземпляр системы, которая реализует системный интерфейс.
  • Менеджер служб регистрирует все службы, которые предоставляет системный модуль.


Рисунок 10. Инициализация менеджеров и систем движка

6.2. Этап загрузки сцены

Управление возвращается загрузчику, который загружает сцену.
  • Загрузчик создает универсальную сцену. Чтобы создать экземпляры системных сцен, он вызывает интерфейсы систем, расширяя функциональность универсальной сцены.
  • Универсальная сцена определяет, какие данные может изменить каждая системная сцена и оповещения о каких изменениях она должна получать.
  • Сопоставив сцены, выполняющие определенные изменения и желающие получать о них оповещения, универсальная сцена передает эту информацию в менеджер состояний.
  • Для каждого объекта сцены загрузчик создает универсальный объект, затем определяет, какие системы будут расширять универсальный объект. Соответствие между системными объектами определяется по той же схеме, которая используется для сцен. Оно также передается менеджеру состояний.
  • С помощью полученных интерфейсов сцен загрузчик создает экземпляры системных объектов и использует их для расширения универсальных объектов.
  • Планировщик запрашивает у интерфейсов сцен данные об их основных задачах, чтобы в процессе выполнения передать эту информацию менеджеру задач.


Рисунок 11. Инициализация универсальной сцены и объекта

6.3. Этап цикла игры

  • Менеджер платформы используется для обработки сообщений окон и других элементов, необходимых для работы текущей платформы.
  • Затем управление переходит планировщику, который ждет окончания такта, чтобы продолжить работу.
  • В конце такта в свободном пошаговом режиме планировщик проверяет, какие задачи были завершены. Все завершенные задачи (то есть готовые к выполнению) передаются менеджеру задач.
  • Планировщик определяет, какие задачи будут завершены за текущий такт, и ждет их выполнения.
  • В режиме жесткого пошагового выполнения эти операции повторяются каждый такт. Планировщик передает менеджеру все задачи и ожидает их выполнения.
6.3.1. Выполнение задачи
Управление переходит менеджеру задач.
  • Он формирует очередь из всех полученных задач, затем, по мере появления свободных потоков, начинает их выполнение. (Процесс выполнения задач различается в зависимости от систем. Системы могут работать только с одной задачей или обрабатывать одновременно несколько задач из очереди, реализуя таким образом параллельное выполнение.)
  • В процессе выполнения задачи могут работать со всей сценой или только с определенными объектами, изменяя их внутренние данные.
  • Системы должны получать уведомления о любых изменениях общих данных (например, позиции или ориентации). Поэтому при выполнении задачи системная сцена или объект информируют наблюдателя о любых изменениях. В этом случае наблюдатель фактически выполняет роль контроллера изменений, который является частью менеджера состояний.
  • Контроллер изменений формирует очередь уведомлений об изменениях для последующей обработки. Он игнорирует изменения, которые не касаются данного наблюдателя.
  • Чтобы воспользоваться определенными службами, задача обращается к менеджеру служб. Менеджер служб также позволяет менять свойства других систем, недоступные для передачи в механизме обмена сообщениями (например, система ввода данных меняет расширение экрана - свойство графической системы).
  • Задачи также могут обращаться к менеджеру среды для получения переменных среды и для изменения состояния исполнения (приостановка исполнения, переход к следующей сцене и др.).


Рисунок 12. Менеджер задач и задачи

6.3.2. Обновление данных
После выполнения всех задач текущего такта основной цикл игры обращается к менеджеру состояний, чтобы запустить этап обновления данных.
  • Менеджер состояний поочередно вызывает каждый из своих контроллеров изменений для рассылки накопленных уведомлений. Контроллер проверяет, каким наблюдателям отправлять уведомления об изменениях для каждого из субъектов.
  • Затем он вызывает нужного наблюдателя и сообщает ему об изменении (уведомление также включает в себя указатель на интерфейс субъекта). В режиме свободного пошагового выполнения наблюдатель получает измененные данные от контроллера изменений, но в режиме жесткого пошагового выполнения он должен запрашивать их у самого субъекта.
  • Обычно наблюдателями, заинтересованными в получении уведомлений об изменениях системного объекта, являются другие системные объекты, связанные с одним и тем же универсальным объектом. Это позволяет разделить процесс внесения изменений на несколько задач, которые можно выполнять параллельно. Чтобы упростить процесс синхронизации, можно объединить в одной задаче все связанные расширения универсального объекта.
6.3.3. Проверка выполнения и выход
Итоговый этап цикла игры представляет собой проверку состояния среды выполнения. Существует несколько таких состояний: работа, пауза, следующая сцена и т. п. Если выбрано состояние «работа», будет запущена следующая итерация цикла. Состояние «выход» означает завершение работы цикла, освобождение ресурсов и выход из приложения. Можно реализовать и другие состояния, например «пауза», «следующая сцена» и др.

7. Заключение

Основная идея данной статьи изложена в разделе 2, «Состояние параллельного выполнения». Благодаря функциональной декомпозиции и декомпозиции данных можно реализовать не только многопоточность движка, но и его масштабируемость на еще большее количество ядер в будущем. Чтобы исключить издержки на синхронизацию, продолжая поддерживать данные в актуальном состоянии, используйте менеджеры состояния в дополнение к механизму обмена сообщениями.

Шаблон «Наблюдатель» - это функция механизма обмена сообщениями. Важно хорошо понимать принцип ее работы, чтобы выбрать оптимальный способ ее реализации для движка. Фактически это механизм взаимодействия между различными системами, который обеспечивает синхронизацию общих данных.

Важную роль в распределении нагрузок играет управление задачами. В приложении D приведены советы по созданию эффективного менеджера задач для игрового движка.

Как видите, многопоточность игрового движка удается реализовать благодаря четко определенной структуре и механизму обмена сообщениями. С ее помощью можно значительно повысить производительность современных и будущих процессоров.

Приложение A. Схема движка

Запуск обработки выполняется из основного цикла игры (см. рис. 4, «Основной цикл игры»).


Приложение B. Схема взаимодействия движка и систем


Приложение C. Наблюдатель (шаблон проектирования)

Шаблон «Наблюдатель» подробно описан в книге «Приемы объектно-ориентированного проектирования. Паттерны проектирования», Э. Гамма, Р. Хельм, Р. Джонсон, Дж. Влиссидес («Design Patterns: Elements of Reusable Object-Oriented Software», Gamma E., Helm R., Johnson R., Vlissides J.). На английском языке она впервые была издана в 1995 году издательством Addison-Wesley.

Основная идея данной модели заключается в следующем: если каким-то элементам необходимо получать уведомления об изменениях других элементов, они не обязаны просматривать список всех возможных изменений, пытаясь найти в нем нужные данные. Модель подразумевает наличие субъекта и наблюдателя, которые используются для отправки уведомлений об изменениях. Наблюдатель отслеживает любые изменения субъекта. Контроллер изменений выступает в роли посредника между этими двумя данными компонентами. Следующая схема иллюстрирует данную связь.


Рисунок 13. Шаблон «Наблюдатель»

Ниже описан процесс использования данной модели.

  1. Контроллер изменений регистрирует наблюдателя и субъекта, уведомления о котором он хочет получать.
  2. Контроллер изменений фактически является наблюдателем. Вместо наблюдателя вместе с субъектом он регистрирует самого себя. Контроллер изменений также хранит свой список наблюдателей и зарегистрированных с ними субъектов.
  3. Субъект вносит наблюдателя (то есть контроллера изменений) в свой список наблюдателей, которые хотят получать уведомления о его изменениях. Иногда дополнительно указывается тип изменений, который определяет, в каких именно изменениях заинтересован наблюдатель. Это позволяет оптимизировать процесс рассылки уведомлений об изменениях.
  4. Меняя данные или состояние, субъект уведомляет наблюдателя посредством механизма обратного вызова и передает информацию об измененных типах.
  5. Контроллер изменений формирует очередь уведомлений об изменениях и ждет сигнала для их распределения по объектам и системам.
  6. Во время распределения контроллер изменений обращается к реальным наблюдателям.
  7. Наблюдатели запрашивают информацию об измененных данных или состоянии у субъекта (или получают их вместе с уведомлениями).
  8. Перед удалением наблюдателя или если ему больше не требуется получать уведомления о субъекте, он удаляет подписку на данный субъект в контроллере изменений. 
Существует множество разных способов реализовать распределение задач. Однако лучше всего поддерживать количество рабочих потоков равным количеству доступных логических процессоров платформы. Старайтесь не привязывать задачи к определенному потоку. Время выполнения задач различных систем не всегда совпадает. Это может привести к неравномерному распределению нагрузки между рабочими потоками и сказаться на эффективности. Чтобы упростить этот процесс, используйте библиотеки управления задачами, например