Визуализация

Прямой объёмный рендеринг и передаточные функции

Задача объёмной визуализации

Компьютерная томография даёт трёхмерное поле рентгеновской плотности, выраженной в единицах Хаунсфилда (HU). Рабочая станция строит по этому полю трёхмерное изображение методом прямого объёмного рендеринга: поверхность органа не вычисляется заранее, изображение получается интегрированием вклада всех точек объёма вдоль луча зрения. Ниже описано, как устроены два основных режима — «Общий» и «Скелет», какими числами они заданы и где проходят границы применимости метода.

Страница адресована двум читателям. Рентгенологу важно понимать, что именно он видит: какая плотность соответствует какому цвету и почему мягкие ткани полупрозрачны, а кость нет. Специалисту по обработке изображений важны параметры: узловые точки кривых, модель освещения, шаг интегрирования, состав данных в памяти. Все числа приведены так, как они заданы в текущей версии продукта.

Оба режима относятся к одному классу методов. Это не проекция максимальной интенсивности и не поверхностная модель по изоповерхности: и мягкие ткани, и кость участвуют в изображении как полупрозрачная среда, а различие режимов целиком определяется передаточными функциями и моделью освещения.

Срезы и многоплоскостные реконструкции

Объёмное изображение строится по тем же данным, что и обычные срезы, поэтому просмотр исследования начинается с них. В программе для этого есть два режима: «Стек» и «МПР ×3».

Стек

В режиме «Стек» серия показана по одному аксиальному срезу; срезы перелистываются по порядку, в углу кадра указан номер текущего среза и их общее число. Яркость и контраст изображения задаются окном и уровнем: окно определяет ширину отображаемого диапазона плотностей, уровень — его середину. Изображение выводится в градациях серого.

Режим «Стек»: аксиальный срез на уровне почек
Кадр программы. Режим «Стек»: аксиальный срез на уровне почек, срез 420 из 813, окно 663, уровень 153. Открытый набор данных CPTAC, исследование C3L-08152.

МПР ×3

В режиме «МПР ×3» та же серия показана одновременно в трёх взаимно перпендикулярных плоскостях: аксиальной, сагиттальной и корональной. Сагиттальное и корональное изображения — реконструкции, построенные по набору аксиальных срезов. На каждой плоскости проведены линии перекрестия: они отмечают положение двух других плоскостей. Окно и уровень действуют так же, как в режиме «Стек».

Режим «МПР ×3»: аксиальная, сагиттальная и корональная плоскости с линиями перекрестия
Кадр программы. Режим «МПР ×3»: аксиальная, сагиттальная и корональная плоскости с линиями перекрестия, тонкий срез, окно 663, уровень 153. Открытый набор данных CPTAC, исследование C3L-08152.

Все инструменты этих режимов — прокрутка и кино, измерения, готовые окна, раскладки и сравнение серий, наклон плоскости, толстый срез и его проекции — по порядку разобраны на странице «Режимы работы»: разделы «Стек» и «МПР ×3».

Все кнопки и инструменты режимов «Стек» и «МПР ×3» — раскладки, проекции толстого слоя, наклон плоскости, измерения — разобраны на странице «Режимы работы».

Прямой объёмный рендеринг и передаточные функции

Через каждый пиксель экрана в объём направляется луч. Вдоль луча с постоянным шагом берутся отсчёты плотности; каждому отсчёту передаточные функции сопоставляют цвет и непрозрачность, после чего отсчёты накапливаются от наблюдателя вглубь по правилу композитного смешения:

C ← C + (1 − A)·αi·ci,   A ← A + (1 − A)·αi,

где ci и αi — цвет и непрозрачность очередного отсчёта, C и A — накопленные цвет и непрозрачность луча. Чем раньше луч «насыщается», тем меньше видны глубокие слои; поэтому форма кривой непрозрачности определяет, какие ткани образуют видимую поверхность, а какие остаются дымкой перед ней.

Три функции, задающие режим

Режим визуализации описывается тремя функциями плотности. Кривая непрозрачности ставит в соответствие каждому значению HU долю поглощения. Цветовая шкала задаёт цвет отсчёта. Градиентная непрозрачность дополнительно умножает поглощение на коэффициент, зависящий от модуля градиента плотности: в однородной ткани градиент мал и вклад ослабляется, на границе тканей градиент велик и вклад сохраняется.

Кривая непрозрачности задаётся для отрезка луча фиксированной длины — единичной дистанции. Меньшая дистанция делает среду оптически плотнее при той же кривой, большая — прозрачнее. Наконец, модель освещения (фоновая, рассеянная и зеркальная составляющие) определяет, будет ли поверхность выглядеть объёмной за счёт светотени или изображение останется картиной чистого поглощения.

Здесь описан принцип. Перечень всех уровней объёмного режима, бегунок плотности, сечения и отсечение объёма, дерево элементов и остальные кнопки разобраны на странице «Режимы работы»: «Объём», «Уровни», «Срезы и отсечение».

Режим «Общий»: один регулятор плотности

Режим «Общий» показывает тело целиком: полупрозрачные розово-малиновые мягкие ткани с различимым ходом мышечных волокон, красные контрастированные сосуды и нейтрально-белую кость. Управление сведено к одному регулятору — порогу плотности T.

Объёмный вид, уровень «Общий», вид спереди
Кадр программы. Объёмный вид, уровень «Общий», вид спереди: кости белые, контрастированные сосуды красные, мягкие ткани полупрозрачные. Открытый набор данных CPTAC, исследование C3L-08152.
Видео из программы. Уровень «Общий», порог плотности −171 HU, полный оборот вокруг вертикальной оси: при повороте видны рельеф мышц, рёбра под мягкими тканями и форма тела сбоку и сзади. Открытый набор данных CPTAC, исследование C3L-08152, снято в программе версии 1.35.

Как регулятор сдвигает кривую

Форма кривой непрозрачности фиксирована, а её положение на оси плотности привязано к порогу T: все узловые точки заданы смещением от порога. Перемещение регулятора в пределах от −300 до +300 HU сдвигает кривую целиком. При низком пороге в изображении участвуют кожа и подкожная клетчатка; при повышении порога поверхностные слои последовательно «снимаются», открывая мышцы, затем сосуды и кость. Многополосный эквалайзер как основной инструмент не используется.

Объёмный вид, уровень «Общий» при низком пороге плотности
Кадр программы. Тот же уровень «Общий» при низком пороге плотности (бегунок в нижнем положении): видна поверхность тела. Открытый набор данных CPTAC, исследование C3L-08152.

Почему начало кривой держится низким

Ниже порога на 70 HU среда полностью прозрачна. Далее непрозрачность растёт очень медленно: на 20 HU ниже порога она составляет 1,2 % пикового значения, на 28 HU выше порога — 7,5 %, на 95 HU выше — 20 %. Лишь к 260 HU над порогом кривая достигает 38 %, а к 720 HU — половины пика. Пиковое значение равно 0,92 (допустимый диапазон 0,75–1).

Пологое начало принципиально. Мягкие ткани занимают узкий интервал плотностей сразу над порогом; если поднять непрозрачность на этом участке, луч насыщается в первых миллиметрах, и тело превращается в сплошную оболочку без внутреннего рисунка. При низкой ранней непрозрачности луч проходит через мышцу на значительную глубину, и изображение складывается из многих слоёв — отсюда видимость мышечного рельефа. По той же причине кривую режима нельзя заменить ступенькой «костного» типа: она скрывает мягкие ткани и даёт рябь на границах.

Кривая непрозрачности режима «Общий»

Узловые точки заданы смещением от порога T и долей пикового значения. В правой колонке — абсолютная непрозрачность при стандартном пике 0,92. Между точками кривая линейна; последняя точка привязана к верхней границе диапазона значений исследования.

Табл. 1. Узловые точки кривой непрозрачности режима «Общий» (последняя колонка — ориентировочное описание, зависящее от положения порога)
ПлотностьДоля пикаНепрозрачность при пике 0,92Что попадает в интервал
T − 70 HU00граница полной прозрачности
T − 20 HU0,0120,011едва заметная дымка
T + 28 HU0,0750,069начало пологого участка
T + 95 HU0,200,184пологий участок: мягкие ткани
T + 260 HU0,380,350плотные структуры, контрастированная кровь
T + 720 HU0,500,460кость
верхняя граница диапазона0,580,534наиболее плотные включения

Кривая нигде не достигает единицы: даже самая плотная кость в этом режиме остаётся частично проницаемой для луча. Это осознанный выбор для обзорного режима, в котором важна взаимная топография тканей, а не изолированный показ одной из них.

Схема: форма кривой относительно порога

Кривая непрозрачности режима «Общий» в зависимости от смещения плотности относительно порога T 00,20,40,6 −100T+200+400+600+800 смещение плотности от порога T, HU непрозрачность −70: 0 +28: 0,069 +95: 0,184 +260: 0,350 +720: 0,460 пологий участок — мягкие ткани далее медленный рост до 0,534 на границе диапазона →
Рис. 1. Кривая непрозрачности режима «Общий» при пиковом значении 0,92. Ось абсцисс — смещение плотности от порога T; регулятор сдвигает кривую вдоль оси без изменения формы.

Градиентная непрозрачность и освещение: рельеф мышц

Одной кривой плотности для передачи рельефа недостаточно: мышца и окружающая клетчатка различаются по плотности мало, и без дополнительного признака изображение получается плоским розовым «чулком». Таким признаком служит модуль градиента. В режиме «Общий» градиентная непрозрачность задана линейной рампой: при градиенте 2 и ниже вклад отсчёта умножается на 0,025, при градиенте 36 и выше сохраняется полностью.

Нижняя граница рампы намеренно не равна нулю. При нулевом множителе однородные области исчезают полностью и остаётся только тонкая оболочка границ; множитель 0,025 сохраняет слабое объёмное свечение ткани, на фоне которого проступают границы мышечных пучков, фасций и сосудов. Поэтому после любого обновления сцены эта рампа устанавливается заново и не подменяется общей настройкой подчёркивания краёв.

Затенение включено: нормаль к поверхности оценивается по градиенту плотности, освещение считается по модели с фоновой, рассеянной и зеркальной составляющими.

Табл. 2. Оптические параметры режима «Общий»
ПараметрЗначение
Диапазон порога плотности Tот −300 до +300 HU
Пиковая непрозрачность0,92
Единичная дистанция непрозрачности1,25
Градиентная непрозрачность, нижняя точкаградиент 2 → множитель 0,025
Градиентная непрозрачность, верхняя точкаградиент 36 → множитель 1
Фоновая составляющая освещения0,34
Рассеянная составляющая0,82
Зеркальная составляющая / показатель блика0,2 / 22
Затенениевключено
Объёмное рассеяние и глобальное освещениеотключены
Автоподбор шага интегрированияотключён

Цветовая шкала режима «Общий»

Цвет в режиме «Общий» решает задачу различения трёх классов структур при одной кривой непрозрачности. Шкала построена по абсолютной плотности в трёх опорных зонах. От порога T начинается тёмный малиновый тон мягких тканей. К 250 HU шкала приходит к насыщенному красному: это типичная плотность просвета контрастированного сосуда, поэтому сосуды выделяются на фоне мышц цветом, а не только яркостью. Выше, начиная с большего из двух значений — T + 420 HU или 450 HU, — цвет становится нейтрально-белым и к 900 HU достигает чистого белого.

Табл. 3. Опорные точки цветовой шкалы режима «Общий» (составляющие R, G, B в долях единицы; описание зрительного впечатления ориентировочное и зависит от положения порога)
ПлотностьRGBЗрительное впечатление
порог T0,420,090,13тёмно-малиновый: мягкие ткани
250 HU1,000,080,07насыщенный красный: контрастированные сосуды
max(T + 420; 450) HU0,940,940,93нейтрально-белый: кость
900 HU1,001,001,00белый: плотная кортикальная кость

Белый тон кости нейтральный, без желтоватого или золотистого оттенка. Переход к белому приходится на интервал приблизительно 350–450 HU, то есть выше плотности контрастированной крови в большинстве артериальных исследований.

Режим «Скелет»: полупрозрачная кость

Режим «Скелет» показывает костную систему как коричнево-серую полупрозрачную среду с различимой внутренней структурой. Это не поверхностная модель и не проекция максимальной интенсивности: используется то же композитное накопление вдоль луча, что и в режиме «Общий», но с другой кривой и без светотени.

Объёмный вид, уровень «Скелет», вид спереди
Кадр программы. Уровень «Скелет», вид спереди: кости в коричнево-серой гамме, видны контрастированные аорта, подвздошные артерии и сердце. Открытый набор данных CPTAC, исследование C3L-08152.
Видео из программы. Уровень «Скелет», полный оборот: кортикальный слой образует контур, сквозь рёбра и кости таза видны позвоночник, аорта и подвздошные артерии. Открытый набор данных CPTAC, исследование C3L-08152, снято в программе версии 1.35.

Кривая высоких плотностей

Кривая относится к типу «пропускание высоких плотностей». Нижняя граница окна 137 HU и верхняя 1398 HU сдвинуты на 45 HU, поэтому рабочий порог равен 182 HU, а точка полной непрозрачности — 1443 HU. Переход у порога узкий: его полуширина составляет 0,45 от 2 % ширины окна, то есть около 11 HU. Ниже 170,7 HU среда прозрачна, на пороге непрозрачность равна 0,06, на 193,3 HU — уже 0,42. Далее следует длинный линейный подъём до единицы на 1443 HU; к верхней границе диапазона значений кривая снижается до 0,78.

Такая форма даёт два эффекта. Резкий вход у порога отсекает мягкие ткани и контрастированные сосуды умеренной плотности, не оставляя дымки. Длинный подъём означает, что губчатая кость остаётся заметно прозрачнее кортикальной: сквозь тело позвонка или крыло подвздошной кости видны более глубокие структуры, а плотный кортикальный слой образует контур.

Без затенения и градиентной непрозрачности

В режиме «Скелет» затенение, градиентная непрозрачность и вычисление нормали по непрозрачности отключены, смешение композитное. Яркость пикселя определяется только накопленным вдоль луча поглощением и цветовой шкалой, без светотени и бликов. Зрительно это коричнево-серая полупрозрачная кость: кортикальный слой и грудная клетка образуют контур, сквозь который видна внутренняя структура. Непрозрачная белая ступенька на костном пороге в этом режиме не применяется.

Параметры режима «Скелет»

Табл. 4. Кривая непрозрачности и цветовая шкала режима «Скелет» (для диапазона значений от −2048 до 5610 HU)
Плотность, HUНепрозрачностьПлотность, HUЦвет (R; G; B)
нижняя граница диапазона0нижняя граница диапазона0,02; 0,02; 0,02
170,701800,12; 0,10; 0,09
182 (порог)0,062800,45; 0,38; 0,32
193,30,424200,78; 0,70; 0,58
14431,007000,94; 0,88; 0,78
5610 (верхняя граница)0,7811000,98; 0,95; 0,90
верхняя граница диапазона1,00; 0,98; 0,92

Цветовая шкала идёт от тёмно-коричневого у порога через серо-бежевый к тёплому светлому тону плотной кости; дополнительный множитель оттенка объёма равен (1,08; 1,02; 0,92).

Табл. 5. Оптические параметры режима «Скелет»
ПараметрЗначение
Окно плотности / сдвиг137–1398 HU / +45 HU
Пиковая непрозрачность1
Относительная ширина перехода0,02
Единичная дистанция непрозрачности0,85
Смешениекомпозитное
Затенение, градиентная непрозрачностьотключены
Фоновая / рассеянная / зеркальная составляющие, показатель блика0,28 / 0,82 / 0,32 / 10
Объёмное рассеяние и глобальное освещениеотключены

Сравнение кривых двух режимов

Чтобы сопоставить режимы, обе кривые совмещены по собственным порогам: для режима «Общий» это положение регулятора T, для режима «Скелет» — 182 HU.

Сравнение кривых непрозрачности режимов «Общий» и «Скелет», совмещённых по порогу 00,51 −100порог+400+800+1200 смещение плотности от порога режима, HU непрозрачность «Скелет»: скачок до 0,42 за 11 HU, затем подъём до 1 «Общий»: пологий рост, 0,46 на +720 HU 0,42 +1261: 1
Рис. 2. Кривые непрозрачности режимов «Общий» (пик 0,92) и «Скелет» (пик 1), совмещённые по порогу. В первых десятках HU над порогом режим «Скелет» на порядок плотнее; режим «Общий» остаётся полупрозрачным на всём диапазоне.

Различие усиливается единичной дистанцией непрозрачности: 0,85 в режиме «Скелет» против 1,25 в режиме «Общий». При равном значении кривой костная среда набирает поглощение на более коротком отрезке луча.

Качество при вращении не снижается

Распространённый приём ускорения объёмного рендеринга — на время движения мыши показывать упрощённое изображение: с меньшим разрешением или с более редким шагом вдоль луча. В рабочей станции этот приём по умолчанию не применяется: кадр во время вращения строится с теми же параметрами, что и неподвижный.

Табл. 6. Что остаётся неизменным при взаимодействии
ПараметрВо время вращения, сдвига, поворота куба, перемещения границ обрезки
Размер кадра в пикселяхравен размеру неподвижного кадра
Учёт плотности пикселей экранатот же предел, что в покое
Шаг интегрирования вдоль лучане увеличивается
Предельное число отсчётов на лучне уменьшается
Случайное смещение начала лучакак в покое
Передаточные функции и освещениене изменяются
Пользовательские настройки изображенияне сбрасываются по окончании движения

Плавность обеспечивается только регулированием темпа: частотой запроса кадров и очерёдностью доступа к видеокарте. Иначе говоря, при нехватке производительности снижается частота кадров, но не качество каждого кадра. Упрощённый показ на время движения существует как отдельная настройка в панели «Видео» и включается только самим пользователем.

Чем управляется объёмный вид — уровни, бегунок плотности, срезы и отсечение, дерево элементов — перечислено на странице «Режимы работы»: уровни, срезы и отсечение.

Вычисления на видеокарте и бюджет памяти

Все тяжёлые операции над объёмом — хранение текстуры плотности, применение передаточных функций, интегрирование вдоль луча — выполняются на графическом процессоре. Центральному процессору оставлены только лёгкие управляющие задачи: расстановка начальных точек, короткие шаги вдоль центральной линии сосуда, интерфейс. Полнообъёмные обходы на центральном процессоре (заливка, перебор сечений по всему объёму) в рабочем пути не используются.

Второе ограничение касается оперативной памяти. Исследование тела содержит более ста миллионов точек, и каждая лишняя полная копия объёма вытесняет данные в файл подкачки, после чего отклик системы резко падает. Поэтому принято правило «один буфер каждого вида на сеанс».

Табл. 7. Состав полнообъёмных данных в памяти
ДанныеПредставлениеПравило
Плотность (HU)16-битные целыеодин экземпляр на сеанс, без копий
Метки сегментации8-битные целыеодин общий экземпляр
Слой наложения32-битные вещественныеодин экземпляр; при перестройке сцены используется повторно
Признак посещения при обходе1 бит на точку объёма или область интересане отдельный байтовый объём
Рабочая плоскость сеченияне более 25 × 25 отсчётовпостоянный буфер, без выделения памяти в цикле

Подсветка находок следует тому же правилу: изменения хранятся разреженно, только для точек объёма, относящихся к находкам, а не как вторая копия объёма.

Ограничения метода