Зачем это нужно?

Чтобы понять, как работает белок, нужно увидеть его трёхмерную структуру.

Исследования структуры белков лежат в основе современной медицины и биотехнологий и связаны более чем с десятью Нобелевскими премиями. Один из ключевых методов определения структуры — рентгеноструктурный анализ.

зачем нужна структура?

зачем выращивают кристаллы белков?

Форма белка определяет его работу

Трёхмерная структура показывает, как белок взаимодействует с другими молекулами. Это помогает объяснять механизмы заболеваний и создавать лекарства, ферменты и биосенсоры.

Структура белка

Понимание функции и разработка лекартсв

Одиночный белок

Кристалл белка

Ренгеноструктурный анализ

Одиночный белок рассеивает рентгеновские лучи слишком слабо, поэтому белки выращивают в виде кристалла, чтобы получить сильный и упорядоченный сигнал для определения структуры.

Рентгеновские лучи раскрывают строение

Умная система берет рутину на себя: автоматическая платформа сканирует образцы, а нейросеть мгновенно находит идеальные кристаллы.

После кристаллизации белков, ученые вручную просматривают тысячи полученных образцов под микроскопом, чтобы найти удачно выросший кристалл. Это сотни потерянных часов и человеческий фактор.
К тому же доступных отечественных систем для автоматизации такого поиска недостаточно.

Решение

Проблема

Цель проекта

Задачи

разработка системы компьютерного зрения для автоматического обнаружения и анализа белковых кристаллов с целью повышения эффективности белковой кристаллографии.

01

02

03

04

Вырастить кристаллы белков для обучения нейросети

Создать и обучить нейронную сеть для идентификации кристаллов и улучшения их качества

Разработать физическое устройство для автоматического скрининга кристаллов

Создать облачную платформу для быстрого анализа данных

Эксперимент

Три способа получить кристалл

Методы кристаллизации белков

Используемые белки

Условия хранения образцов

Термостат, 15 °C, продолжительность хранения — 3–7 суток.

Полученные результаты

Каждый из трёх методов кристаллизации применяли для каждого из трёх белков. Ниже представлены отдельные примеры из множества полученных образцов.

Газовая диффузия

Микробатч под маслом

Контрдиффузия

01

02

03

04

Прототип

05

Устройство само проходит по лункам и фиксирует состояние каждой капли.

Подвижная XY-платформа, макрокамера, датчик температуры и управляющая электроника работают как единый автоматизированный микроскоп.

XY-платформа

Макрокамера

PT100 + MAX31865

Управляющий код

Облачное хранилище

Перемещает планшет и точно подводит каждую лунку к камере.

Получает детальные снимки капель в заданных координатах.

Контролируют температуру образцов во время эксперимента.

Синхронизирует движение, съёмку и отправку данных.

Хранит изображения и записи лабораторного журнала.

Механика

Оптика

Сенсор

Алгоритм

Данные

01

02

03

04

05

06

Движение платформы

Остановка в точке фокуса

Контроль координат и температуры

Активация макрокамеры

Запись и отправка снимка

Повтор до конца планшета

Компьютерное зрение

Как мы выбирали модель для анализа снимков.

Нейросети могут быть устроены по-разному. Чтобы не выбирать решение заранее, мы обучили несколько сильных и известных архитектур на одних и тех же данных, а затем сравнили их качество.

Это внутреннее устройство нейросети.

Архитектура определяет, как модель обрабатывает фотографию и выделяет форму, границы и текстуру объектов. Одна сеть лучше замечает мелкие детали, другая устойчивее к изменению освещения. Поэтому правильную архитектуру выбирают экспериментально.

Свёрточные нейросети

Зрительные трансформеры

ResNet-152

ResNet-152

ResNet-152

Swin V2-B

глубокая классическая архитектура

анализирует изображение по локальным областям

современное развитие свёрточных сетей

использует заранее изученные зрительные признаки

На каких данных обучались модели?

MARCO — международный набор снимков кристаллизации.

Инициатива MARCO появилась в 2017 году, а в 2018 году набор и первая нейросетевая модель были описаны в научной статье. Изображения предоставили пять научных и фармацевтических организаций: CSIRO C3, GlaxoSmithKline, Hauptman-Woodward Medical Research Institute, Merck и Bristol-Myers Squibb.
Снимки получили в разных лабораториях, на системах Rigaku, Formulatrix и собственной установке HWMRI. В набор вошли эксперименты с диффузией пара и микропорционным выращиванием под маслом. Поэтому MARCO стал общей площадкой, на которой можно сравнивать модели в одинаковых условиях.

создана международная инициатива MARCO

опубликованы набор и результаты первой модели

изображений в использованной нами обучающей части

изображений в проверочной части, которую модель не видела при обучении

Исходная задача MARCO

Четыре состояния капли

Каждому изображению присваивали один из четырёх классов. Это намеренно широкие категории, общие для всех лабораторий, участвовавших в MARCO.

Класс 01

Clear
(прозрачная капля)

Класс 02

Crystal
(кристаллы)

Класс 03

Precipitate
(осадок)

Класс 04

Other
(другое)

Важно: класс Crystal означает, что модель увидела кристаллические объекты. Он ещё не подтверждает, что найден качественный монокристалл, пригодный для рентгеноструктурного анализа: это отдельно оценивает специалист.

Как проверяли качество

Одного числа недостаточно.

Если один класс встречается намного чаще других, высокая общая доля правильных ответов может скрывать пропуски редких, но важных случаев. Поэтому мы смотрим сразу на Accuracy, Precision, Recall и F1.

Сначала сравниваем реальное состояние снимка с ответом модели. Здесь показан пример для класса Crystal. Для остальных классов расчёт выполняется так же.

Что означает Macro: Precision, Recall и F1 сначала считают отдельно для каждого из четырёх классов, а затем усредняют. Так Clear, Crystal, Precipitate и Other получают одинаковый вес независимо от числа изображений.

Сравнение архитектур по четырём метрикам

Лучший одиночный результат показала DINOv2 ViT-L/14. При этом все четыре модели близки по качеству, поэтому мы проверили, даст ли их совместное решение более устойчивый результат.

Зачем мы объединили несколько моделей?

Мы решили объединить DINOv2, ConvNeXt, Swin V2 и ResNet в ансамбль — группу моделей, которые независимо анализируют один и тот же снимок. Затем их оценки усредняются, и система выбирает общий ответ.
Если одна архитектура ошибается или сомневается, остальные могут компенсировать её ошибку. Поэтому ансамбль меньше зависит от особенностей одной сети и обычно даёт более стабильный результат.

Собственные лабораторные данные

MARCO недостаточен: лабораторные фото отличаются от реальных условий (свет, оборудование, состояние капли). Нужна проверка на данных проекта.

Параметр

Большой открытый набор

47 029 изображений

1 из 4 классов

1 или несколько классов

Неоднозначные снимки нашей лаборатории

800 сложных изображений

Суть

Размер

Ответы

MARCO test (международный)

Hard-case benchmark (локальный)

Датасет — это упорядоченный набор изображений и связанных с ними сведений. Архив даёт большой объём и длинные временные серии, а новый журнал — точный контекст каждого эксперимента.

В подготовленный экспорт вошло 9 703 примера. Для 9 372 изображений эксперты согласовали класс, а 331 сложный случай оставили неоднозначным.

Для каждого снимка указано, какой белок исследовали, каким методом поставили эксперимент, какую каплю фотографировали и в какой день.

День 1

День 5

первое наблюдение

повторный снимок той же капли

Двух точек пока недостаточно для прогноза роста кристаллов, но данные уже подходят для классификации и подготовки более длинных наблюдений.

Собственный сервис разметки

В сервисе эксперт открывает изображение, выбирает один или несколько классов и отмечает, если ответ неочевиден. Спорный снимок можно отправить на повторную проверку. Система сохраняет историю решений, имя эксперта, версию разметки и подсказку модели.

Эксперт просматривает изображение, выбирает один или несколько классов и при необходимости отправляет пример на дополнительное рассмотрение.

Может ли модель отмечать несколько состояний сразу?

В сервисе эксперт открывает изображение, выбирает один или несколько классов и отмечает, если ответ неочевиден. Спорный снимок можно отправить на повторную проверку. Система сохраняет историю решений, имя эксперта, версию разметки и подсказку модели.

Во всех четырёх случаях результат вырос после предметного дообучения. Сейчас эталонный набор расширен до 500 изображений, поэтому метрики будут пересчитаны на его полной версии.