Компания ArtCollecting провела презентацию предварительных результатов тестирования собственной нейросети, которая разрабатывается для аутентификации и реставрации искусства. Презентация проходила на двух языках — русском и английском. На мероприятие зарегистрировалось более 70 человек, из них 60 — зарубежные эксперты (сотрудники музеев, галерей, аукционных домов, экспертных лабораторий), которые присутствовали онлайн. Представляем вашему вниманию ответы Марины Надеевой на ключевые вопросы, которые задали гости во время презентации.
Марина Надеева — со-основатель ArtCollecting, культуролог, аттестованный эксперт по культурным ценностям. Проходила обучение в Гарвардском университете по направлению Data Science. В команде разработки ИИ-приложения для аутентификации искусства отвечает за библиотеки данных, аналитику (подготовку сценариев для обучения алгоритмов — передаются разработчикам) и тестирование алгоритмов.
– Что вы думаете об использовании ИИ для аутентификации произведений искусства? Считаете ли этот метод надежным?
– Да, я уверена, что в будущем искусственный интеллект будет применяться для проверки подлинности картин. Он станет ценным помощником для экспертов и возьмет на себя рутинные задачи. Однако чтобы ускорить приближение этого будущего, необходимо оцифровывать музейные коллекции — это значительно расширит объем общедоступных данных для обучения ИИ. Крупные музеи, такие как Эрмитаж или Лувр, уже выложили в сеть фотографии многих своих экспонатов, но в небольших музеях зачастую нет даже любительских снимков. Например, вы не найдете в интернете работ Врубеля или Васнецова из Абрамцево, хотя Абрамцево было центром притяжения для многих художников. То же самое с фрагментами фресок или иконами из Сергиева Посада. Аналогичная проблема в Италии — в открытом доступе катастрофически мало фотографий мозаик Равенны. Этот список можно продолжать бесконечно. Для подготовки датасетов нужно больше фотоматериалов.
– Были ли случаи, когда ИИ помог выявить подделку или подтвердить подлинность произведения искусства?
– Искусственный интеллект способен обнаруживать очевидные подделки. Недавний пример из нашей практики — скульптура, приписываемая Павлу Трубецкому. ИИ распознал поддельное клеймо. Другие случаи: вольные репродукции. Советские художники часто перерисовывали произведения известных зарубежных авторов по фотографиям из журналов. Такие репродукции пользовались высоким спросом. Наследники не верят, что в их руках не Сальвадор Дали или Амедео Модильяни, просят экспертов подтвердить подлинность. ИИ экономит время и быстро находит первоисточники.
– Считаете ли вы, что ИИ действительно способен понять художественный замысел произведения искусства?
– Нет. ИИ можно обучить проводить глубокий поиск и анализировать данные из открытых источников и внутренних баз. Вернемся к примеру с Трубецким. Что делает эксперт-искусствовед сегодня, если не помнит конкретные детали или даты? Он ищет в Google примеры клейм литейных мастерских на скульптурах Трубецкого, открывает каждый сайт, затем уточняет годы его работы в Москве и Париже, чтобы сверить факты. Этот процесс отнимает много времени. ИИ сокращает время, которое эксперты тратят на рутину: вы загружаете изображение, и за секунды ИИ выполняет задачи, для которых его обучили. На практике это помогает в предпродажной подготовке. Приложение с ИИ, интегрированное в CRM-систему, может отфильтровывать запросы с потенциальными подделками. Затем эксперты или менеджеры могут расставить приоритеты, отбирая заявки и сосредотачиваясь на самых важных. Рынок экспертных услуг очень узкий, и один специалист может получать от 50 до 200 запросов в день.
– Как вы оцениваете роль экспертов по сравнению с ИИ в процессе аутентификации?
– Искусственный интеллект не заменит экспертов по искусству, но может значительно сократить время работы с архивными материалами, их сравнения и анализа. Особо хочу выделить работу с архивами. Мне больше не нужно посещать сайты библиотек или музеев, чтобы составить список релевантной литературы — ИИ генерирует такой список за секунды и даже предоставляет прямые ссылки для скачивания оцифрованных версий книг. То, что раньше требовало несколько часов исследований, теперь занимает считанные секунды.
– Будет ли ИИ больше использоваться в будущем или останется вспомогательным инструментом?
– Искусственный интеллект останется вспомогательным инструментом. Для определения подлинности произведений искусства необходимо осматривать их лично – особенно в случаях, когда это не очевидно по фотографиям, даже высококачественным. Бывают ситуации, когда эксперт может сразу определить подделку без длительных исследований.
– Вы обсуждали это с другими экспертами. Можете поделиться их мнением?
– Как эксперт по культурным ценностям, регулярно взаимодействующий с коллегами, я наблюдала совершенно разные реакции — что типично для любых инноваций. Всё зависит от конкретного человека и его опыта. Наиболее интересные дискуссии у меня были с профессорами университетов. Они активно поощряют аспирантов выбирать темы диссертаций, связанные с искусственным интеллектом. Аутентификация произведений искусства с помощью ИИ — одно из таких перспективных направлений. Гуманитарные факультеты особенно заинтересованы в разработке методологий подобной аутентификации.
– Как именно ИИ анализировал подписи? Он изучал конкретные детали или закономерности?
– Алгоритм специально обучали распознавать шрифты и почерки. Для этого мы создали датасеты, включающие библиотеки шрифтов (в том числе исторических) и образцы почерков художников. ИИ анализирует каждую букву отдельно, выявляя сходства и различия. Он изучает различные характеристики: форму букв, наличие засечек, пространственную ориентацию штрихов, плавность почерка, ритм и координацию движений, соединения букв и нажим — всё это определяется с помощью компьютерного зрения. Система также может распознавать эклектичные стили письма, характерные для провинциальной иконописи, например случаи?, когда надписи на иконах сочетают буквенные формы разных исторических периодов.
– Какие данные вы собирали для анализа?
– Для обучения ИИ мы использовали метод парсинга изображений и данных из открытых источников, специально обучая алгоритмы нейросети находить источники, не индексирующиеся в Google или Яндекс. Также мы включили собственные материалы — самостоятельно собранные библиотеки подписей художников и коллекции изображений, отснятых во время экспедиций.
– Как нейросеть сравнивала подписи?
– ИИ анализирует каждую букву отдельно, оценивая сходства и различия по множеству параметров: форма букв, наличие засечек, пространственная ориентация штрихов, характеристики плавности почерка, ритм и координация движений, особенности соединения букв и сила нажима — всё это выявляется с помощью технологий компьютерного зрения.
– Были ли неожиданные находки в ходе анализа?
– Да, такие случаи были. Особенно показателен пример с анализом подписи — как с помощью ИИ, так и при последующей традиционной экспертизе — которая была идентифицирована как подпись Эдуарда Мане на обороте графической работы. Анализ также подтвердил период создания работы — XIX век. Однако сравнительный и стилистический анализ самого произведения противоречит авторству Мане. Окончательное решение по поводу подлинности работы пока не принято, так как исследования продолжаются.
– Сколько образцов подписей Мане было доступно для анализа?
– Было выявлено более 500 образцов почерка Эдуарда Мане на общедоступных фотографиях низкого разрешения. Кроме того, наша команда провела специальную фотосъемку в музеях, чтобы получить еще 10 эталонных образцов.
– На какие конкретные особенности подписи обращал внимание ИИ?
– ИИ в первую очередь анализирует характерные для определенного периода особенности алфавита (поскольку алфавиты естественным образом эволюционируют со временем) и сравнивает начертания букв с проверенными эталонными образцами.
– Был ли процесс экспертизы полностью автоматизирован, или эксперты участвовали в интерпретации результатов?
– ИИ может точно сравнивать подписи, клейма и шрифты. Он также способен датировать объекты, анализируя форму букв. В планах — обучить его анализу каллиграфии. Однако ИИ не может заменить экспертов по искусству. Только человек способен проводить полноценный стилистический анализ и комплексную техническую экспертизу.
ИИ может идентифицировать пигменты по фотографиям под микроскопом, но результаты иногда бывают неоднозначными. Например, система может показать, что определенный пигмент использовался как в XVI, так и в XX веках — что может соответствовать действительности. Все результаты проверяются экспертами. Они используют данные ИИ о пигментах и подписях, но окончательное заключение всегда остается за специалистом-человеком.
– Можете подробнее рассказать о вашей роли в управлении наборами данных?
– Я руковожу разработкой специализированных обучающих наборов данных для нашей нейросети. В мои задачи входит создание и систематизация всеобъемлющих визуальных материалов, которые позволяют моделям машинного обучения анализировать множество факторов аутентификации. Для проверки периода создания мы собираем тысячи датированных изображений произведений, демонстрирующих стилистическую эволюцию различных направлений и школ. Для установления авторства мы создаем подробные базы подписей с сотнями проверенных образцов для каждого художника, дополненные техническими библиотеками изображений, фиксирующими характерные особенности: манеру наложения мазков, сочетания пигментов и использование материалов, свойственных каждому автору. Наши наборы данных включают микроскопический анализ слоев краски, данные мультиспектральной съемки и информацию о провенансе, когда она доступна. Мы постоянно расширяем эти ресурсы через сотрудничество с музеями, архивные исследования и фотосессии проверенных шедевров.
– Какие именно данные вы собираете?
– Наше будущее приложение для аутентификации искусства использует специально составленные справочные библиотеки, содержащие подписи художников, базы данных художественных приемов и категоризированные фотографии произведений, организованные как по историческим периодам, так и по конкретным жанрам, в которых работал каждый художник. Эти комплексные коллекции позволяют проводить системный анализ аутентичных характеристик всего творчества художника. Мы также разработали специализированные справочники по пигментам, связующим веществам и материалам, составив и проанализировав ранее опубликованные научные исследования об исторических художественных материалах. Эти специализированные наборы данных опираются на признанные исследования в области технологии искусства и научную литературу по консервации для создания всесторонних профилей материалов в целях аутентификации.
– Как вы обеспечивали качество и точность наборов данных?
– Наша система аутентификации произведений искусства на основе ИИ следует строгому процессу запуска алгоритмов. Изначально мы сосредоточились на таких художниках, как Марк Шагал, о которых можно найти десятки тысяч общедоступных проверенных материалов. Система автоматически собирает и обрабатывает всю доступную документацию о каждом художнике из надежных источников, дополняя их нашими оригинальными фотоматериалами.
Благодаря постоянному тестированию мы совершенствуем алгоритмы для повышения точности распознавания произведений. ИИ предварительно отбирает и классифицирует источники (например, «Музей» или «Аукцион»), автоматически отфильтровывая ненадежные, такие как магазины репродукций. Все источники проходят дополнительную проверку экспертами, выстраивающими систему приоритетов, где музейные коллекции и наши оригинальные фотографии имеют преимущество перед аукционными записями (некоторые из которых помечаются как сомнительные).
Мы также создали специализированные справочные базы известных подделок и разработали детальные контрольные списки для аутентификации, которые наши алгоритмы должны выполнять во время анализа. Этот многоуровневый подход с экспертной валидацией для обеспечения надежных результатов.
– С какими сложностями вы сталкивались при подготовке данных для анализа?
– Мы разрабатываем индивидуальные методики создания наборов данных для конкретных художников, так как каждый случай предполагает отдельные проблемы, связанные как с художественным наследием, так и с доступной фотодокументацией. Возьмем, к примеру, Наталию Гончарову — хотя ее детские и юношеские наброски сохранились в музейных коллекциях, ни один из них не был окончательно аутентифицирован.
При изучении недавно обнаруженного раннего наброска, приписываемого Гончаровой, эксперты сталкиваются с дилеммой. Без проверенных эталонных работ они вынуждены сравнивать его с другими аналогичными сомнительными произведениями, а не с подтвержденными образцами. Анализ становится еще сложнее при рассмотрении альтернативных атрибуций — если не Гончарова, то кто? Это требует сбора сравнительных материалов от неизвестных художников со схожими стилистическими характеристиками. Именно такие вызовы определяют специализированный процесс подготовки данных. Наша методика должна учитывать подобные неопределенности.
– Как ваше образование в сфере искусства помогло в процессе работы с ИИ?
– Знание истории искусства абсолютно необходимо при разработке методик обучения и тестирования алгоритмов ИИ для аутентификации произведений. Такая экспертиза обеспечивает корректную интерпретацию художественных стилей, техник и исторического контекста, которые машины не способны полностью осмыслить самостоятельно. Искусствоведы формируют критически важную систему координат, направляя анализ таких факторов аутентификации как мазки, материалы и другие элементы, с учетом всех нюансов истории искусства. Их знания определяют не только то, что изучает ИИ, но и как следует оценивать его выводы, создавая мост между техническим анализом и экспертной оценкой. Без этого специализированного опыта системы ИИ не имели бы необходимой базы для надежных заключений об аутентичности.
– Как вы подошли к сбору и систематизации данных об искусстве?
– Наш сбор данных сочетал два ключевых подхода: парсинг и ранжирование общедоступных источников по разработанной нами системе приоритетов, а также создание собственных баз данных на основе оригинальных фотоматериалов. В базах хранятся расширенные профили произведений — каждый объект может содержать более 50 тщательно определенных экспертами параметров. Затем наша команда программистов разработала специализированные алгоритмы для анализа и перекрестной проверки этих параметров в целях аутентификации.
– Какие наиболее интересные или сложные аспекты работы с коллекцией вы могли бы выделить?
– Работа с коллекцией Нины Молевой была особенной. Я занималась экспертизой икон, произведений живописи и графики XIX – XX вв. и произведений Элия Белютина. Позвольте мне рассказать о ней подробнее — Нина Молева была искусствоведом, преподававшим историю искусства в МГУ. Ее супруг, Элий Белютин, известным художником-абстракционистом, хотя его мастерство выходило далеко за рамки абстракции. Он обладал глубокими познаниями в истории искусства, преподавал и экспериментировал с различными стилями и направлениями. Супруги сотрудничали с реставратором Алексеем Рыбниковым, который помог сохранить коллекцию в сложные советские времена.
Всё это порождает интригующие вопросы: могли ли эти три специалиста образовать выдающееся трио фальсификаторов произведений искусства? Если да, то зачем — в советское-то время? Но да, такое возможно, даже в советский период. Мог ли Белютин в начале карьеры практиковаться в копировании работ других художников? Почему бы и нет! Ещё один интересный аспект: состояние коллекции, которое создает дополнительные сложности. Несмотря на усилия Рыбникова по консервации, многие работы сохранились плохо. Видны следы местной фауны — например, паутина и не только. Ранее мне не приходилось сталкиваться с такими мощными биологическими загрязнениями. Некоторые произведения могут потребовать повторной оценки после раскрытия от органических отложений.
– Как ИИ работал над аутентификацией подписи Мане?
– Модель для анализа подписей Мане обучалась с использованием нескольких ключевых технологий. Основу составили сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN) и сети с долгой краткосрочной памятью (LSTM). Для классификации признаков и определения границ между классами применялся метод опорных векторов (SVM). В обработке изображений использовались: преобразование Хафа для выявления геометрических примитивов, масштабно-инвариантное преобразование Фурье (SIFT) для обнаружения ключевых точек, алгоритм FAST для определения углов подписи и метод Кэнни для выделения границ.
Процесс сравнения подписей искусственным интеллектом включал несколько методик. Создавалась матрица расстояний, инвариантная к смещению, повороту и масштабу. Метод экстремумов позволял находить соответствия между точками локальных максимумов и минимумов. Скрытая марковская модель анализировала последовательность элементов подписи. Пирамидальное представление разделяло подпись на участки с построением эллипсов инерции. Аппроксимация кривыми Безье строила кривые на основе точек подписи, а эллиптические примитивы описывали участки подписи через геометрические фигуры. Пространственные особенности подписи анализировались сверточными сетями (CNN), последовательность точек письма обрабатывалась рекуррентными сетями (RNN), а сети LSTM учитывали временную составляющую при сравнении.
– С какими сложностями в обработке и анализе изображений вы сталкивались?
– Мы работаем над алгоритмами восстановления утраченных изображений. Результаты во многом зависят от исходной информации. Чем ее меньше, тем шире интерпретация результатов. Если референсов недостаточно, ИИ не восстановит оригинальное изображение, а создаст совершенно новое — подобно тому, как это делает Midjourney, обращаясь к библиотекам с низким приоритетом.
– Возникают ли трудности при интеграции различных систем?
– Да, существуют закрытые базы данных музеев и лабораторий, которые мы хотели бы подключить. Однако для этого нет юридических оснований. Юристы музеев ранее не сталкивались с соглашениями подобного рода и не понимают, как с ними работать. Еще одна проблема — высокая стоимость профессиональной фотосъемки. В среднем $100 за использование данных по одному произведению. А нам нужны сотни тысяч. Переговоры с правообладателями продолжаются.
Фото © пресс-служба компании ArtCollecting
