В начале июля в Риге, в офисной галерее Латвийского центра современного искусства, открылась выставка пиксельного видеоарта «Сигнальные пары». Это совместный проект художника Алексея Грищенко из Новосибирска и латвийского поэта Артура Пунте. Восемь видео-роликов были показаны публике на специальных терминалах, каждый из которых состоял из светодиодного экрана и отражающей поверхности, где пиксели света сливались в узнаваемую картинку. Я поговорила с Алексеем о технологических особенностях этого проекта, границах человеческого восприятия и нейронных сетях.

— Как вы познакомились с Артуром? Как возникла идея этого проекта?

Насколько ты знаешь, Артур Пунте — поэт, и кроме поэтических текстов он делает разные смежные проекты. Видеопоэзию, например. Группа «Орбита» — одни из первопроходцев видеопоэзии в русскоязычном пространстве. У Артура есть небольшие поэтические видео, где, например, в подворотне горит фонарь, немножко мерцая. Я же в своë время выложил небольшой видос, где на маленькой пиксельной матрице восемь на восемь (экран из 8×8 светодиодов) крутился клип Бьорк. Артур увидел это и написал мне. Идея была вот в чëм: если ты фотографируешь источник света — фонарь или ещë что-то — что потом происходит? Ты можешь напечатать фотографию, но это краска на бумаге. И даже если ты снимаешь этот фонарь на видео, изображение записывается в файл со своими ограничениями, а потом воспроизводится на экране. LCD-экраны устроены так, что там есть светящаяся задняя панель, а перед ней матрица из жидких кристаллов, которая загораживает или пропускает этот свет. Артуру же хотелось, чтобы снятый им источник света потом воспроизводился тоже источником света. Если снимаешь фонарь и показываешь на пиксельном экране, то потом действительно один светодиод светит тебе в глаз как этот фонарь. Его не устраивало то, что демонстрация видео на экране сжимает светимость, и фонарь в подворотне смотрится довольно тускло, а то, что было совсем тëмным, всë равно немного подсвечено, потому что так работают экраны.

Он написал мне, и я сразу подумал о том, что было бы странно снимать на видеокамеру или фотоаппарат, а потом как-то переводить данные и пытаться показать на таком пиксельном экране. Поэтому я почти сразу ему написал: давай делать камеру. Давай, чтобы такие видео снимать и показывать, сделаем такую камеру, которая будет снимать так, что ты сразу будешь видеть изображение таким, каким оно будет потом на этих экранах. То есть основная идея про соответствие света с пиксельными экранами — его, а я предложил делать камеру. Всë остальное сложилось в диалоге.

— Расскажи подробнее про камеру и экраны. Почему было выбрано именно такое количество светодиодов?

Сделать 32×32 пикселя, а не 16×16 или 64×64 — это моя инициатива. Я довольно давно занимаюсь различными техническими штуками, и мне интересно взять технологию в каком-то еë минимуме. Эта камера настолько минимальна, насколько это возможно.

— А почему нельзя было сделать меньшее количество светодиодов?

Этого было бы мало. Сейчас объясню, в чëм дело. В последнее время стали популярны различные нейронные сети. DeepDream (визуализатор работы нейросети, обученной искать и выделять паттерны на фотоизображениях) довольно неплохо выстрелила, хотя ничего невероятного по сути не представляет: в нейронной сети завели выход на вход, и получилась такая самогаллюцинация… Что интересно в случае с нейронными сетями, так это алгоритмы распознавания лиц. Помнишь, я делал работу на «Мëбиусе» (фестиваль наукоемкого искусства «Яблоко Мëбиуса», проходил в Новосибирске в 2012 и 2014 годах), где робот находил лица? По сути этот робот тоже был нейронной сетью. Все нейронные сети, которые находят лица, натренированы на картинках: им показали милллион картинок человеческих лиц и миллион картинок, где нет человеческих лиц, и теперь нейросеть может сказать, где есть лицо, а где его нет. Благодаря этому выяснилось, что для до того, чтобы различать лица, достаточно изображения где-то 30×30 пикселей. То есть для того, чтобы просто опеределить, есть ли лицо на картинке, достаточно и меньшего количества пикселей, но чтобы различать лица и вообще объекты между собой, где-то 30×30 — это нужное разрешение. Когда появились первые матрицы, я понял, что для человека достаточно примерно такого разрешения, чтобы различать основные узнаваемые предметы.

— А почему видео экспонируются именно так: под углом и с отражающей поверхностью внизу?

Это отчасти связано с путëм света (смеëтся). Не в каком-то эзотерическом, а просто в физическом смысле. Дело в том, что на самом деле сам свет ты никогда не можешь увидеть, ты видишь либо источник света, либо отражение, преломление, рассеивание света и так далее. На этом пиксельном экране ты воспринимаешь картинку, потому что стоит отражатель (матовый полупрозрачный экран), а если отражатель убрать, то часть картинки потеряется. Самым первым отражателем, на котором я это тестировал, была поверхность стола. В отражении видно лучше, чем при прямом взгляде на светящийся пиксельный экран.

— Действительно, лучше, пиксели сливаются в какую-то более понятную картинку. А почему нельзя было повесить отражатели на сами экраны?

Потому что так отражатель закрывает сам источник света, и пиксельный экран превращается в обычный. В экспозиции было сделано так, чтобы и оставался источник света, и было отражëнное изображение.

— Расскажи, что за видео было на выставке? Как вы его снимали?

Как снимали? Сначала я протестировал камеру, довëл еë до рабочего состояния и отправил Артуру. С ним мы общались обо всëм вконтакте и по скайпу, в итоге решили, что сделаем какие-то базовые узнаваемые вещи, и выставка будет состоять из восьми таких экранов, на которых будут показаны четыре моих и четыре его работы. Обсуждали, обсуждали, что у нас будет, и пришли к такому списку: дерево, человек, огни города и ещë что-нибудь. То есть четыре одинаковых вещи его авторства и моего: я снимаю дерево, он снимает дерево, я снимаю человека, он снимает человека и т. д., появляется своеобразная перекличка. Артур более-менее честно старался, а меня попëрло в разные другие темы. Я мучился, и в итоге четыре другие работы оказались в этой экспозиции. Я очень много снимал этой камерой, везде еë таскал, специально куда-то ездил и просто постоянно брал еë с собой. Один из получившихся сюжетов был «дом»: я сделал в каком-то смысле ремейк своей старой работы. Однажды, когда ездил в Иркутск, я снимал из окна поезда. И я сделал такой же трюк этой камерой: снял домики, которые пролетают из окна электрички. Это видео получилось очень динамичным по сравнению с остальными работами, но появилась перекличка с работой Артура: он снял из окна автомобиля автостраду с пролетающими огнями.

Потом я снял глаз, он получился самый активный на выставке, даже, может быть, слишком. Я снимал глаз, в который сначала светит свет и зрачок сужен, а потом этот источник света выключается, зрачок расширяется обратно, камера тоже адаптируется к изменëнной освещенности, и в зрачке виден квадрат камеры и окно. Но поскольку сложно было снимать свой собственный глаз, в итоге вышло, что момент, когда выключается источник света и становится темно, довольно короткий по сравнению с освещëнным глазом. Я не на все сто процентов доволен этим видео.

Следующая моя работа на самом деле тоже ремейк. Это связано с тем, что я в какой-то момент пересматривал все старые видео. Помнишь, мы с тобой пытались снять видеоарт для кошки?

— С работающей стиральной машинкой?

Да. Я специально позаботился о том, чтобы в машинке была красная, зелëная и жëлтая одежда. Но зелëная победила почему-то, на видео больше всего зелëных пикселей получилось. Последнее же видео такое: я снял автопортрет «человек в квадрате», где было четыре или пять самых распространëнных планов человека. Но в итоге я просто вырезал ту часть, где я сижу и ем. Очень цветасто получилось, и макароны хорошо смотрятся. Артур тоже сделал четыре работы: дерево, автострада с пробегающими огнями, девочка, которая смотрит футбол в полной темноте (еë портрет — это свет, отражëнный еë лицом от телевизора) и ворота, где автоматически включается и выключается свет, когда подходят люди. Вот такая получилась первая экспозиция пиксельного видеоарта.

— А сколько по времени заняло создание этого проекта?

В ноябре 2014 я выложил видеоклип Бьорк на матрице 8×8, а где-то через год был готов прототип пиксельной камеры.

— В одной из публикаций о вашей выставке Артур говорит про деконструкцию изображения: что вы изобретаете такой способ демонстрации изображения, который не создает какую-то визуальную последовательность, а наоборот, разрушает еë. Эту цельность можно только как-то угадывать, и это разрушение изображения — принципиальный момент.

Для меня это больше тема, связанная с границами.

— То есть поиск какого-то предела, когда изображение ещë узнается, но не более?

Да, когда берëтся какой-то изобразительный минимум, становятся понятнее принципы, связанные с восприятием. Это какая-то другая реальность.

— Да, здесь интересно, что изображение никогда не существовало никак иначе, кроме как в таком, «пиксельном», виде.

На самом деле не совсем так. Я ещë не рассказал всей истории. Камера с объективом — это во многом компромисс, но без этого компромисса не получилось бы ничего сделать. Первоначально я думал об устройстве из светодиодов. Как известно, первые граммофоны были одновременно и записывающими устройствами, и устройствами воспроизведения. То же самое с камерой братьев Люмьер: она была одновременно и кинокамерой, и кинопроектором. Со светодиодами тоже возможно такое: они светятся, если к ним подходит ток, и генерируют небольшой ток, если светишь на них. И изначально идея камеры была в том, чтобы эта плоскость со светодиодами, сам экран, вставлялся как матрица в камеру обскура или просто в коробку с объективом. То есть чтобы посредством этих светодиодов изображение и записывалось, и потом на них же воспроизводилось. Возможно, это будет в итоге сделано.

— Тогда это будет изображение, существующее без каких-либо преобразований?

Нет, всë равно это изображение нужно записывать, и, скорее всего, оно будет записываться не аналоговым, а цифровым способом.

— А программное обеспечение, позволяющее с этой камеры писать видео в файл, тоже ты разрабатывал? У этого видео какой-то особый формат?

Да. Конечно, его можно конвертировать в известные форматы с какими-то потерями и преобразованиями. Теоретически я могу за несколько часов написать конвертор, и ты будешь смотреть это видео 32 на 32 пикселя в Windows Media Player.

— Ты, кстати, когда-то говорил, что таких пиксельных камер всего две в мире. Задам наивный вопрос: а где вторая?

Одна у меня, вторая у Артура.

— Вот как. Я думала, что кто-то ещë в мире делал эту пиксельную камеру, кроме тебя. То есть получается, что пиксельную камеру кроме тебя вообще никто никогда не собирал, и это твоë изобретение?

Да. Я выложил исходники пиксельной камеры на Github.

— То есть в принципе любой человек, обладающий достаточным знанием, может сделать свою домашнюю пиксельную камеру?

Да. Но это такое изобретение, которое никто до меня не изобрëл, потому что это что-то совершенно ненужное (смеëтся). Я на самом деле очень рад снимать ей и озадачивать всех вокруг: люди не понимают, что происходит.

— Ходить с таким квадратом и снимать, наверное, не очень удобно.

Да, я ещë постоянно шучу, что это у меня такой планшет.

— Только самодельный.

(смеëтся) Да, больше сделать не смог, только 32 на 32. Планшет супер-низкого разрешения. Кстати, электроника в этой пиксельной камере сопоставима с электроникой в планшете или в смартфоне, фактически комплектующие те же.

— Ты собираешься добавлять в неë ещë какие-то функции?

Автоматический постинг в Instagram, например? Нет, не собираюсь, эта штука сделана исключительно для такого пиксельного видеоарта. Если это узко заточенный инструмент, зачем ему другие функции? Это инструмент исследования пиксельных границ. Первая выставка была в каком-то смысле пробой того, что можно в принципе им сделать: вот мы сделали пиксельную камеру и пиксельный экран, вот восемь экспериментов, которые задают диапазон того, что уже с их помощью возможно, что работает. Следующие выставки, возможно, продемонстрируют какие-то новые концепции, которые станут ясны в процессе съëмки, какое-то новое понимание изображения через его минимум. Мне интересно отсекать всë лишнее. Когда идет работа с минимумом символического в изображении, изображения фактически становятся иконками. Ты всë превращаешь этой камерой в иконки в обоих смыслах слова. В изображение, которое должно быть абстрактным, условным, но узнаваемым. У Артура сейчас есть идея поработать с абстракцией, поснимать этой камерой абстрактные видео. Я пока что не вижу для себя в этом интереса, сам больше работаю с объектами: что узнаëтся, а что не узнаëтся на матрице 32×32 пикселя, что во что превращается. Когда я запускал и показывал тебе тестовое видео, было видно, что Шварценеггер остается Шварценеггером, даже в 32×32, «Пятый элемент» также остается «Пятым элементом». Возможно, тут наш разговор опять должен вернуться к нейронным сетям. Как работает эта галлюцинация в DeepDream? Там усиливается обратная связь: то, что нейронная сеть немного увидела в изображении, усиливается и снова ей подаëтся на вход, и она видит это ещë отчëтливее и ещë. Поэтому нейронные сети, натренированные на собачках, превращают картинку в полный «собачник», где везде собачьи морды. Если сеть натренирована на велосипедах и кларнетах, то всë становится велосипедами и кларнетами. И когда мы отсекаем все детали, становится понятно, что мы можем видеть только то, что уже знаем. Ты уже знаешь Брюса Уиллиса, и ты просто должен его узнать. Вот почему я работаю с низким разрешением: для меня интересен этот аспект узнавания. К примеру, домик — это невероятно стереотипический образ. Или лицо человека… Не знаю, что может быть более узнаваемым для человека, чем лицо.

— В том проекте, который ты делал для фестиваля «Яблоко Мëбиуса», где распознавались лица…

Там то же самое было, до какой-то степени. Но там был ещë один момент: с помощью времени ты мог манипулировать изображением.

— Но там лица, скорее, наоборот, искажались, так что их было невозможно узнать.

Да, там ты мог сам какое-то лицо «сделать», двигаясь во времени. Подвигал лицом — и оно растянется. Повернул голову туда-сюда — появилось три глаза. Ты мог «нарисовать» своë фото, потому что время становилось одним из измерений в изображении, и ты мог манипулировать картинкой с его помощью. И это лицо, которое ты сделал, как раз и предъявлялось нейронной сети, модели распознавания, которой до этого показали все человеческие лица. Но у этой сети нет базы, она не хранит эти лица, а имеет лишь какой-то абстрактный образ. И ты, делая какое-то дурацкое, искажëнное, уродливое лицо, понимаешь, попадает ли оно ещë в границы некоего абстрактного «человеческого лица».

— Кстати, для этой выставки ты тоже снял автопортрет, причëм именно превратил своë лицо в некое абстрактное человеческое. Тебя совершенно невозможно узнать на этом видео. Было ли это принципиально, когда ты снимал себя пиксельной камерой?

Нет, не было. Просто я всегда у себя в распоряжении, в отличие от других людей. Я, скорее, снимал очень узнаваемые виды человеческой деятельности: человек сидит, лежит, ест, ходит туда-сюда. Потом я сократил это видео до фрагмента, где человек ест, потому что по сравнению с остальными видео оно было очень длинным: получился целый фильм на сорок минут. В остальных видео либо присутствует один объект в кадре, либо однообразное движение. Даже в случае с видом из окна поезда: всë равно эти домики все примерно одинаковые.

Я из научного интереса переконвертировал в супернизкое разрещение самые попсовые фильмы, и оказывается, что большинство из них вполне смотрибельны в таком виде: кадр так построен, что его всë равно можно воспринимать, даже когда это 32 на 32 пикселя. Фильм, который я сейчас запущу, был снят для широкого экрана, а я просто вырезал квадрат из него. Но он был так снят, что самое главное ты всë равно видишь: лица главных героев в этом квадрате расположены, какие-то ключевые события. (Алексей запускает фильм на пиксельном экране, я узнаю «Пятый элемент», только когда появляется Брюс Уиллис)

— Вы с Артуром планируете продолжать этот совместный проект?

Да, мы оба продолжаем снимать на эту камеру. Сейчас только у него есть выставочный комплект этих пиксельных экранов, вероятно, к концу осени у меня тоже появится свой комплект. Или Артур может прислать его при случае. Собственно, он ищет возможность для выставок, и я ищу возможность для выставок (хотя я особо ещë ничего не искал).

— Ты хотел бы в Новосибирске выставить этот проект?

Да, в Новосибирске, может быть, в Красноярске. Красноярск почему-то мне сейчас кажется более реалистичной площадкой. Сейчас пока нет какой-то конкретной концепции следующей выставки. У нас — если я могу говорить за себя и за Артура — сейчас период набора материала. И достижения какого-то лучшего понимания, как и что снимать на такую камеру.

О другом проекте Алексея: Арка как процесс