Create post
Реч#порт

Путь света

В начале июля в Риге, в офисной галерее Латвийского центра современного искусства, открылась выставка пиксельного видеоарта «Сигнальные пары». Это совместный проект художника Алексея Грищенко из Новосибирска и латвийского поэта Артура Пунте. Восемь видео-роликов были показаны публике на специальных терминалах, каждый из которых состоял из светодиодного экрана и отражающей поверхности, где пиксели света сливались в узнаваемую картинку. Я поговорила с Алексеем о технологических особенностях этого проекта, границах человеческого восприятия и нейронных сетях.

Выставка «Сигнальные пары». Фото: Arnis Kalniņš

Выставка «Сигнальные пары». Фото: Arnis Kalniņš

— Как вы познакомились с Артуром? Как возникла идея этого проекта?

Насколько ты знаешь, Артур Пунте — поэт, и кроме поэтических текстов он делает разные смежные проекты. Видеопоэзию, например. Группа «Орбита» — одни из первопроходцев видеопоэзии в русскоязычном пространстве. У Артура есть небольшие поэтические видео, где, например, в подворотне горит фонарь, немножко мерцая. Я же в своë время выложил небольшой видос, где на маленькой пиксельной матрице восемь на восемь (экран из 8×8 светодиодов) крутился клип Бьорк. Артур увидел это и написал мне. Идея была вот в чëм: если ты фотографируешь источник света — фонарь или ещë что-то — что потом происходит? Ты можешь напечатать фотографию, но это краска на бумаге. И даже если ты снимаешь этот фонарь на видео, изображение записывается в файл со своими ограничениями, а потом воспроизводится на экране. LCD-экраны устроены так, что там есть светящаяся задняя панель, а перед ней матрица из жидких кристаллов, которая загораживает или пропускает этот свет. Артуру же хотелось, чтобы снятый им источник света потом воспроизводился тоже источником света. Если снимаешь фонарь и показываешь на пиксельном экране, то потом действительно один светодиод светит тебе в глаз как этот фонарь. Его не устраивало то, что демонстрация видео на экране сжимает светимость, и фонарь в подворотне смотрится довольно тускло, а то, что было совсем тëмным, всë равно немного подсвечено, потому что так работают экраны.

Он написал мне, и я сразу подумал о том, что было бы странно снимать на видеокамеру или фотоаппарат, а потом как-то переводить данные и пытаться показать на таком пиксельном экране. Поэтому я почти сразу ему написал: давай делать камеру. Давай, чтобы такие видео снимать и показывать, сделаем такую камеру, которая будет снимать так, что ты сразу будешь видеть изображение таким, каким оно будет потом на этих экранах. То есть основная идея про соответствие света с пиксельными экранами — его, а я предложил делать камеру. Всë остальное сложилось в диалоге.

— Расскажи подробнее про камеру и экраны. Почему было выбрано именно такое количество светодиодов?

Сделать 32×32 пикселя, а не 16×16 или 64×64 — это моя инициатива. Я довольно давно занимаюсь различными техническими штуками, и мне интересно взять технологию в каком-то еë минимуме. Эта камера настолько минимальна, насколько это возможно.

— А почему нельзя было сделать меньшее количество светодиодов?

Этого было бы мало. Сейчас объясню, в чëм дело. В последнее время стали популярны различные нейронные сети. DeepDream (визуализатор работы нейросети, обученной искать и выделять паттерны на фотоизображениях) довольно неплохо выстрелила, хотя ничего невероятного по сути не представляет: в нейронной сети завели выход на вход, и получилась такая самогаллюцинация… Что интересно в случае с нейронными сетями, так это алгоритмы распознавания лиц. Помнишь, я делал работу на «Мëбиусе» (фестиваль наукоемкого искусства «Яблоко Мëбиуса», проходил в Новосибирске в 2012 и 2014 годах), где робот находил лица? По сути этот робот тоже был нейронной сетью. Все нейронные сети, которые находят лица, натренированы на картинках: им показали милллион картинок человеческих лиц и миллион картинок, где нет человеческих лиц, и теперь нейросеть может сказать, где есть лицо, а где его нет. Благодаря этому выяснилось, что для до того, чтобы различать лица, достаточно изображения где-то 30×30 пикселей. То есть для того, чтобы просто опеределить, есть ли лицо на картинке, достаточно и меньшего количества пикселей, но чтобы различать лица и вообще объекты между собой, где-то 30×30 — это нужное разрешение. Когда появились первые матрицы, я понял, что для человека достаточно примерно такого разрешения, чтобы различать основные узнаваемые предметы.


Выставка «Сигнальные пары». Фото: Arnis Kalniņš

Выставка «Сигнальные пары». Фото: Arnis Kalniņš


— А почему видео экспонируются именно так: под углом и с отражающей поверхностью внизу?

Это отчасти связано с путëм света (смеëтся). Не в каком-то эзотерическом, а просто в физическом смысле. Дело в том, что на самом деле сам свет ты никогда не можешь увидеть, ты видишь либо источник света, либо отражение, преломление, рассеивание света и так далее. На этом пиксельном экране ты воспринимаешь картинку, потому что стоит отражатель (матовый полупрозрачный экран), а если отражатель убрать, то часть картинки потеряется. Самым первым отражателем, на котором я это тестировал, была поверхность стола. В отражении видно лучше, чем при прямом взгляде на светящийся пиксельный экран.

— Действительно, лучше, пиксели сливаются в какую-то более понятную картинку. А почему нельзя было повесить отражатели на сами экраны?

Потому что так отражатель закрывает сам источник света, и пиксельный экран превращается в обычный. В экспозиции было сделано так, чтобы и оставался источник света, и было отражëнное изображение.

— Расскажи, что за видео было на выставке? Как вы его снимали?

Как снимали? Сначала я протестировал камеру, довëл еë до рабочего состояния и отправил Артуру. С ним мы общались обо всëм вконтакте и по скайпу, в итоге решили, что сделаем какие-то базовые узнаваемые вещи, и выставка будет состоять из восьми таких экранов, на которых будут показаны четыре моих и четыре его работы. Обсуждали, обсуждали, что у нас будет, и пришли к такому списку: дерево, человек, огни города и ещë что-нибудь. То есть четыре одинаковых вещи его авторства и моего: я снимаю дерево, он снимает дерево, я снимаю человека, он снимает человека и т. д., появляется своеобразная перекличка. Артур более-менее честно старался, а меня попëрло в разные другие темы. Я мучился, и в итоге четыре другие работы оказались в этой экспозиции. Я очень много снимал этой камерой, везде еë таскал, специально куда-то ездил и просто постоянно брал еë с собой. Один из получившихся сюжетов был «дом»: я сделал в каком-то смысле ремейк своей старой работы. Однажды, когда ездил в Иркутск, я снимал из окна поезда. И я сделал такой же трюк этой камерой: снял домики, которые пролетают из окна электрички. Это видео получилось очень динамичным по сравнению с остальными работами, но появилась перекличка с работой Артура: он снял из окна автомобиля автостраду с пролетающими огнями.

Потом я снял глаз, он получился самый активный на выставке, даже, может быть, слишком. Я снимал глаз, в который сначала светит свет и зрачок сужен, а потом этот источник света выключается, зрачок расширяется обратно, камера тоже адаптируется к изменëнной освещенности, и в зрачке виден квадрат камеры и окно. Но поскольку сложно было снимать свой собственный глаз, в итоге вышло, что момент, когда выключается источник света и становится темно, довольно короткий по сравнению с освещëнным глазом. Я не на все сто процентов доволен этим видео.

Следующая моя работа на самом деле тоже ремейк. Это связано с тем, что я в какой-то момент пересматривал все старые видео. Помнишь, мы с тобой пытались снять видеоарт для кошки?

— С работающей стиральной машинкой?

Да. Я специально позаботился о том, чтобы в машинке была красная, зелëная и жëлтая одежда. Но зелëная победила почему-то, на видео больше всего зелëных пикселей получилось. Последнее же видео такое: я снял автопортрет «человек в квадрате», где было четыре или пять самых распространëнных планов человека. Но в итоге я просто вырезал ту часть, где я сижу и ем. Очень цветасто получилось, и макароны хорошо смотрятся. Артур тоже сделал четыре работы: дерево, автострада с пробегающими огнями, девочка, которая смотрит футбол в полной темноте (еë портрет — это свет, отражëнный еë лицом от телевизора) и ворота, где автоматически включается и выключается свет, когда подходят люди. Вот такая получилась первая экспозиция пиксельного видеоарта.


Выставка «Сигнальные пары». Фото: Arnis Kalniņš

Выставка «Сигнальные пары». Фото: Arnis Kalniņš


— А сколько по времени заняло создание этого проекта?

В ноябре 2014 я выложил видеоклип Бьорк на матрице 8×8, а где-то через год был готов прототип пиксельной камеры.

— В одной из публикаций о вашей выставке Артур говорит про деконструкцию изображения: что вы изобретаете такой способ демонстрации изображения, который не создает какую-то визуальную последовательность, а наоборот, разрушает еë. Эту цельность можно только как-то угадывать, и это разрушение изображения — принципиальный момент.

Для меня это больше тема, связанная с границами.

— То есть поиск какого-то предела, когда изображение ещë узнается, но не более?

Да, когда берëтся какой-то изобразительный минимум, становятся понятнее принципы, связанные с восприятием. Это какая-то другая реальность.

— Да, здесь интересно, что изображение никогда не существовало никак иначе, кроме как в таком, «пиксельном», виде.

На самом деле не совсем так. Я ещë не рассказал всей истории. Камера с объективом — это во многом компромисс, но без этого компромисса не получилось бы ничего сделать. Первоначально я думал об устройстве из светодиодов. Как известно, первые граммофоны были одновременно и записывающими устройствами, и устройствами воспроизведения. То же самое с камерой братьев Люмьер: она была одновременно и кинокамерой, и кинопроектором. Со светодиодами тоже возможно такое: они светятся, если к ним подходит ток, и генерируют небольшой ток, если светишь на них. И изначально идея камеры была в том, чтобы эта плоскость со светодиодами, сам экран, вставлялся как матрица в камеру обскура или просто в коробку с объективом. То есть чтобы посредством этих светодиодов изображение и записывалось, и потом на них же воспроизводилось. Возможно, это будет в итоге сделано.

— Тогда это будет изображение, существующее без каких-либо преобразований?

Нет, всë равно это изображение нужно записывать, и, скорее всего, оно будет записываться не аналоговым, а цифровым способом.



— А программное обеспечение, позволяющее с этой камеры писать видео в файл, тоже ты разрабатывал? У этого видео какой-то особый формат?

Да. Конечно, его можно конвертировать в известные форматы с какими-то потерями и преобразованиями. Теоретически я могу за несколько часов написать конвертор, и ты будешь смотреть это видео 32 на 32 пикселя в Windows Media Player.

— Ты, кстати, когда-то говорил, что таких пиксельных камер всего две в мире. Задам наивный вопрос: а где вторая?

Одна у меня, вторая у Артура.

— Вот как. Я думала, что кто-то ещë в мире делал эту пиксельную камеру, кроме тебя. То есть получается, что пиксельную камеру кроме тебя вообще никто никогда не собирал, и это твоë изобретение?

Да. Я выложил исходники пиксельной камеры на Github.

— То есть в принципе любой человек, обладающий достаточным знанием, может сделать свою домашнюю пиксельную камеру?

Да. Но это такое изобретение, которое никто до меня не изобрëл, потому что это что-то совершенно ненужное (смеëтся). Я на самом деле очень рад снимать ей и озадачивать всех вокруг: люди не понимают, что происходит.

— Ходить с таким квадратом и снимать, наверное, не очень удобно.

Да, я ещë постоянно шучу, что это у меня такой планшет.

— Только самодельный.

(смеëтся) Да, больше сделать не смог, только 32 на 32. Планшет супер-низкого разрешения. Кстати, электроника в этой пиксельной камере сопоставима с электроникой в планшете или в смартфоне, фактически комплектующие те же.


Алексей Грищенко с пиксельной камерой. Фото: Ирка Солза

Алексей Грищенко с пиксельной камерой. Фото: Ирка Солза


— Ты собираешься добавлять в неë ещë какие-то функции?

Автоматический постинг в Instagram, например? Нет, не собираюсь, эта штука сделана исключительно для такого пиксельного видеоарта. Если это узко заточенный инструмент, зачем ему другие функции? Это инструмент исследования пиксельных границ. Первая выставка была в каком-то смысле пробой того, что можно в принципе им сделать: вот мы сделали пиксельную камеру и пиксельный экран, вот восемь экспериментов, которые задают диапазон того, что уже с их помощью возможно, что работает. Следующие выставки, возможно, продемонстрируют какие-то новые концепции, которые станут ясны в процессе съëмки, какое-то новое понимание изображения через его минимум. Мне интересно отсекать всë лишнее. Когда идет работа с минимумом символического в изображении, изображения фактически становятся иконками. Ты всë превращаешь этой камерой в иконки в обоих смыслах слова. В изображение, которое должно быть абстрактным, условным, но узнаваемым. У Артура сейчас есть идея поработать с абстракцией, поснимать этой камерой абстрактные видео. Я пока что не вижу для себя в этом интереса, сам больше работаю с объектами: что узнаëтся, а что не узнаëтся на матрице 32×32 пикселя, что во что превращается. Когда я запускал и показывал тебе тестовое видео, было видно, что Шварценеггер остается Шварценеггером, даже в 32×32, «Пятый элемент» также остается «Пятым элементом». Возможно, тут наш разговор опять должен вернуться к нейронным сетям. Как работает эта галлюцинация в DeepDream? Там усиливается обратная связь: то, что нейронная сеть немного увидела в изображении, усиливается и снова ей подаëтся на вход, и она видит это ещë отчëтливее и ещë. Поэтому нейронные сети, натренированные на собачках, превращают картинку в полный «собачник», где везде собачьи морды. Если сеть натренирована на велосипедах и кларнетах, то всë становится велосипедами и кларнетами. И когда мы отсекаем все детали, становится понятно, что мы можем видеть только то, что уже знаем. Ты уже знаешь Брюса Уиллиса, и ты просто должен его узнать. Вот почему я работаю с низким разрешением: для меня интересен этот аспект узнавания. К примеру, домик — это невероятно стереотипический образ. Или лицо человека… Не знаю, что может быть более узнаваемым для человека, чем лицо.

— В том проекте, который ты делал для фестиваля «Яблоко Мëбиуса», где распознавались лица…

Там то же самое было, до какой-то степени. Но там был ещë один момент: с помощью времени ты мог манипулировать изображением.

— Но там лица, скорее, наоборот, искажались, так что их было невозможно узнать.

Да, там ты мог сам какое-то лицо «сделать», двигаясь во времени. Подвигал лицом — и оно растянется. Повернул голову туда-сюда — появилось три глаза. Ты мог «нарисовать» своë фото, потому что время становилось одним из измерений в изображении, и ты мог манипулировать картинкой с его помощью. И это лицо, которое ты сделал, как раз и предъявлялось нейронной сети, модели распознавания, которой до этого показали все человеческие лица. Но у этой сети нет базы, она не хранит эти лица, а имеет лишь какой-то абстрактный образ. И ты, делая какое-то дурацкое, искажëнное, уродливое лицо, понимаешь, попадает ли оно ещë в границы некоего абстрактного «человеческого лица».


Проект «Лица человека» на фестивале «Яблоко Мëбиуса», 2012

Проект «Лица человека» на фестивале «Яблоко Мëбиуса», 2012


— Кстати, для этой выставки ты тоже снял автопортрет, причëм именно превратил своë лицо в некое абстрактное человеческое. Тебя совершенно невозможно узнать на этом видео. Было ли это принципиально, когда ты снимал себя пиксельной камерой?

Нет, не было. Просто я всегда у себя в распоряжении, в отличие от других людей. Я, скорее, снимал очень узнаваемые виды человеческой деятельности: человек сидит, лежит, ест, ходит туда-сюда. Потом я сократил это видео до фрагмента, где человек ест, потому что по сравнению с остальными видео оно было очень длинным: получился целый фильм на сорок минут. В остальных видео либо присутствует один объект в кадре, либо однообразное движение. Даже в случае с видом из окна поезда: всë равно эти домики все примерно одинаковые.

Я из научного интереса переконвертировал в супернизкое разрещение самые попсовые фильмы, и оказывается, что большинство из них вполне смотрибельны в таком виде: кадр так построен, что его всë равно можно воспринимать, даже когда это 32 на 32 пикселя. Фильм, который я сейчас запущу, был снят для широкого экрана, а я просто вырезал квадрат из него. Но он был так снят, что самое главное ты всë равно видишь: лица главных героев в этом квадрате расположены, какие-то ключевые события. (Алексей запускает фильм на пиксельном экране, я узнаю «Пятый элемент», только когда появляется Брюс Уиллис)

— Вы с Артуром планируете продолжать этот совместный проект?

Да, мы оба продолжаем снимать на эту камеру. Сейчас только у него есть выставочный комплект этих пиксельных экранов, вероятно, к концу осени у меня тоже появится свой комплект. Или Артур может прислать его при случае. Собственно, он ищет возможность для выставок, и я ищу возможность для выставок (хотя я особо ещë ничего не искал).

— Ты хотел бы в Новосибирске выставить этот проект?

Да, в Новосибирске, может быть, в Красноярске. Красноярск почему-то мне сейчас кажется более реалистичной площадкой. Сейчас пока нет какой-то конкретной концепции следующей выставки. У нас — если я могу говорить за себя и за Артура — сейчас период набора материала. И достижения какого-то лучшего понимания, как и что снимать на такую камеру.


Фото: Ирка Солза

Фото: Ирка Солза

О другом проекте Алексея: Арка как процесс

Subscribe to our channel in Telegram to read the best materials of the platform and be aware of everything that happens on syg.ma

Building solidarity beyond borders. Everybody can contribute

Syg.ma is a community-run multilingual media platform and translocal archive.
Since 2014, researchers, artists, collectives, and cultural institutions have been publishing their work here

About