Нейросеть оказалась неплохим рассказчиком

71
www.extremetech.com
Вытирая слезы в кино, не забудьте проверить имя автора сценария. Это может быть искусственный интеллект

Бенджамин, ранее известный как Джетсон

В прошлом году на фестивале фантастического кино Sci-Fi London состоялась премьера короткометражки Sunspring («Солнечный источник»). Главным фактором успеха девятиминутной ленты стала личность сценариста. Хотя можно ли назвать личностью нейронную сеть, задается вопросом McKinsey.

Кинорежиссер Оскар Шарп попросил своего приятеля – программиста Росса Гудвина – написать программу-сценариста. Гудвин разработал искусственный интеллект на основе рекуррентной нейронной сети с долгой краткосрочной памятью (LSTM RNN Artificial Intelligence). Боту, названному Джетсоном, скормили сотни сценариев теле- и кинофантастики. Переварив все тексты, Джетсон сначала потребовал называть себя Бенджамином, а потом выдал сценарий фильма.

За 48 часов команда киношников сняла и смонтировала по этому тексту «Солнечный источник». Главную роль в фильме сыграл Томас Миддлдич, один из героев ситкома про айтишников «Кремниевая долина».

Самые преданные поклонники «Солнечного источника» называют его «забавным», а критики справедливо отмечают, что диалоги в фильме представляют собой «случайную цепь несвязных предложений».

Поэтому не спешите увольнять сценаристов телесериалов – хотя, согласитесь, диалоги большей части телемыла тоже часто звучат бредово. Пока технология не продвинется, медиамагнаты будут платить сценаристам, вечно срывающим дедлайны.

Весной 2018 года Бенджамин представил на фестивале уже третий свой фильм, в котором выступил еще и оператором и монтажером. Лента Zone Out была создана всего за 48 часов при участии Оскара Шарпа и Росса Гудвина.

Стоит ли бояться восстания машин?

В агентстве McKinsey решили разобраться, смогут ли машины облегчить людям процесс писательства.

Хорошее кино отличается неожиданными поворотами сюжета и живыми диалогами. Нейросеть готова усилить эмоциональность сюжета музыкальной темой и визуальными образами, чтобы увеличить КПД талантливых сценаристов.

Медиалаборатория Массачусетского технологического института (MIT) изучает возможности кооперации людей и машин в создании видеоконтента. Действительно ли нейросети по силам сконструировать сюжетную арку сериала – различные превратности судьбы, когда персонажи серия за серией преодолевают лишения, с триумфом выходят из переделок, впадают в немилость и в итоге торжествуют победу над злом? Если да, смогут ли сценаристы использовать это знание, чтобы получить прогнозируемую реакцию аудитории? Эти вопросы задают все, кто имеет отношение к контенту – от любителей-ютьюберов до руководителей студий.


Сюжетная арка как основа истории

i.ytimg.com

Мастера сюжета, от Астрид Линдгрен и Марселя Пруста до Стивена Спилберга и студии Pixar, искусно управляют эмоциями читателя и зрителя. Талантливый рассказчик на уровне инстинктов знает, как выстроить историю, чтобы мы в нужный момент радостно смеялись, вытирали слезы грусти или вздрагивали от гнева.

В MIТ предположили, что разгадка – именно в построении сюжетной арки.
Классификация 36 драматических сюжетов известна с античных времен, а написанию историй сегодня учат на любых недельных курсах.

Талантливый писатель-фантаст, автор «Колыбели для кошки» Курт Воннегут самой популярной аркой считал сюжет «Золушки». Изначально герой находится в отчаянной ситуации, потом внезапно его состояние улучшается – в случае с Золушкой ей помогает фея-крестная. Независимо от количества деталей истории Золушки заканчиваются на триумфальной ноте: герой или героиня добивается своей цели и далее живет долго и счастливо.

Глава Майкрософт убежден, что машины будут помогать людям, а не заменять их

Эмоциональность сюжетной арки влияет на вовлечение аудитории, в том числе на количество комментариев в соцсетях и рекомендации друзьям.
Так, университет Пенсильвании изучил, какие именно публикации New York Times вызвали наибольший отклик и репосты. Оказалось, что читатели чаще всего цитируют статьи с мощным положительным эмоциональным содержанием. В кино ситуация аналогичная.


Машины-киноманы: радикальный эксперимент MIT

MIT
i.pinimg.com

Исследователи уже используют искусственный интеллект для выделения сюжетных арок. В университете Вермонта, например, ИИ сканирует сценарии видео и тексты книг, а потом моделирует сюжет.

В McKinsey пошли дальше и в сотрудничестве с MIT научили нейронные сети «смотреть» небольшие фрагменты видеофильмов, телесюжетов и коротких онлайн-роликов, мгновенно оценивая эмоциональную «валентность» сюжета.

Модель учитывает не только сюжет, персонажей и диалоги, но и нюансы, например, крупный план человеческого лица или музыку во время автомобильной погони. Потом ИИ сопоставляет детали каждого фрагмента и строит эмоциональную арку сюжета.

Нейросеть MIT изучила тысячи видеороликов, создав графики эмоций для каждого из них. В помощь машине исследователи привлекли добровольцев, которые смотрели видео и отмечали свои эмоции, уточняя, что именно вызвало их реакцию – диалоги, музыка, визуальный ряд.

Затем истории сгруппировали по эмоциональным аркам.
Модель работала с двумя массивами видео: в одном более 500 голливудских фильмов, в другом – почти 1500 короткометражек с Vimeo. Предварительный анализ эмоциональной «валентности» показал: большинство историй действительно базируется на конечном количестве сюжетов, как и подозревал Воннегут.


Компьютер как хрустальный шар

crystal ball
thesawhill.com

Машине поставили задачу предсказать количество комментариев к конкретному видео в Twitter и других соцсетях – именно комментарии показывают сильную вовлеченность аудитории.

Проанализировав ролики на Vimeo, ИИ выявил несколько групп сюжетов, которые должны быть более популярными. Например, те, где главный герой рано достигает успеха, а потом неуклонно скатывается в пропасть.

Команда проекта MIT и McKinsey маркировала эмоции в комментариях к роликам, а нейросеть измеряла их интенсивность. Некоторые сюжеты получали длинные и эмоциональные комментарии: не просто «отличная работа», а «это разрывная пуля». Причем фокусировались не на конкретных деталях, а на общем эмоциональном воздействии.

Сценаристам вовсе не обязательно переделывать сюжеты – вряд ли Джордж Оруэлл написал бы счастливый финал к «1984», чтобы порадовать читателя. Однако рекомендации нейросети помогут создателям видеоконтента усилить воздействие на аудиторию. Например, изменить видеоряд на критическом моменте, детализировать сюжет, обогатить диалоги и сделать персонажи жизненнее.

Инструменты ИИ становятся все доступнее, и со временем процесс создания видеороликов поменяется. Режиссеры уже используют в кино захват движения – так почему бы сценаристам не прибегнуть к помощи нейросети, чтобы видео стало ярче?

Израильский стартап научил ИИ создавать новостные видео.

Поделиться: