Siberian Art History Journal Siberian Art History Journal Сибирский искусствоведческий журнал 2782-4926 65607 10.31804/2782-4926-2023-2-2-46-55 Аудиовизуальные искусства Audiovisual arts Аудиовизуальные искусства ANALYSIS OF VIDEO CONTENT USING ARTIFICIAL INTELLIGENCE: A STUDY OF THE ISSUE АНАЛИЗ ВИДЕОКОНТЕНТА С ПОМОЩЬЮ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА: ИССЛЕДОВАНИЕ ВОПРОСА Луцык Даниил Николаевич Lutcik Daniil Nikolaevich 16 06 2023 16 06 2023 2 2 46 55 15 06 2023 https://siberianart-journal.ru/en/nauka/article/65607/view

Искусственный интеллект – актуальная тема для научных исследований на сегодняшний день. Искусственный интеллект является помощником человека в решении определенных задач, помогает автоматизировать многие процессы, в том числе и анализ аудиовизуального контента. В данной статье представлен обзор литературы по данной теме. Литература разбита на три тематических блока. Вывод состоит в том, что в российской науке данная тема изучена слабо, а также в том, что многие инструменты для автоматизированного анализа аудиовизуального контента находятся на стадии разработки.

Artificial intelligence is an urgent topic for scientific research today. Artificial intelligence is a human assistant in solving certain tasks, helps to automate many processes, including the analysis of audiovisual content. This article provides an overview of the literature on the existing topic. The literature divided into three thematic blocks. The conclusion is that this topic poorly studied in Russian science, and many tools for automated analysis of audiovisual content are under development.

 искусственный интеллект машинное обучение гуманитарные науки кинематограф автоматизированный анализ нейронные сети artificial intelligence machine learning humanities cinematography automated analysis neural networks

Алексеев, А. В., Фоменков, С. А. и др. Автоматизированный подход к контекстно-зависимому анализу видеопотока [Текст] / А. В. Алексеев., С. А. Фоменков // Известия Волгоградского Государственного Технического Университета. - 2015. - С. 35-39. Alekseev, A. V., Fomenkov, S. A., (2015). Automated approach to context-dependent analysis of a video stream. News of Volgograd State Technical University, 35-39. Бринк, Х., Ричардс, Д. Машинное обучение [Текст] / Х. Бринк, Д. Ричардс // Питер: СПб. - 2017. - 336 с. Brink, X., Richards, D. (2017). Mashinnoe obuchenie. Piter: SPb, 336. Вознюк, П. А. История развития и современное состояние искусственного интеллекта [Текст] / П. А. Вознюк // Глобус: технические науки. - 2019. - С. 11-19. Voznyuk, P. A. (2019). The history of development and the current state of artificial intelligence / P. A. Voznyuk // Globus: technical sciences, 11-19. Гребенюк, А. А. Машинное обучение для классификации изображений [Текст] / А. А. Гребенюк // Белгородский государственный технологический университет им. В. Г. Шухова. - 2022. С. 103-108. Grebenyuk, A. A. (2022). Machine learning for image classification. Belgorod State Technological University named after V. G. Shukhov, 103-108. Дьяков, Н. В., Сахно, В. В. Обзор основных видов машинного обучения [Текст] / Н. В. Дьяков, В. В. Сахно // Modern science. - 2021. - С. 130-133. Dyakov, N. V., Saxno, V. V. (2021). Overview of the main types of machine learning. Modern science. 130-133. Ениколопов, С. Н., Кузнецова, Ю. М. Метод реляционно-ситуационного анализа текста в психологических исследованиях [Текст] / С. Н. Ениколопов, Ю. М. Кузнецова // Психология. - 2021, 18 (4). - С. 748-769. Enikolopov, S. N., Kuzneczova, Yu. M. (2021). Method of relational situational text analysis in psychological research. Psychology, 18 (4), 748-769. Кижнер, И. А. Цифровые технологии культурного наследования в современном обществе: дисс. канд. культурологии: 24.00.01 [Текст] / Кижнер Инна Александровна. - Красноярск. 2001. - 182 c. Kizhner, I. A. (2001). Digital technologies of cultural inheritance in modern society. Krasnoyarsk. 182 p. Кистова, А. В. Синтетическая модель культуры и культурные практики [Текст] [Текст] / А. В. Кистова // Сибирский антропологический журнал. - 2020. - Т. 4, № 2. - С. 111-121. - DOI 10.31804/2542-1816-2020-4-2-109-119. - EDN KLMBSN. Kistova, A.V. (2020). Synthetic model of culture and cultural practices. Siberian Anthropological Journal, 4 (2), 111-121. doi: 10.31804/2542-1816-2020-4-2-109-119. EDN KLMBSN. Колесник, М. А. Ситникова, А. А., Андрюшина, Я. Д. Искусственный интеллект как инструмент и соавтор в творчестве современных художников: примеры художественных практик и анализ произведений визуального искусства [Текст] / М. А. Колесник, А. А. Ситникова, Я. Д. Андрюшина // Социология искусственного интеллекта. - 2023. - Т. 4, № 1. - С. 37-51. - DOI 10.31804/2712-939X-2023-4-1-37-51. - EDN UOQRVI. Kolesnik, M. A. Sitnikova, A. A., Andryushina, Ya. D. (2023). Artificial intelligence as a tool and co-author in the work of contemporary artists: examples of artistic practices and analysis of works of visual art. Sociology of Artificial Intelligence, 4 (1), 37-51. doi:10.31804/2712-939X-2023-4-1-37-51. EDN UOQRVI. Мак-Каллок, У.С., Питтс, В. Логическое исчисление идей, относящихся к нервной активности [Текст] / У.С. Мак-Калок // В сб.: «Автоматы» под ред. К.Э. Шеннона и Дж. Маккарти. - М.: Изд-во иностр. лит. - 1956. - С.363-384. Mak-Kallok, U.S., Pitts, V. (1956). Logical calculus of ideas related to nervous activity. U.S. McCulloch. In the collection: «Automata» edited by K.E. Shannon and J. McCarthy. Moscow: Publishing House of Foreign Lit, 363-384. Омелик, А. А. Факторы влияния искусственного интеллекта на творческий процесс [Текст] / А. А. Омелик // Социология искусственного интеллекта. - 2023. - Т. 4, № 1. - С. 52-63. - DOI 10.31804/2712-939X-2023-4-1-52-63. - EDN YTVWUK. Omelik, A. A. (2023). Factors of artificial intelligence influence on the creative process. Sociology of artificial intelligence, 4 (1), 52-63. doi:10.31804/2712-939X-2023-4-1-52-63. EDN YTVWUK. Остроух, А. В. Введение в искусственный интеллект: монография [Текст] / А. В. Остроух. - Красноярск: Научно-инновационный центр. - 2020. - 250 с. Ostroux, A. V. (2020). Introduction to artificial intelligence: monograph. Krasnoyarsk: Scientific and Innovation Center, 250. Петрова, М. Г. Искусственный интеллект в методике преподавания иностранных языков [Текст] / М. Г. Петрова // Современная наука: актуальные проблемы теории и практики. Серия: гуманитарные науки. - 2020 (5-2). - С. 62-66. Petrova, M. G. (2020). Artificial intelligence in the methodology of teaching foreign languages. Modern science: actual problems of theory and practice. Series: Humanities, 5(2), 62-66. Поспелов, Д. А., Осипов, Г. С. Прикладная семиотика [Текст] / Д. А. Поспелов., Г. С. Осипов // Новости искусственного интеллекта. - 1999. - С. 9-35. Pospelov, D. A., Osipov, G. S. (1999). Applied semiotics. Artificial Intelligence News, 9-35. Сиразетдинова, М. Ф. Социально-гуманитарное знание и искусственный интеллект [Текст] / М. Ф. Сиразетдинова // Информационные технологии интеллектуальной поддержки принятия решений. - 2014. С. 207-209. Sirazetdinova, M. F. (2014). Socio-humanitarian knowledge and artificial intelligence. Information technologies of intellectual decision support, 207-209. Ситникова, А. А. Теоретические, прикладные и синтетические методы исследования культуры как социально-антропологической системы [Текст] / А. А. Ситникова // Социальная антропология Сибири. - 2021. - Т. 2, № 2. - С. 6-17. - EDN ICEFEC. Sitnikova, A. A. (2021). Theoretical, applied and synthetic methods of studying culture as a socio-anthropological system. Social anthropology of Siberia, 2 (2), 6-17. EDN ICEFEC. Слюсарев, В. Г. Проблемы искусственного интеллекта в гуманитарных науках [Текст] / В. Г. Слюсарев // Технология, наука, управление: кадры для цифровой экономики: сборник трудов конференции. - 2020. - С. 173-177. Slyusarev, V. G. (2020). Problems of artificial intelligence in the humanities. Technology, science, management: personnel for the digital economy: proceedings of the conference, 173-177. Яценко, О. Ю. Проблемы искусственного интеллекта в гуманитарных науках [Текст] / О. Ю. Яценко // Шаг в будущее: искусственный интеллект и цифровая экономика: материалы 1-й Международной научно-практической конференции. - 2017. - С. 321-327. Yacenko, O. Yu. (2017). Problems of artificial intelligence in the humanities. Step into the future: Artificial Intelligence and Digital Economy: Proceedings of the First International Scientific and Practical Conference, 321-327. Agnihotri, L. Dimitrova, N. Text Detection for Video Analysis / L. Agnihotri, N. Dimitrova // 2015 third IAPR Asian Conference on Pattern Recognition. - 2015. - pp. 1-5. Agnihotri, L. Dimitrova, N. (2015). Text Detection for Video Analysis. Third IAPR Asian Conference on Pattern Recognition, 1-5. Boon-Lock Y., Yeung M. Extracting Story Units from Long Programs for Video Browsing and Navigation / Yeung M., Y. Boon-Lock // Readings in multimedia computing and networking. - 2001. pp. 296 - 305. Boon-Lock, Y., Yeung, M. (2001). Extracting Story Units from Long Programs for Video Browsing and Navigation. Readings in multimedia computing and networking, 296 - 305. Burghardt M., Heftberger A. et al. Film and Video Analysis in the Digital Humanities - An Interdisciplinary Dialog / M. Burghardt., A. Heftberger. // Digital humanities quarterly. - 2020. - pp. 1-18. Burghardt, M., Heftberger, A. et al. (2020). Film and Video Analysis in the Digital Humanities - An Interdisciplinary Dialog. Digital humanities quarterly, 1-18. Cetinic E., She J. Understanding and Creating Art with AI: Review and Outlook / E. Cetinic., J. She // ACM Transactions on Multimedia Computing, Communications, and Applications. - 2022 (2). - pp. 1-22. Cetinic, E., She, J. (2022). Understanding and Creating Art with AI: Review and Outlook. ACM Transactions on Multimedia Computing, Communications, and Applications, 2, 1-22. Ewerth R., Mühling M. et al. Videana: A Software Toolkit for Scientific Film Studies / R. Ewerth, M. Mühling // media/rep. - 2009. - pp. 101-116. Ewerth, R., Mühling, M. et al. (2009). Videana: A Software Toolkit for Scientific Film. Media/rep, 101-116. Hatalova D. Cinema in the Age of AI / D. Hatalova // SFU Undergraduate Research Symposium. - 2020. - pp. 43-51. Hatalova, D. (2020). Cinema in the Age of AI. SFU Undergraduate Research Symposium, 43-51. Hebb D. The Organization of Behavior: A Neuropsychological Theory / D. Hebb // Psychology. - 1949. - pp. 633-642. Hebb, D. (1949). The Organization of Behavior: A Neuropsychological Theory. Psychology, 633-642. Image Plot visualization software: explore patterns in large image collections. [Electronic source]: http://lab.softwarestudies.com/p/imageplot.html Image Plot visualization software: explore patterns in large image collections. [Electronic source]: http://lab.softwarestudies.com/p/imageplot.html Lewis Johnson W., Valente A. Tactical Language and Culture Training Systems: Using AI to Teach Foreign Languages and Cultures / W. Lewis Johnson, A. Valente // Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, AAAI 2008, Chicago, Illinois, USA, July 13-17. - 2008. - pp. 72-83. Lewis, J. W., Valente, A. (2008). Tactical Language and Culture Training Systems: Using AI to Teach Foreign Languages and Cultures. Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, AAAI 2008, Chicago, Illinois, USA, July 13-17, 72-83. McCarthy J. Recursive Functions of Symbolic Expressions and Their Computation by Machine, Part I / J. McCarthy // Massachusetts Institute of Technology. - 1960. - pp. 1-34. McCarthy, J. (1960). Recursive Functions of Symbolic Expressions and Their Computation by Machine, Part I. Massachusetts Institute of Technology, 1-34. Nowak A., Lukowicz P. et al. Assessing Artificial Intelligence for Humanity. Will AI be Our Biggest Ever Advance - or the Biggest Threat? / A. Nowak, P. Lukowicz // Technology and Society. - 2018 (4). - pp. 26-34. Nowak, A., Lukowicz, P. et al. (2018). Assessing Artificial Intelligence for Humanity. Will AI be Our Biggest Ever Advance - or the Biggest Threat? Technology and Society, 4, 26-34. Pustu-Iren K. Automated Visual Content Analysis for Film Studies: Status and Challenges / K. Pustu-Iren // Computer Science. - 2020. - pp. 1-19. Pustu-Iren, K. (2020). Automated Visual Content Analysis for Film Studies: Status and Challenges. Computer Science, 1-19. Saur D. D., Tan Yap-Peng et al. Automated analysis and annotation of basketball video // Digital Library. - 1997. pp. 77-83. Saur, D. D., Tan, Y.-P. et al. (1997). Automated analysis and annotation of basketball video. Digital Library, 77-83. Suchan J., Bhatt M. Semantic question answering with video and eye-tracking data: AI foundations for human visual perception driven cognitive film studies / M. Bhatt, J. Suchan // Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. - 2016. - pp. 2633-2639. Suchan, J., Bhatt, M. (2016). Semantic question answering with video and eye-tracking data: AI foundations for human visual perception driven cognitive film studies. Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, 2633-2639. Tadeo Fuica B., Buisson O. et al. Watching Historical Films Through AI: Reflections on Image Retrieval from Heritage Collections / B. Tadeo Fuica, O. Buisson. Cinergie - Il Cinema E Le Altre Arti. - 2021. - pp. 97-112. Tadeo Fuica, B., Buisson, O. et al. (2021). Watching Historical Films Through AI: Reflections on Image Retrieval from Heritage Collections. Cinergie - Il Cinema E Le Altre Arti, 97-112. Turing A. M. Computing Machinery and Intelligence / A. M. Turing // Mind 49. - 1950. - pp. 433-460. Turing, A. M. (1950). Computing Machinery and Intelligence. Mind 49, 433-460. Wyrobek J. Application of machine learning models and artificial intelligence to analyze annual financial statements to identify companies with unfair corporate culture / J. Wyrobek // Procedia Computer Science 176. - 2020. pp. 3037-3046. Wyrobek, J. (2020). Application of machine learning models and artificial intelligence to analyze annual financial statements to identify companies with unfair corporate culture. Procedia Computer Science 176, 3037-3046. Zhou Y., Zhang L. et al. Predicting movie box-office revenues using deep neural networks / Y. Zhou, L. Zhang // Neural Computing and Applications. - 2019. - pp. 35-41. Zhou, Y., Zhang, L. et al. (2019). Predicting movie box-office revenues using deep neural networks. Neural Computing and Applications, 35-41.