УДК
656.05(075) +004.056(075)
DOI
10.53988/24136573-2021-04-12
Используйте это описание для цитирования:
Cite this article as:
Салчак Я.Я. Разработка системы интеллектуального анализа данных на предприятии // Управление рисками в АПК. 2021. Вып. 42 С. 109-122. DOI: 10.53988/24136573-2021-04-12
Salchak Ya. Et al. Development of a data mining system in the enterprise // Agricultural Risk Management, 2021, Vol. 42, pp. 109-122. DOI: 10.53988/24136573-2021-04-12
Технические, экономические науки
Technical, economic sciences
САЛЧАК Я.Я.
РАЗРАБ ОТКА СИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ НА ПРЕДПРИЯТИИ
Салчак Яна Яковлевна – студент бакалавриата прикладной экономики, РГАУ-МСХА имени К.А. Тимирязева, Москва, Россия
Email: salchak@gmail.com
Моторин Олег Алексеевич – кандидат политических наук, РГАУ-МСХА имени К.А. Тимирязева, Москва, Россия
Email: ol.motorin@gmail.com
SPIN-код РИНЦ: 4096-8796
Аннотация
В статье представлены результаты разработки системы интеллектуального анализа данных на тестовом предприятии, специализирующемся на производстве хлебобулочной продукции. Представлены собранные автором функциональные требования к разрабатываемой системе анализа данных. На основе требований создана модель информационных потоков и разработано приложение, включающее 11 рабочих субприложений – листов. Каждый из листов отражает потребность заинтересованных в аналитике структурных подразделений тестового заказчика. Также определены альтернативные конфигурации развертывания системы исходя из количества пользователей системы. Материал выполнен на реальных данных, носит исследовательский, репрезентативный характер и направлен на популяризацию инструментов BI-аналитики для представителей предприятий АПК, демонстрируя возможности сокращения затрат ресурсов и времени на обработку и поиск данных.
Ключевые слова
Интеллектуальный анализ данных, Knowledge Discovery in Databases, Data Mining, Business intelligence, BI, цифровая трансформация, прикладная информатика, управление данными, цифровые сервисы, аналитика, Qlik Sense.
SALCHAK YA., MOTORIN O.A.
DEVELOPMENT OF A DATA MINING SYSTEM IN THE ENTERPRISE
Yana Salchak – Bachelor's student of Applied Economics, RSAU-MTAA named after K.A. Timiryazev, Moscow, Russia.
Email: salchak@gmail.com
Oleg A. Motorin – Candidate of Political Sciences, RSAU-MTAA named after K.A. Timiryazev, Moscow, Russia.
Email: ol.motorin@gmail.com
Annotation
The article presents the results of the development of a data mining system at a test enterprise specializing in the production of bakery products. The functional requirements collected by the author for the developed data analysis system are presented. Based on the requirements, a model of information flows was created, and an application was developed that includes 11 working sub–applications - sheets. Each of the sheets reflects the need of the structural units of the test customer interested in analytics. Alternative system deployment configurations are also defined based on the number of system users. The material is based on real data, has a research, representative character and is aimed at popularizing BI-analytics tools for representatives of agricultural enterprises, demonstrating the possibilities of reducing the cost of resources and time for processing and searching data.
Keywords
Data mining, Knowledge Discovery in Databases, KDD, Data Mining, Business intelligence, BI, digital transformation, applied informatics, data management, digital services, analytics, Qlik Sense.
Текст статьи
По итогам предыдущих исследований [1], предлагается провести разработку функциональных требований к совершенствованию системы анализа данных на одном из предприятий, отнесенных к хлебобулочной промышленности.
Прежде всего, в соответствии с подходами, изложенными ранее [2], необходимо было провести сбор данных от заказчика о желаемом состоянии функции интеллектуального анализа данных [11]. По результатам сбора предложений от пользователей разрабатываемого программного продукта и анализа бизнес-процессов [5] и документации, были сформированы следующие функциональные требования к системе анализа данных:
• аналитическая обработка информации, полученной из внешних источников АО «Хлебозавода №28»;
• формирование, визуализация и публикация статистической и аналитической информации;
• оперативное предоставление лицам, принимающим управленческие решения, полной, достоверной и актуальной информации для принятия обоснованных решений за счет сокращения общего времени на поиск, обработку, передачу и выдачу информации;
• предоставление пользователям (имеющим соответствующую роль, не имеющим навыков программирования) возможности самостоятельного формирования и настройки приложений и отчетов.
После определения требований к системе необходимо выбрать по какой модели жизненного цикла будет создаваться интеллектуальная система анализа данных. Из ряда моделей выбор пал использование каскадной модели [7].
Далее выполнено оформление концепции развития системы интеллектуального анализа данных в соответствии с методическими рекомендациями [3]. Выбор на основании критериев, изложенных в предшествующей публикации, был сделан в отношении аналитической системы, основанной на продукте "Qlik Sense". Исходя из того, что приложения должны максимально использовать модель данных Qlik Sense, следует разделять источники данных таким образом, чтобы выполнялись следующие критерии:
• в одном аналитическом приложении должны собираться данные по имуществу, источникам формирования имущества и т.д.;
• в аналитическом приложении по возможности должна соблюдаться максимальная детализация данных;
• данные в аналитическом приложении должны быть связаны, по крайней мере, по одному из признаков, кроме времени;
• данные в разных аналитических приложениях по возможности не должны дублироваться [4].
Таким образом, c учетом требований ООП [9], существующие наборы данных можно разделить на следующие аналитические листы:
• Лист с краткой информацией АО «Хлебозавод №28», местоположением на карте и данными активов и пассивов из бухгалтерского баланса;
• Лист с ключевыми показателями;
• Лист с анализом имущества и источников формирования имущества;
• Лист с отчетом о движении денежных средств;
• Лист с анализом денежных потоков;
• Лист с отчетом о финансовых результатах;
• Лист с отчетом о финансовых результатах (продолжение);
• Лист с отчетом по продажам и закупкам;
• Лист с прогнозирование выручки;
• Лист прочее с ценой продукции и количеством закупки сырья.
По результатам анализа внутренней ИТ-архитектуры и потребностям заказчика к полноте и периодичности предоставления данных и информации из системы интеллектуального анализа данных определены требования к развертыванию системы. Для развертывания BI-системы на платформе Qlik Sense оборудование и программное обеспечение должно удовлетворять следующим требованиям - минимальная конфигурация рассчитана из расчета одновременной работы до 20 пользователей (32ГБ). Рекомендуемая же конфигурация рассчитана из расчета одновременной работы до 30 пользователей и добавления новых источников данных, требующих увеличение производительности сервера до 64 ГБ.
Таблица 1 – Конфигурация системы для оперативной памяти (требования)
Конфигурационная единица Требование 32 ГБ Требование 64ГБ
Количество процессорных ядер (или виртуальных ядер) 8 12-16
Размер оперативной памяти 32 ГБ 64 ГБ
Размер жестких дисков (включая операционную систему) 250 ГБ 250 ГБ
Операционная система Windows Server 2018 R2 Windows Server 2018R2
Описание программной реализации приложения. Разработка системы интеллектуального анализа данных включает в себя создание листов, фильтров (разрезов) данных, ключевых показателей, различных визуализаций.
На рис. 2 представлен интерфейс приложения с листами (отчетами) АО «Хлебозавод №28».
Рисунок 2 – Обзор приложения в Qlik Sense
Приложение состоит из 11 листов.
Лист "Главная страница". Содержит краткую информацию АО «Хлебозавод №28», местоположение на карте и бухгалтерский баланс. Бухгалтерский баланс можно просмотреть за предыдущие года, нажав на фильтр «Год».
Рисунок 3 – «Главная страница» приложения
Лист "Ключевые показатели". Данный лист отражает важные данные предприятия (выручка, чистая прибыль, себестоимость и т.д.). Для визуализации ключевых показателей использован специальный инструмент – ключевой показатель эффективности, также использованы линейные графики и линейчатые диаграммы.
Рисунок 4 – «Ключевые показатели» приложения
Лист "Активы и пассивы". Лист состоит из фильтров «Год» и «Название», таблиц «Активы» и «Пассивы» и их динамики, соответственно.
Рисунок 5 – «Активы и пассивы» приложения
Данный отчет, представленный на рис. 5, позволяет наглядно проанализировать данные баланса предприятия, как в таблице, так и в диаграммах. С помощью фильтров можно выбрать необходимые данные по годам и названиям (рис. 6 и 7).
Рисунок 6 – Фильтр «Год» Рисунок 7 – Фильтр «Название»
Лист "Отчет о движении денежных средств" (рис. 8). Лист состоит из фильтра «Год», трех таблиц по видам денежных потоков: текущей, инвестиционной и финансовой. Столбчатой диаграммы «Потоки», «Структуры оплат в динамике» и круговой диаграммы «Структура поступлений».
Рисунок 8 – «ОДДС» приложения
Лист "Денежные потоки" (рис. 9). Лист состоит из более подробного отчета движения денежных средств. Отчет состоит из таблицы со значениями, структуры и абсолютных изменений. Круговая диаграмма демонстрирует структуру денежных потоков.
Рисунок 9– «Денежные потоки» приложения
Лист "Финансовые результаты" (рис. 10). Лист состоит из отчета финансовых результатов. Ключевые показатели финансовых результатов будут динамично меняться с помощью фильтра «Год» и столбчатые диаграммы, соответственно.
Рисунок 10 - «Финансовые результаты» приложения
Лист "Прибыль и расходы" (рис. 11). Лист содержит информацию о выручке, чистой и валовой прибылях, расходах.
Рисунок 11 – «Прибыль и расходы» приложения
Лист "Продажи и закупки" (KPI) (рис. 12). Отчет представляет ключевые показатели по продажам и закупкам, далее структура продаж по районам, линейчатые диаграммы продаж по категориям и продукции, динамика соответственно.
Рисунок 12 – «Продажи и закупки (KPI)» приложения
Лист "Продажи и закупки" (фильтры) (рис. 13). В данном отчете можно подробнее проанализировать данные продаж хлебобулочной продукции, данные по закупкам сырья. Накопление указанных данных в перспективе позволит перейти к использованию смарт-контрактов [8] по поставкам продукции комбината, с одной стороны, а с другой - к закупкам сырья и необходимых факторов производства с рынка. Новая аналитика позволит снизить транзакционные издержки и сократить затраты в себестоимости за счет более высокой точности планирования программы выпуска продукции [10].
Рисунок 13 – «Продажи и закупки»
Фильтры листа «Продажи и закупки» представлены на рисунках 14-17. Фильтры позволяют проводить более глубокий анализ данных АО «Хлебозавод №28» и позволяет просматривать затраты на закупку сырья и доход от реализации хлебобулочной продукции.
Рисунок 14 – Фильтр «Месяц» Рисунок 15 – Фильтр «Название категории»
Рисунок 16 – Фильтр «Название продукции» Рисунок 17 – Фильтр «Сырье»
Лист "Прогнозирование" (рис. 18). Данный лист приложения позволяет увидеть спрогнозированную выручку за 2022-2023 гг., можно также с помощью фильтра «Месяц» прогнозировать на определенные месяца года.
Рисунок 18 – «Прогнозирование» приложения
Фильтр «Название района» (рис. 19) в дополнении к вышеупомянутым фильтрам, представленных на рисунках 14-17, позволяет просмотреть будущую спрогнозированную выручку со всех районов, куда поставляется продукция АО «Хлебозавод №28».
Рисунок 19 – Фильтр «Название района».
Таким образом, разработка системы содействия интеллектуального анализа данных АО «Хлебозавод №28» позволит руководителям отделов и генеральному директору просматривать интересующие отчеты по предприятию без помощи программистов, экономистов и бухгалтеров. Внедрение аналитической инфраструктуры позволяет видеть общую картину работы и функционирования предприятия, взаимосвязанность и комплементарность слоев архитектуры предприятия [6], что в дальнейшем поможет руководителям принимать управленческие решения для развития АО «Хлебозавод №28» как производственного-сбытового комплекса.
Источники:
1. Салчак, Я. Я. Инструментальное обеспечение интеллектуального анализа данных / Я. Я. Салчак, О. А. Моторин // Управление рисками в АПК. – 2021. – № 3(41). – С. 103-113. – DOI 10.53988/24136573-2021-03-09. – EDN BAWPFJ.
2. Салчак Я.Я. Понятие интеллектуального анализа данных // Управление рисками в АПК. - 2021. - Вып. 40. С. 94-101. DOI: 10.53988/24136573-2021-03-09.
3. Методические рекомендации по работе с аналитическими приложениями ЦИАС СГИО СХ. М.: ФГБНУ «Росинформагротех», 2019. – 156 с.
4. Моторин О.А. Анализ данных в информационных системах АПК. М.: РЕГУЛЯТОР, 2019. – C. 16. ISBN 9785990827226.
5. Моторин О.А., Кушнарева М.Н., Худякова Е.В. Анализ бизнес-процессов в АПК. М.: РЕГУЛЯТОР, 2019. – С. 43-44. ISBN 9785990827240.
6. Моторин О.А., Кушнарева М.Н., Худякова Е.В. Архитектура предприятия и информационных систем в АПК. М.: РЕГУЛЯТОР, 2019. – С. 25-27. ISBN 9785990827295.
7. Моторин О.А., Кушнарева М.Н., Худякова Е.В. Управление ИТ-проектами в АПК. М.: РЕГУЛЯТОР, 2019. – С. 77. ISBN 9785990827257.
8. Степанцевич М.Н., Горбачев М.И., Качалин М.А. Цифровая трансформация деятельности участников агропродовольственного рынка на основе смарт-контракта // Международный научный журнал, учредитель: ООО «Спектр». – 2021. – №3. – С. 50-60.
9. Худякова, Е.В., Кушнарёва, М.Н., Горбачев, М.И. Объектно-ориентированное моделирование бизнес-процессов в АПК: учебно-методическое пособие. – М.: ООО «Мегаполис», 2020. – №1. – 56 с.
10. Худякова Е.В., Кушнарёва М.Н., Горбачев, М.И. Эффективность внедрения цифровых технологий в соответствии с концепцией «Сельское хозяйство 4.0» // Международный научный журнал. – 2020. – №1. – С. 8088.
11. Shmueli G., Bruce P.C., Gedeck P., Patel N.R. Data mining for business analytics. Concepts, Techniques, and Applications in Python. Wiley, 2020.
References:
1. Salchak Ya. et al. Instruments of intelligent data analysis // Agricultural Risk Management, 2021, Vol. 41, pp. 103-112. DOI: 10.53988 /24136573-2021-03-09
2. Salchak Ya. et al. The concept of intelligent data analysis // Agricultural Risk Management, 2021, Vol. 40, pp. 94-101. DOI: 10.53988 /24136573-2021-02-09.
3. Guidelines for working with analytical applications of CIAS. M.: FGBNU «Rosinformagrotech», 2019. 156 p.
4. Motorin O.A. Data analysis in information systems of the agroindustrial complex. M.: REGULATOR, 2019. P. 16. ISBN 9785990827226.
5. Motorin O.A., Kushnareva M.N., Khudyakova E.V. Analysis of business processes in the agroindustrial complex. M.: REGULATOR, 2019. Pp. 4344. ISBN 9785990827240.
6. Motorin O.A., Kushnareva M.N., Khudyakova E.V. Architecture of the enterprise and information systems in the agroindustrial complex. M.: REGULATOR, 2019. Pp. 25-27. ISBN 9785990827295.
7. Motorin O.A., Kushnareva M.N., Khudyakova E.V. IT project management in the agroindustrial complex. M.: REGULATOR, 2019. P. 77. ISBN 9785990827257.
8. Stepantsevich M.N., Gorbachev M.I., Kachalin M.A. Digital transformation of the activities of participants in the agrofood market based on a smart contract // International scientific journal, founder: Spektr LLC. 2021. No. 3. Pp. 5060.
9. Khudyakova, E.V., Kushnareva, M.N., Gorbachev, M.I. Object-oriented modeling of business processes in the agroindustrial complex: a teaching aid. M.: Megapolis LLC, 2020. No. 1. – 56 p.
10. Khudyakova E.V., Kushnareva M.N., Gorbachev, M.I. The effectiveness of the implementation of digital technologies in accordance with the concept of «Agriculture 4.0» // International scientific journal. 2020. No. 1. PP. 8088.
11. Shmueli G., Bruce P.C., Gedeck P., Patel N.R. Data mining for business analytics. Concepts, Techniques, and Applications in Python. Wiley, 2020.
Все иллюстрации статьи | All visuals of paper