Разработка программы сбора данных финансовых инструментов

ДК 004.623

Ананченко Игорь Викторович

канд. техн. наук, доцент,

Грязных Иван Дмитриевич

студент,

Ольховский Андрей Алексеевич

студент,

ФГБОУ ВО «Санкт-Петербургский государственный

технологический институт (технический университет)»

Аннотация: рассматривается разработка программы позволяющей собирать и хранить данные о котировках финансовых инструментах и другую информацию, связанную с этими инструментами. Программа была протестирована на данных котировок валютной пары EURUSD. Разработка программы была выполнена в связи с тем, что для эффективного прогнозирования изменения курса валютных пар требуется сбор и анализ большого объема данных, получаемых из различных источников.

Ключевые слова: база данных, программа, финансовые инструменты, сбор данных, форекс

DEVELOPMENT OF A DATA COLLECTION PROGRAM FOR FINANCIAL INSTRUMENTS

Ananchenko Igor Viktorovich,

Gryaznykh Ivan Dmitrievich,

Olkhovskiy Andrey Alekseevich

Abstract: the article discusses the development of a program that allows you to collect and store data on quotations of financial instruments and other information related to these instruments. The program was tested on the data of the quotes of the EURUSD currency pair. The development of the program was carried out due to the fact that for effective forecasting of changes in the exchange rate of currency pairs, it is necessary to collect and analyze a large amount of data obtained from various sources.

Keywords: database, program, financial instruments, data collection, forex

Эффективные методики прогнозирования изменения котировок валютных пар могут использовать различные методы технического и/или волнового анализа, дополняемого достаточно часто оценками, получаемыми на основе фундаментального анализа. Для прогнозирования необходимо иметь возможность собирать и обрабатывать данные о финансовых инструментах.

Для сбора и хранения таких данных была разработана программа FolderParser. Краткое описание алгоритма разработанной программы. На жестком диске у пользователя создается папка с заданным названием, например, forex. В этой папке создаются подпапки с данными. Данные периодически проверяются и заносятся в таблицы БД на SQL Server, если таблиц нет, то они создаются. Например, у пользователя есть папка alpari и в ней есть файлы EURUSD1.csv и EURUSD5.csv. Программа создает в БД схему alpari, если ее нет и в рамках этой схемы таблицы EURUSD1 и EURUSD5. Если такие таблицы есть, то данные добавляются, если такие данные отсутствуют. Первые два поля в записи формируют составной ключ. Например, запись, 2021.02.10,16:15,1.21313,1.21328,1.21303,1.21328,230 Ключевые поля 2021.02.10 и 16:15. После того, как файл обработан выполняется его перемещение в другую папку (имя папки задает пользователь) и при перемещении файла к его имени добавляется время и дата обработки. Обрабатываемая папка с данными может размещаться на локальном компьютере или на ftp сервере.

Было создано консольное приложение, выполняющееся в среде .NET CORE, совместимое со всеми современными ОС.

Рис. 1. Запуск консольного приложения

Для запуска приложения необходимо передать в консоль 2 параметра типа String и Boolean. Параметры: 1) Путь к папке с данными; 2) Флаг стратегии добавления данных (true – перезаписывать данные, если они уже существуют; false – пропустить уже существующие данные). В программе был создан и реализован интерфейс DataProvider в котором описаны методы необходимые провайдеру данных (будь то папка с файлами, Api, webdav и тд) для предоставления информации приложению.

Рис. 2. Класс реализующий интерфейс LocalDataProvider

Класс реализующий интерфейс (Рис. 2) назван LocalDataProvider, т.к. данные провайдер будет брать из локальной папки.

Рис. 3. Фрагмент кода работы с методами

Для отправки запросов к базе данных используется System.Data.SqlClient, а вся логика работы с базой описана в файле Database.cs. Два метода: CreateTable (создать таблицу) и AddRow (Добавить строку). Создание sql запроса происходит динамически в зависимости от данных, полученных от провайдера.

По окончанию работы с данными программа перемещает источник в директорию finished c меткой времени (Рис. 4).

Рис. 4. Добавление фрагмента с датой к названию файла.

Разработанное ПО не является универсальным, но его можно рассматривает как пример приложения, ориентированного на обработку архивных данных валютных котировок, экспортируемых в CSV формате из терминалов торговых платформ МТ4 и/или МТ5. Разработанное ПО также можно использовать в учебных целях во время проведения лабораторных работ [1] по тематике сбора и обработки разнородных данных с последующем сохранением их в SQL или в NoSQL базы данных [1,2].

Список литературы

1. Разработка лабораторной работы для изучения Mongodb в курсе по NоSQL. Ананченко И.В., Грязных И.Д. В сборнике: Сборник статей LII Международной научно-практической конференции. Пенза, 2021. С. 93-96.

2. Особенности работы с большими базами данных СУБД MS SQL SERVER 2014. Ананченко И.В. В книге: Неделя науки - 2015. сборник тезисов V научно-технической конференции студентов, аспирантов и молодых ученых (с международным участием). 2015. С. 143.