Ускорение обработки данных о ценных бумагах: оптимизация многопоточности в Delphi

Delphi , Базы данных , ASCII и CSV

Оригинальный заголовок: multi-cored, multi-threaded speedup: reading through CSVs using TMemoryStream

Ответ:

Данный запрос пользователя связан с ситуацией, когда при выполнении многофайловой обработки данных с помощью многопоточного подхода, основанного на использовании компонентов Delphi, наблюдается отклонение от ожидаемого ускорения выполнения задач. Процесс состоит в чтении и анализе исторических данных о ценных бумагах в формате CSV для определения, достиг ли каждый актив на своей исторической максимумы. Проблемой является то, что при увеличении количества потоков не происходит пропорционального уменьшения времени обработки, что указывает на возможные узкие места в реализации.

Предложение по решению проблемы:

1. Профилирование кода: Для начала следует провести профилирование кода для выявления узких мест, на которые затрачивается большая часть времени выполнения. Это поможет выявить, какие операции можно оптимизировать или перенести в фоновые потоки.

2. Использование TThreadPool: В текущей реализации используется TThread и TThreadPool, что является правильным подходом для распределения задач между потоками. Однако стоит убедиться, что потоки действительно выполняют значительную часть работы, не затрачивая время на ожидание освобождения ресурсов.

3. Оптимизация чтения из файла: Приведенный в запросе код содержит операцию TMemoryStream.LoadFromFile, которая, согласно пользователю, выполняется практически мгновенно. Следует сосредоточить внимание на функции ShallowEquityNewHighInfoRetrieval, которая занимается обработкой данных из TStream.

4. Разделение задач: Функция ShallowEquityNewHighInfoRetrieval выполняет множество задач, включая чтение заголовка, обработку данных и перемотку в файле. Это может быть неэффективным. Рекомендуется разделить эти задачи на отдельные функции, что упростит тестирование и оптимизацию.

5. Использование блокирований данных: В текущем подходе есть операции с перемоткой и чтением в обратном порядке, что может привести к проблемам с блокировками и неэффективным использованием памяти. Стоит рассмотреть возможность использования блоков чтения данных вместо обращения к каждому файлу по отдельности.

6. Оптимизация памяти: В запросе упоминается использование многофайловых менеджеров памяти, таких как SapMM. Однако, следует внимательно относиться к выделению и освобождению памяти в многопоточной среде, чтобы избежать проблем с доступом к памяти.

7. Работа с большими файлами: Если данные слишком велики, чтобы поместиться в память, рассмотрите возможность работы с файлами на диске в режиме "потоков на блок" (block-level I/O) и использование блоков файлов в качестве виртуальной памяти.

8. Параллельные алгоритмы: Для некоторых задач необходимо разработать специализированные алгоритмы, которые оптимизированы для работы в многопоточной среде, например, на основе очередей задач и балансировщиков нагрузки.

Пример кода:

uses
  System.SysUtils, System.Classes, System.IOUtils;

type
  TDayIndexData = record
    Date: TDateTime;
    Open, High, Low, Close, AdjClose, Volume: extended;
  end;

function ReadCSVData(const AFileName: string; var DataList: TArray<TDayIndexData>);
var
  FileStream: TMemoryStream;
  Data: TDayIndexData;
  Line: string;
begin
  FileStream := TMemoryStream.Create;
  try
    FileStream.LoadFromFile(AFileName);
    try
      while not TFile.ReadLn(FileStream, Line) do
      begin
        var Fields: TArray<string>;
        Fields := TStringList(Split(Line, ',')).ToArray;
        SetLength(DataList, Length(DataList) + 1);
        DataList[HighByte(DataList)] := TDayIndexData.Create;
        DataList[HighByte(DataList)].Date := StrToDateTime(Fields[0]);
        DataList[HighByte(DataList)].Open := StrToFloatDef(Fields[1], 0);
        DataList[HighByte(DataList)].High := StrToFloatDef(Fields[2], 0);
        // Продолжение аналогично для остальных полей
      end;
    finally
      FileStream.Close;
    end;
  finally
    FileStream.Free;
end;

function FindHighestHigh(const ADataList: TArray<TDayIndexData>): extended;
var
  HighValue: extended;
begin
  HighValue := 0;
  for var Data in ADataList do
    if Data.High > HighValue then
      HighValue := Data.High;
  end;
  Result := HighValue;
end;

var
  Symbols: TArray<string>;
  CSVFiles: TArray<string>;
  HighestHighs: TArray<extended>;

begin
  // Загрузите список символов для обработки
  // Загрузите список путей к файлам CSV
  // Инициализация HighestHighs
  for var Symbol in Symbols do
  begin
    var FileName := GetCSVFilePath(Symbol);
    if FileExists(FileName) then
      begin
        var DataList: TArray<TDayIndexData>;
        ReadCSVData(FileName, DataList);
        HighestHighs[HighByte(HighestHighs)] := FindHighestHigh(DataList);
      end;
    else
      ShowMessage('Файл не найден: ' + FileName);
  end;
end;

Заключение:

Для оптимизации многопоточной обработки данных о ценных бумагах в Delphi следует провести детальный анализ текущей реализации, профилирование, оптимизацию использования памяти, разделение задач и внедрение специализированных алгоритмов.

Создано по материалам из источника по ссылке.

Контекст запроса связан с анализом и оптимизацией процесса многопоточной обработки данных, загруженных из CSV-файлов в среде Delphi, для определения исторических максимумов ценных бумаг, при этом наблюдается недостаточное ускорение по сравнению с ожидания

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: ASCII и CSV ::