Проблема блокировки главного потока в многопоточном веб-пауке на Delphi

Delphi , Компоненты и Классы , Потоки

При разработке многопоточных приложений, таких как веб-паук, важно обеспечить корректное взаимодействие между потоками, особенно когда они работают с общими ресурсами, например, с базой данных. В данном случае, разработчик столкнулся с проблемой блокировки главного потока, который использует один и тот же экземпляр базы данных SQLite для генерации новых потоков, выполняющих сканирование URL.

Описание проблемы

Главный поток использует критическую секцию для синхронизации доступа к базе данных, но при этом каждый поток также имеет свою критическую секцию, что не позволяет достичь желаемого эффекта блокировки. В результате, главный поток продолжает выполнять код даже тогда, когда один из потоков находится в критической секции.

Пример кода

CreateDb;
InitializeCriticalSection(critical);
index := 0;
repeat
  if threads < THREADS_MAX then
  begin
    EnterCriticalSection(critical);
    try
      sqldb.query('SELECT * FROM urls WHERE vizitat=0 AND id>' + IntToStr(index));
      urlcount:= sqldb.rowcount;
      // ... код обработки результатов запроса ...
    finally
      LeaveCriticalSection(critical);
    end;
  end;
  // ... другие действия главного потока ...
until (threads = 0) and (urlcount < 1);

Подход к решению

Для корректной работы критических секций необходимо, чтобы все потоки, включая главный, использовали один и тот же объект критической секции. Это позволит обеспечить сериализацию доступа к общим ресурсам.

Решение проблемы

Используйте один и тот же объект критической секции для всех потоков, включая главный. При создании нового потока передайте ему ссылку на общий объект критической секции. В коде потока используйте EnterCriticalSection перед доступом к общим ресурсам и LeaveCriticalSection после завершения работы с ними.

Пример исправленного кода

TPageCrawl.Create(critical, @threads, sqldb.Fs('adresa'), index, sqldb);

Внутри TPageCrawl необходимо будет использовать критическую секцию следующим образом:

procedure TPageCrawl.Execute;
begin
  EnterCriticalSection(critical);
  try
    // Код работы с общими ресурсами
  finally
    LeaveCriticalSection(critical);
  end;
end;

Заключение

Использование общей критической секции для всех потоков, включая главный, является ключом к решению проблемы блокировки. Это обеспечит правильную синхронизацию доступа к общим ресурсам и предотвратит конфликты между потоками.

Комментарии

Важно отметить, что для удобства работы с критическими секциями в Free Pascal существуют классы, такие как TCriticalSection, которые упрощают работу с ними. Также доступны более сложные механизмы синхронизации, такие как TMultiReadExclusiveWriteSynchronizer.

Создано по материалам из источника по ссылке.

Проблема заключается в неправильном использовании критической секции для синхронизации доступа к базе данных в многопоточном веб-пауке на Delphi, из-за чего главный поток продолжает выполняться, несмотря на обработку данных другими потоками.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Потоки ::