Как извлечь пользовательский HTML из TWebBrowser в Delphi, созданный JavaScript (AJAX)

Delphi , Интернет и Сети , Браузер

При работе с веб-страницами, которые используют JavaScript для отображения HTML-кода, может возникнуть проблема с извлечением именно того кода, который видит пользователь. В статье мы рассмотрим, как решить эту задачу, используя компонент TWebBrowser в среде разработки Delphi.

Описание проблемы

Когда вы загружаете веб-страницу в компонент TWebBrowser, который присутствует в Delphi, и эта страница генерируется с помощью JavaScript (например, AJAX), стандартные методы извлечения HTML-кода возвращают скрипты, а не тот код, который виден пользователю. Это может быть проблемой для парсинга страниц, например, поисковых результатов Google или новостных сайтов, таких как Wall Street Journal, The Washington Post и The New York Times.

Подход к решению

Для извлечения HTML-кода, который отображается в TWebBrowser после выполнения JavaScript, необходимо дождаться полной загрузки страницы и получить HTML после того, как все скрипты будут выполнены. Это можно сделать, обратившись к событию OnDocumentComplete вместо OnNavigationComplete2.

Пример кода

var
  url: string;
  d: OleVariant;
begin
  url := '... paste URL Google generates here ...'; // Вставьте URL, полученный от Google
  WebBrowser1.Navigate2(url, 0); // Начните загрузку страницы
  // Здесь должен быть обработчик события OnDocumentComplete
  // Пример обработчика:
  procedure TForm1.WebBrowser1_DocumentComplete(Sender: TObject; const VarSubject: OleVariant);
  begin
    if VarSubject is TDOMDocument then
    begin
      d := VarSubject;
      memo1.Lines.Text := d.documentElement.outerHTML;
      // Теперь memo1 содержит HTML-код, отображаемый в TWebBrowser
    end;
  end;
  // Не забудьте установить обработчик события в вашем коде или на форме
end;

Важные замечания

• Убедитесь, что вы используете событие OnDocumentComplete, чтобы дождаться полной загрузки страницы.
• Проверьте, что все скрипты выполнились и HTML-код стабилен перед извлечением.
• Обратите внимание на возможные проблемы с авторскими правами при парсинге страниц, особенно если это касается контента от крупных компаний, таких как Google.

Подтвержденный ответ

Использование события OnDocumentComplete является ключом к решению проблемы. Это событие срабатывает после того, как все скрипты на странице выполнены, и вы можете быть уверены, что полученный HTML-код соответствует тому, что видит пользователь.

Заключение

Извлечение пользовательского HTML-кода из TWebBrowser в Delphi после выполнения JavaScript требует терпения и правильного выбора событий для обработки. С правильным подходом и использованием OnDocumentComplete, вы сможете успешно извлекать и анализировать необходимый HTML-код.

Создано по материалам из источника по ссылке.

При работе с TWebBrowser в Delphi для извлечения HTML-кода, генерируемого JavaScript (AJAX), необходимо использовать событие `OnDocumentComplete`, чтобы получить актуальный код, отображаемый пользователю.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Браузер ::