Скачивание и сохранение веб-страниц в формате UTF16LE с помощью Delphi 2009

Delphi , Синтаксис , Справочник по API-функциям

Скачивание и сохранение веб-страниц в формате UTF16LE с помощью Delphi 2009

Вопрос пользователя связан с необходимостью скачивания веб-страницы, которая может быть в любой кодировке, и сохранения её в формате UTF16LE. При этом предполагается, что кодировка текста может быть определена по HTTP-заголовку, HTML-заголовку и/или BOM. В статье будут рассмотрены способы конвертации текста из различных кодировок в UTF16LE, используя возможности Delphi 2009.

Получение веб-страницы

Если для доступа к веб-странице используется встроенный Internet Explorer (TWebBrowser), процесс довольно простой:

var
  htmlElement: IHTMLElement;
  myText: String;
begin
  // Получение доступа к HTML-элементу документа:
  htmlElement := (WebBrowserControl.DefaultInterface.Document as IHTMLDocument3).documentElement;
  // Получение полного HTML-кода веб-страницы:
  myText := htmlElement.OuterHTML;
end;

Internet Explorer и Delphi должны корректно обработать кодировку веб-страницы, и в результате вы получите UnicodeString, содержащий результат (myText в примерах).

Сохранение в UTF-16LE

Независимо от источника строки, её можно сохранить в желаемой кодировке следующим образом:

var
  s: TStringStream;
begin
  s := TStringStream.Create(myText, TEncoding.Unicode, False);
  s.SaveToFile('yourFileToSaveTo.txt');
  FreeAndNil(s);
end;

TEncoding.Unicode соответствует UTF-16LE, но вы можете использовать любую другую кодировку.

Альтернативный метод с использованием Indy

В Delphi 2009 и более поздних версиях компонент Indy 10 TIdHTTP автоматически декодирует полученную веб-страницу в UTF-16 для вас. Для конвертации из одной кодировки в Unicode на Windows необходимо использовать кодовые страницы (если не использовать библиотеку ICONV), поэтому сначала нужно преобразовать название кодировки в соответствующую кодовую страницу, а затем использовать TEncoding.GetEncoding() и TEncoding.GetString(), или установить кодовую страницу (SetCodePage()) на RawByteString (не AnsiString), который затем присваивается UnicodeString, для выполнения конвертации.

Заключение

При использовании Delphi 2009 для скачивания и сохранения веб-страниц в формате UTF16LE можно воспользоваться встроенным Internet Explorer или же библиотекой Indy. Важно отметить, что для преобразования текста в различные кодировки могут потребоваться дополнительные действия, включая преобразование названий кодировок в соответствующие кодовые страницы.

Комментарии

Необходимо отметить, что использование TWebBrowser может привести к проблемам, связанным с поведением IE, включая всплывающие окна безопасности, ошибки JavaScript, ActiveX-контроллы, несовместимости или внешние ссылки, такие как реклама на странице. В качестве альтернативы можно использовать Synapse или Indy, который предоставляет более надежные и удобные инструменты для работы с веб-страницами.

Этот обзор поможет разработчикам, работающим с Delphi 2009, эффективно скачивать и сохранять веб-страницы с использованием нужной кодировки, а также избегать распространенных проблем, связанных с кодировками и их конвертацией.

Создано по материалам из источника по ссылке.

Описание контекста: Вопрос касается скачивания веб-страниц и их сохранения в формате UTF16LE с использованием языка программирования Delphi 2009.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Справочник по API-функциям ::