Как программно определить разделитель строк в CSV-файле: разбираемся с CR, LF и кавычками

Delphi , Базы данных , ASCII и CSV

CSV (Comma-Separated Values) файлы являются одним из наиболее распространённых форматов для хранения и обмена данными. В этих файлах данные обычно разделены запятыми, а строки - символами перевода строки. В большинстве случаев используется пара символов перевода строки CR/LF, но иногда может использоваться только CR или LF. Кроме того, в кавычках внутри полей строки могут содержать символы перевода строк, которые не служат разделителями строк.

Проблема

Как определить разделитель строк в CSV-файле, если он может быть CR/LF, CR или LF? Также важно учитывать, что символы перевода строк в кавыченных полях могут не совпадать с разделителями строк.

Решение

Для решения этой задачи можно использовать следующий подход:

1. Открыть файл в режиме чтения символов с помощью потоков ввода-вывода.
2. Прочитать символы файла по одному до обнаружения символов перевода строк CR или LF.
3. Если первым обнаруженным символом перевода строки является LF, то это и есть разделитель строк.
4. Если обнаружен CR, то читаем следующий символ. Если это LF, то разделителем строк является пара CR/LF. Если нет, то разделителем является CR.

Для обработки символов перевода строк внутри кавыченных полей можно посчитать количество неэкранированных кавычек. Если количество нечетное, то возможно, что в поле заложен символ перевода строки.

Пример кода на Object Pascal (Delphi)

program DetectCSVRecordSeparator;

{$APPTYPE CONSOLE}

uses
  System.SysUtils,
  System.IOUtils;

function DetectRecordSeparator(const FileName: TFileName): string;
var
  FileStream: TMemoryStream;
  Buffer: array[0..1] of Byte;
  BytesRead: Cardinal;
begin
  Result := '';
  FileStream := TMemoryStream.Create;
  try
    FileStream.LoadFromFile(FileName);
    BytesRead := FileStream.Read(Buffer, SizeOf(Buffer));
    while BytesRead > 0 do
    begin
      case Buffer[0] of
        #13: 
        begin
          BytesRead := FileStream.Read(Buffer, SizeOf(Buffer));
          if BytesRead > 0 then
            if Buffer[0] = #10 then
              Result := #13#10
            else
              Result := #13
          else
            Break;
        end;
        #10:
          Result := #10;
        else
          Break;
      end;
      BytesRead := FileStream.Read(Buffer, SizeOf(Buffer));
    end;
  finally
    FileStream.Free;
  end;
end;

var
  Separator: string;
begin
  Separator := DetectRecordSeparator('path_to_your_csv_file.csv');
  if Separator = '' then
    WriteLn('Не удалось определить разделитель строк.')
  else
    WriteLn(Format('Разделитель строк: %s', [Separator]));
  ReadLn;
end.

Этот код можно использовать в качестве отправной точки для реализации функции определения разделителя строк в CSV-файле. Не забудьте заменить 'path_to_your_csv_file.csv' на путь к вашему CSV-файлу.

Заключение

Используя описанный подход, можно программно определить разделитель строк в CSV-файле, что позволит корректно обрабатывать данные, независимо от операционной системы и конкретного формата файла.

Создано по материалам из источника по ссылке.

Разбираемся с программным определением разделителя строк в CSV-файлах, учитывая различные варианты символов перевода строк и кавычки в полях.

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: ASCII и CSV ::