_csv.Error: поле більше, ніж межа поля (131072)

У мене сценарій читання у файлі CSV з дуже величезними полями:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Однак це призводить до наступної помилки для деяких файлів csv:

_csv.Error: field larger than field limit (131072)

Як я можу аналізувати файли CSV з величезними полями? Пропуск рядків з величезними полями не є можливим, оскільки дані потрібно аналізувати в наступних кроках.

Файл csv може містити дуже величезні поля, тому збільште field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizeпрацює для Python 2.x та 3.x. sys.maxintпрацював би лише з Python 2.x ( SO: what-is-sys-maxint-in-python-3 )

Оновлення

Як Geoff зазначив, наведений вище код може привести до наступної помилки: OverflowError: Python int too large to convert to C long. Щоб обійти це, ви можете використовувати наступний швидкий і брудний код (який повинен працювати в будь-якій системі з Python 2 і Python 3):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Це може бути тому, що у ваш файл CSV вбудовані одиничні чи подвійні лапки. Якщо ваш файл CSV розміщений на вкладках, спробуйте відкрити його як:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Нижче - перевірити межу струму

csv.field_size_limit()

Вихід [20]: 131072

Нижче - збільшення ліміту. Додайте його до коду

csv.field_size_limit(100000000)

Спробуйте перевірити ліміт ще раз

csv.field_size_limit()

Вихід [22]: 100000000

Тепер ви не отримаєте помилку "_csv.Error: поле більше, ніж межа поля (131072)"

Розміри полів csv управляються через [Python 3.Docs]: csv. field_size_limit ( [new_limit] ) :

Повертає поточний максимальний розмір поля, дозволений аналізатором. Якщо задано new_limit , це стає новим обмеженням.

За замовчуванням встановлено 128k або 0x20000 ( 131072 ), що повинно вистачити для будь-якого пристойного .csv :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

Однак, маючи справу з файлом .csv ( з правильним цитуванням та роздільником ), що має (принаймні) на одне поле довше цього розміру, помилка з’являється.
Щоб позбутися помилки, слід збільшити обмеження розміру (щоб уникнути будь-яких турбот, спробується максимально можливе значення).

За лаштунками (перевірте [GitHub]: python / cpython - (master) cpython / Modules / _csv.c на деталі реалізації), змінна, яка містить це значення, є C довгою ( [Wikipedia]: типи даних C ), розмір якої змінюється в залежності від архітектури процесора та ОС ( I L P ). Класична різниця: для 64-бітної ОС ( збірка Python ) розмір довгого типу ( у бітах ) становить:

• Нікс : 64
• Виграш : 32

При спробі встановити це нове значення перевіряється на довгі межі, тому в деяких випадках з'являється інший виняток (цей випадок поширений у програмі Win ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Щоб не стикатися з цією проблемою, встановіть (максимально можливий) ліміт ( LONG_MAX ) за допомогою штучного інструменту (завдяки [Python 3.Docs]: ctypes - Бібліотека іноземних функцій для Python ). Він повинен працювати на Python 3 та Python 2 , на будь-якому процесорі / ОС .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

64-бітний Python на таких операційних системах, як Nix :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Для 32-бітного Python все є рівномірним: це поведінка, яку зустрічає Win .

Щоб отримати докладнішу інформацію, перегляньте такі ресурси:

• Гра з межами типів C від Python : [SO]: Максимальне і мінімальне значення цілих чисел C від Python (@ відповідь CristiFati)
• Різниця Python 32bit vs 64bit : [SO]: Як визначити, чи виконується моя оболонка python в режимі 32 біт або 64 біт на OS X? (@ Відповідь CristiFati)

У мене щойно це траплялося зі звичайним файлом CSV. Деякі люди можуть назвати це недійсним форматованим файлом. Без символів втечі, жодних подвійних лапок та роздільника не було крапки з комою.

Зразок рядка з цього файлу виглядатиме так:

Перша клітина; Друга клітинка з однією подвійною цитатою та провідним простором; клітинка "Частково цитується";

одинарна цитата у другій комірці кинула б парсер зі своїх рейок. Що працювало:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Іноді рядки містять подвійний стовпчик цитат. Коли csv читач спробує прочитати цей рядок, не зрозумілий кінець стовпця і запустити цей рейз. Рішення нижче:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Ви можете використовувати read_csvз, pandasщоб пропустити ці рядки.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Знайдіть файл cqlshrc, зазвичай розміщений у каталозі .cassandra.

У цьому файлі додайте,

[csv]
field_size_limit = 1000000000