"Рядок містить байт NULL" у програмі зчитування CSV (Python)

Я намагаюся написати програму, яка переглядає файл .CSV (input.csv) і переписує лише ті рядки, які починаються з певного елемента (corrected.csv), як зазначено у текстовому файлі (output.txt).

Ось як зараз виглядає моя програма:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

На жаль, я постійно отримую цю помилку і не маю уявлення, про що йдеться.

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

Всім людям тут честь навіть довести мене до цього моменту.

Я вирішив подібну проблему за допомогою більш простого рішення:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

Ключ використовував модуль кодеків для відкриття файлу з кодуванням UTF-16, є набагато більше кодування, перевірте документацію .

Я здогадуюсь, що у вас є байт NUL у input.csv. Ви можете перевірити це за допомогою

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

Якщо ти зробиш,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

може вас обігнати. Або це може означати, що у вас є файл utf16 або щось “цікаве” у файлі .csv.

Якщо ви хочете замінити нулі чимось, ви можете зробити це:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Ви можете просто вбудувати генератор, щоб відфільтрувати нульові значення, якщо ви хочете зробити вигляд, що вони не існують. Звичайно, це припускає, що нульові байти насправді не є частиною кодування, а насправді є якимось помилковим артефактом чи помилкою.

Дивіться (line.replace('\0','') for line in f)нижче, також ви захочете відкрити цей файл за допомогою режиму rb.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Це підкаже, в чому саме проблема.

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

Можливо, це від daniweb було б корисним:

Я отримую цю помилку під час читання з файлу csv: "Помилка виконання! Рядок містить NULL байт". Будь-яке уявлення про першопричину цієї помилки?

...

Гаразд, я зрозумів і думав, що опублікую рішення. Просто все-таки викликав у мене горе ... Використаний файл було збережено у форматі .xls замість .csv Не вдалося зрозуміти це, оскільки саме ім'я файлу мало розширення .csv, поки тип ще був .xls

Хитрий спосіб:

Якщо ви розробляєте в рамках Lunux, ви можете використовувати всю силу sed :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

Найефективніше рішення для величезних файлів.

Перевірено на наявність Python3, Kubuntu

Нещодавно я вирішив цю проблему, і в моєму випадку це був стислий файл, який я намагався прочитати. Спочатку перевірте формат файлу. Потім переконайтеся, що вміст стосується розширення.

Перетворення мого середовища Linux на чисте повне середовище UTF-8 зробило для мене фокус. Спробуйте наступне у своєму командному рядку:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Це давно врегульовано, але я натрапив на цю відповідь, оскільки під час читання CSV-файлу під час читання CSV-файлу у мене виникли непередбачені помилки, які оброблялись як навчальні дані в Keras та TensorFlow.

У моєму випадку питання було набагато простішим, і про це варто пам’ятати. Дані, що надходять у CSV, не були послідовними, що призвело до того, що деякі стовпці повністю відсутні, що, здається, в кінцевому підсумку викидає і цю помилку.

Урок: Якщо ви бачите цю помилку, переконайтеся, що ваші дані виглядають так, як ви думаєте!

pandas.read_csv тепер обробляє різне кодування UTF під час читання / запису, і тому може мати справу безпосередньо з нульовими байтами

data = pd.read_csv(file, encoding='utf-16')

див. https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html