Опублікувавши відповідь за бажанням коментаторів на мою відповідь на подібне запитання, де та сама техніка була використана для мутації останнього рядка файлу, а не просто його отримання.
Для файлу значного розміру mmap
це найкращий спосіб зробити це. Щоб покращити існуючу mmap
відповідь, ця версія є портативною між Windows та Linux, і вона повинна працювати швидше (хоча вона не працюватиме без деяких модифікацій на 32-бітному Python з файлами в діапазоні ГБ, див. Іншу відповідь для підказок щодо поводження з цим , і для модифікації для роботи на Python 2 ).
import io # Gets consistent version of open for both Py2.7 and Py3.x
import itertools
import mmap
def skip_back_lines(mm, numlines, startidx):
'''Factored out to simplify handling of n and offset'''
for _ in itertools.repeat(None, numlines):
startidx = mm.rfind(b'\n', 0, startidx)
if startidx < 0:
break
return startidx
def tail(f, n, offset=0):
# Reopen file in binary mode
with io.open(f.name, 'rb') as binf, mmap.mmap(binf.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# len(mm) - 1 handles files ending w/newline by getting the prior line
startofline = skip_back_lines(mm, offset, len(mm) - 1)
if startofline < 0:
return [] # Offset lines consumed whole file, nothing to return
# If using a generator function (yield-ing, see below),
# this should be a plain return, no empty list
endoflines = startofline + 1 # Slice end to omit offset lines
# Find start of lines to capture (add 1 to move from newline to beginning of following line)
startofline = skip_back_lines(mm, n, startofline) + 1
# Passing True to splitlines makes it return the list of lines without
# removing the trailing newline (if any), so list mimics f.readlines()
return mm[startofline:endoflines].splitlines(True)
# If Windows style \r\n newlines need to be normalized to \n, and input
# is ASCII compatible, can normalize newlines with:
# return mm[startofline:endoflines].replace(os.linesep.encode('ascii'), b'\n').splitlines(True)
Звідси випливає, що кількість рядків у рядках є досить малим, щоб ви могли спокійно прочитати їх усі в пам'яті відразу; Ви також можете зробити цю функцію генератора і вручну прочитати рядок, замінивши підсумковий рядок на:
mm.seek(startofline)
# Call mm.readline n times, or until EOF, whichever comes first
# Python 3.2 and earlier:
for line in itertools.islice(iter(mm.readline, b''), n):
yield line
# 3.3+:
yield from itertools.islice(iter(mm.readline, b''), n)
Нарешті, це читається у двійковому режимі (необхідне для використання mmap
), тому він дає str
рядки (Py2) та bytes
рядки (Py3); якщо ви хочете unicode
(Py2) або str
(Py3), ітеративний підхід може бути налаштований для декодування для вас та / або виправлення нових рядків:
lines = itertools.islice(iter(mm.readline, b''), n)
if f.encoding: # Decode if the passed file was opened with a specific encoding
lines = (line.decode(f.encoding) for line in lines)
if 'b' not in f.mode: # Fix line breaks if passed file opened in text mode
lines = (line.replace(os.linesep, '\n') for line in lines)
# Python 3.2 and earlier:
for line in lines:
yield line
# 3.3+:
yield from lines
Примітка: я все це набрав на машині, де мені не вистачає доступу до Python для тестування. Будь ласка, дайте мені знати, якщо я щось надрукував; це було досить подібне до моєї іншої відповіді, що я думаю, що це має спрацювати, але налаштування (наприклад, обробка ан offset
) може призвести до тонких помилок. Будь ласка, повідомте мене в коментарях, якщо є якісь помилки.
seek(0,2)
тодіtell()
), і використовую це значення для пошуку відносно початку.