Використання 'diff' (або що-небудь ще) для отримання різниці на рівні символів між текстовими файлами

Я хотів би використовувати 'diff', щоб отримати різницю між рядками та різницю між символами. Наприклад, розглянемо:

Файл 1

abcde
abc
abcccd

Файл 2

abcde
ab
abccc

За допомогою diff -u я отримую:

@@ -1,3 +1,3 @@
 abcde
-abc
-abcccd
\ No newline at end of file
+ab
+abccc
\ No newline at end of file

Однак це лише показує мені, що змінилися в цих рядках. Я хотів би бачити щось на зразок:

@@ -1,3 +1,3 @@
 abcde
-ab<ins>c</ins>
-abccc<ins>d</ins>
\ No newline at end of file
+ab
+abccc
\ No newline at end of file

Ви зрозуміли мій дрейф.

Тепер я знаю, що можу використовувати інші двигуни для позначення / перевірки різниці на конкретному рядку. Але я волів би використовувати один інструмент, який робить все це.

Git має слово diff, і визначення всіх символів як слів ефективно дає вам різницю символів. Однак зміни нового рядка ігноруються .

Приклад

Створіть сховище таким чином:

mkdir chardifftest
cd chardifftest
git init
echo -e 'foobarbaz\ncatdog\nfox' > file
git add -A; git commit -m 1
echo -e 'fuobArbas\ncat\ndogfox' > file
git add -A; git commit -m 2

Тепер зробіть, git diff --word-diff=color --word-diff-regex=. master^ masterі ви отримаєте:

Зверніть увагу, як і доповнення, і видалення розпізнаються на рівні символів, тоді як додавання та видалення нових рядків ігноруються.

Можливо, ви також захочете спробувати одне з таких:

git diff --word-diff=plain --word-diff-regex=. master^ master
git diff --word-diff=porcelain --word-diff-regex=. master^ master

Ви можете використовувати:

diff -u f1 f2 |colordiff |diff-highlight

colordiff- це пакет Ubuntu. Ви можете встановити його за допомогою sudo apt-get install colordiff.

diff-highlightвід git (з версії 2.9). Він знаходиться в /usr/share/doc/git/contrib/diff-highlight/diff-highlight. Ви можете помістити це десь у своєму $PATH.

Python difflib - це туз, якщо ви хочете зробити це програмно. Для інтерактивного використання я використовую режим vim's diff (досить простий у використанні: просто викликати vim за допомогою vimdiff a b). Я також випадково використовую Beyond Compare , який робить майже все, на що ви могли б сподіватися від інструмента diff.

Я не бачу жодного інструменту командного рядка, який робить це корисно, але, як зазначає Вілл, приклад коду difflib може допомогти.

Ви можете використовувати cmpкоманду в Solaris:

cmp

Порівняйте два файли, і якщо вони відрізняються, повідомляє перший байт і номер рядка, де вони відрізняються.

У Python є зручна бібліотека, difflibяка може допомогти відповісти на ваше запитання.

Нижче наведені два oneliners, які використовуються difflibдля різних версій python.

python3 -c 'import difflib, sys; \
  print("".join( \
    difflib.ndiff( \ 
      open(sys.argv[1]).readlines(),open(sys.argv[2]).readlines())))'
python2 -c 'import difflib, sys; \
  print "".join( \
    difflib.ndiff( \
      open(sys.argv[1]).readlines(), open(sys.argv[2]).readlines()))'

Вони можуть стати в нагоді як псевдонім оболонки, з яким легше пересуватися .${SHELL_NAME}rc.

$ alias char_diff="python2 -c 'import difflib, sys; print \"\".join(difflib.ndiff(open(sys.argv[1]).readlines(), open(sys.argv[2]).readlines()))'"
$ char_diff old_file new_file

І більш читабельну версію, яку можна помістити в автономний файл.

#!/usr/bin/env python2
from __future__ import with_statement

import difflib
import sys

with open(sys.argv[1]) as old_f, open(sys.argv[2]) as new_f:
    old_lines, new_lines = old_f.readlines(), new_f.readlines()
diff = difflib.ndiff(old_lines, new_lines)
print ''.join(diff)

cmp -l file1 file2 | wc

У мене добре вийшло. Найлівіша цифра результату вказує кількість символів, які відрізняються.

Я також написав власний сценарій для вирішення цієї проблеми за допомогою найдовший загальний алгоритм підпослідовності.

Він виконується як такий

JLDiff.py a.txt b.txt out.html

Результат у форматі html із червоним та зеленим забарвленням. Обробка великих файлів експоненціально займає більше часу, але це робить справжній символ порівняння символів без попередньої перевірки рядка за рядком.

Кольорові, на рівні персонажа diff витік на

Ось що ви можете зробити з наведеним нижче сценарієм та виділенням виділень (що є частиною git):

#!/bin/sh -eu

# Use diff-highlight to show word-level differences

diff -U3 --minimal "$@" |
  sed 's/^-/\x1b[1;31m-/;s/^+/\x1b[1;32m+/;s/^@/\x1b[1;34m@/;s/$/\x1b[0m/' |
  diff-highlight

_{( Заслухайте відповідь @ retracile за sedвиділення)}

Дифліб Python може це зробити.

Документація містить приклад програми командного рядка для вас.

Точний формат не такий, як ви вказали, але було б просто проаналізувати вивід у стилі ndiff або змінити приклад програми, щоб створити нотацію.

Ось інструмент для порівняння тексту в Інтернеті: http://text-compare.com/

Він може виділити кожен окремий знак, який відрізняється, і продовжує порівнювати решту.

Я думаю, що більш просте рішення - це завжди хороше рішення. У моєму випадку мені дуже допомагає наведений нижче код. Сподіваюся, це допоможе комусь іншому.

#!/bin/env python

def readfile( fileName ):
    f = open( fileName )
    c = f.read()
    f.close()
    return c

def diff( s1, s2 ):
    counter=0
    for ch1, ch2 in zip( s1, s2 ):
        if not ch1 == ch2:
            break
        counter+=1
    return counter < len( s1 ) and counter or -1

import sys

f1 = readfile( sys.argv[1] )
f2 = readfile( sys.argv[2] )
pos = diff( f1, f2 )
end = pos+200

if pos >= 0:
    print "Different at:", pos
    print ">", f1[pos:end]
    print "<", f2[pos:end]

Ви можете порівняти два файли з таким синтаксисом у вашому улюбленому терміналі:

$ ./diff.py fileNumber1 fileNumber2

Якщо ви зберігаєте свої файли в Git, ви можете робити різниці між версіями за допомогою сценарію diff-highlight , який буде відображати різні рядки, з виділеними відмінностями.

На жаль, це працює лише тоді, коли кількість видалених рядків відповідає кількості доданих рядків - існує код заглушки, коли рядки не збігаються, тому, мабуть, це може бути виправлено в майбутньому.

Не повна відповідь, але якщо cmp -lрезультат виведення недостатньо чіткий, ви можете використовувати:

sed 's/\(.\)/\1\n/g' file1 > file1.vertical
sed 's/\(.\)/\1\n/g' file2 > file2.vertical
diff file1.vertical file2.vertical

У більшості цих відповідей згадується використання розрізнення , модуля Perl. Але я не хотів з'ясовувати, як встановити модуль Perl. Тож я зробив кілька незначних змін до нього, щоб це був автономний сценарій Perl.

Ви можете встановити його за допомогою:

▶ curl -o /usr/local/bin/DiffHighlight.pl \
   https://raw.githubusercontent.com/alexharv074/scripts/master/DiffHighlight.pl

І використання (якщо у вас є Ubuntu, colordiffзгаданий у відповіді zhanxw):

▶ diff -u f1 f2 | colordiff | DiffHighlight.pl

І використання (якщо ви цього не зробите):

▶ diff -u f1 f2 | DiffHighlight.pl