Як я можу видалити дублікати з моєї .bash_history, зберігаючи порядок?

Мені дуже подобається використовувати control+rрекурсивний пошук моєї історії команд. Я знайшов кілька хороших варіантів, які я хотів би використовувати з ним:

# ignore duplicate commands, ignore commands starting with a space
export HISTCONTROL=erasedups:ignorespace

# keep the last 5000 entries
export HISTSIZE=5000

# append to the history instead of overwriting (good for multiple connections)
shopt -s histappend

Єдина проблема для мене полягає в тому, що erasedupsстирає лише послідовні дублікати, так що з цього рядка команд:

ls
cd ~
ls

lsКоманда на насправді буде записано двічі. Я думав про періодичне запуску w / cron:

cat .bash_history | sort | uniq > temp.txt
mv temp.txt .bash_history

Це дозволило б видалити дублікати, але, на жаль, порядок не буде збережено. Якщо я не sortзавантажую файл спочатку, я не вірю, що він uniqможе працювати належним чином.

Як я можу видалити дублікати з моєї .bash_history, зберігаючи порядок?

Додатковий кредит:

Чи є якісь проблеми з перезаписом .bash_historyфайлу через скрипт? Наприклад, якщо ви видалите файл журналу apache, я вважаю, що вам потрібно надіслати сигнал nohup / reset, killщоб він перетворився на з'єднання з файлом. Якщо це так з .bash_historyфайлом, можливо, я можу якось використати, psщоб перевірити і переконатися, що немає підключених сеансів до запуску сценарію фільтрації?

Сортування історії

Ця команда працює як sort|uniq, але тримає рядки на місці

nl|sort -k 2|uniq -f 1|sort -n|cut -f 2

В основному, попередньо додає до кожного рядка його номер. Після sort|uniq-ing всі рядки відсортовані відповідно до їх початкового порядку (використовуючи поле номера рядка) і поле номера рядка видаляється з рядків.

У цьому рішенні є недолік, що не визначено, який представник класу рівних ліній зробить його на виході, і тому його позиція в кінцевому результаті не визначена. Однак якщо слід вибрати останнього представника, ви можете sortввести другий ключ:

nl|sort -k2 -k 1,1nr|uniq -f1|sort -n|cut -f2

Управління .bash_history

Для повторного читання та повернення історії можна використовувати history -aі history -wвідповідно.

Тому я шукав те саме, що дратував дублікати, і виявив, що якщо я редагую свій ~ / .bash_profile (Mac) за допомогою:

export HISTCONTROL=ignoreboth:erasedups

Він робить саме те, що ви хотіли, він зберігає лише останню інформацію будь-якої команди. ignorebothнасправді так само, як робити, ignorespace:ignoredupsі разом з цим erasedupsвиконує роботу.

Принаймні, на моєму терміналі Mac з bash ця робота ідеальна. Знайшов його тут на askubuntu.com .

Знайшли це рішення в дикій природі і випробували:

awk '!x[$0]++'

Перший раз, коли видно конкретне значення рядка ($ 0), значення x [$ 0] дорівнює нулю.
Значення нуля перевертається !і стає одиницею.
Заява, що оцінюється до одного, викликає дію за замовчуванням, а саме друк.

Тому перший раз, коли $0видно конкретне , воно друкується.

Кожен наступний раз (повторення) значення x[$0]інкретується,
його заперечне значення дорівнює нулю, а вислів, що оцінює нуль, не друкується.

Щоб зберегти останнє повторне значення, поверніть історію та використовуйте той самий awk:

awk '!x[$0]++' ~/.bash_history                 # keep the first value repeated.

tac ~/.bash_history | awk '!x[$0]++' | tac     # keep the last.

Розширення відповіді Клейтона:

tac $HISTFILE | awk '!x[$0]++' | tac | sponge $HISTFILE

tacпереверніть файл, переконайтесь, що ви встановили, moreutilsщоб у вас був spongeдоступ, інакше використовуйте тимчасовий файл.

Вони зберігатимуть останні дублюються рядки:

ruby -i -e 'puts readlines.reverse.uniq.reverse' ~/.bash_history
tac ~/.bash_history | awk '!a[$0]++' | tac > t; mv t ~/.bash_history

Це стара публікація, але вічна проблема для користувачів, які хочуть відкрити кілька терміналів і синхронізувати історію між вікнами, але не дублювати.

Моє рішення в .bashrc:

shopt -s histappend
export HISTCONTROL=ignoreboth:erasedups
export PROMPT_COMMAND="history -n; history -w; history -c; history -r"
tac "$HISTFILE" | awk '!x[$0]++' > /tmp/tmpfile  &&
                tac /tmp/tmpfile > "$HISTFILE"
rm /tmp/tmpfile

• Параметр histappend додає історію буфера до кінця файла історії ($ HISTFILE)
• ignoreboth та erasedups запобігають збереженню дублікатів у $ HISTFILE
• Команда підказок оновлює кеш історії
  • history -n читає всі рядки з $ HISTFILE, які могли виникнути в іншому терміналі з моменту останнього повернення каретки
  • history -w записує оновлений буфер в $ HISTFILE
  • history -c витирає буфер, щоб не виникало дублювання
  • history -r знову читає $ HISTFILE, додаючи до тепері порожнього буфера
• скрипт awk зберігає перше виникнення кожного рядка, з яким він стикається. tacповертає його назад, а потім повертає назад, щоб його можна було зберегти за допомогою останніх команд, які все ще є останніми в історії
• rm файл / tmp

Кожного разу, коли ви відкриваєте нову оболонку, історія стирає всі дупи, і кожен раз, коли ви натискаєте Enterклавішу в іншому вікні оболонки / терміналу, вона оновлює цю історію з файлу.

Uniqely записувати кожну нову команду складно. Спочатку потрібно додати ~/.profileабо подібне:

HISTCONTROL=erasedups
PROMPT_COMMAND='history -w'

Потім потрібно додати до ~/.bash_logout:

history -a
history -w