Об’єднайте кілька великих списків слів у один видалення дублікатів за допомогою PowerShell

У мене величезні словники, що містять дублікати і цікаво, як правильно об'єднати цей список слів в один видалення дублікатів із сценарієм PowerShell.

Напр

file1:

aaaaa
abcd
bbbb
1111

файл 2

abcd
1111
hjii
okom
bbbb

вихідний файл

aaaaa
abcd
bbbb
1111
hjii
okom

powershell

— AndreaF
джерело

@PIMP_JUICE_IT Дякую, я спробую, але не впевнений, що це буде працювати правильно

— AndreaF

на жаль, не працює

— AndreaF

Файл великий 2,1 ГБ і 3,8 ГБ - менший розмір, який я намагався об'єднати, і, на жаль, не можу їх завантажити

— AndreaF

Я не впевнений, наскільки швидко це буде з великими файлами, як ви згадуєте, але цей код Powershell повинен зробити свою справу

# Assuming files are named list1.txt and list2.txt. change as needed
Get-Content "C:\list*.txt" | Select-Object -unique > "c:\foo.txt"

— Джошуа Хісон
джерело