Де я можу отримати різноманітний набір зразкового тексту? [зачинено]

Я намагаюся зібрати статистику щодо послідовностей символів або слів, які використовуються в англійській мові для використання в програмному проекті.

Де я можу отримати велику суму (кілька Гб було б непогано) англійського простого тексту, що охоплює різноманітний набір тем?

Ви можете користуватися дампами даних Вікіпедії . Дамп даних XML для англійської Вікіпедії , яка включає в себе поточні зміни , складає лише близько 31 Гб, так що я б сказав , що це буде хорошим початком для вашого дослідження. Дамп даних досить великий, тому слід розглянути можливість вилучення текстів з XML за допомогою SAX-аналізатора. WikiXMLJ - це зручний API Java, налаштований на Wikipedia.

І тоді, звичайно, завжди є демпінг даних для обміну стеками . Остання одна не включає в себе всі державні без бета - Stack Exchange , сайти & відповідні сайти Мета аж до вересня 2011 року Але, природно повідомлення Стек Обмін зосереджені на обсязі кожного сайту, так що, ймовірно , не так узагальнена , як ви хочете. Мета публікації, однак, трохи більш загальні, тому ви можете розглянути ці додатково до Вікіпедії.

Я не думаю, що ви знайдете нічого кращого, особливо в простому тексті. Через Центр даних доступно декілька відкритих наборів даних , але я думаю, що дамп даних англійської Вікіпедії дуже близький до того, що ви шукаєте.

Google має набір наборів даних, які вони використовують для визначення ймовірностей n-грамів. Вивчення їхніх двограмових наборів даних має дати гарну картину. Є багато інших корпорацій, для яких ці аналізи вже зроблені.

Проект Гутенберга має великий корпус текстів англійською мовою, вже в текстовій формі.

Проект Гутенберг пропонує понад 42 000 безкоштовних електронних книг: вибирайте серед безкоштовних книг epub, безкоштовні запальні книги, завантажуйте їх чи читайте в Інтернеті.

Ми підтримуємо електронні книги високої якості: всі наші електронні книги раніше були видані добросовісними видавцями. Ми оцифрували і старанно перечитували їх за допомогою тисяч добровольців ...

Для статистики ви, напевно, дивитесь на "Частота біграмів англійською мовою". Погляньте на: Wiki-Bigram Stats

що стосується знаходження великого тексту, зауважте, що частота була б упереджена до типу тексту. Наприклад, якщо проаналізувати адреси, ви отримаєте різні результати від аналізу газетних історій. Якщо ви просто хочете перевірити, ви можете використовувати PDF-файл будь-якої книги (краще не бути математикою чи програмою чи медичною книжкою) та перетворити її в текст, а потім запустити тести. Ви також можете перетворити веб-сторінки газет в текст і працювати над ними.