Які альтернативи тепер, коли API веб-пошуку Google був застарілим? [зачинено]

API веб-пошуку Google припинено та замінено на API користувацького пошуку (див. Http://code.google.com/apis/websearch/ ).

Я хотів здійснити пошук у цілому в Інтернеті, але, схоже, за допомогою нового API можна шукати лише користувацькі сайти.

Чи є спосіб пошукати всю мережу програмно? Мені вдалося запитати старий API за допомогою JSON з програми Java.

Ви можете просто надіслати їх через браузер, а потім проаналізувати html, це я завжди робив, навіть для таких речей, як Youtube.

Так, користувацький пошук Google замінив старий API пошуку, але ви все одно можете використовувати користувацький пошук Google для пошуку в усьому Інтернеті , хоча кроки не очевидні в налаштуваннях користувацького пошуку.

Щоб створити спеціальну пошукову систему Google, яка здійснює пошук у всій мережі:

1. На домашній сторінці користувальницького пошуку Google ( http://www.google.com/cse/ ) натисніть Створити користувальницьку пошукову систему.
2. Введіть назву та опис для вашої пошукової системи.
3. У розділі Визначте свою пошукову систему в полі "Сайти до пошуку" введіть хоча б одну дійсну URL-адресу (Поки просто покладіть www.anyurl.com, щоб пройти цей екран. Детальніше про це пізніше).
4. Виберіть потрібне видання CSE та прийміть Умови надання послуг, а потім натисніть кнопку Далі. Виберіть потрібний варіант макета та натисніть кнопку Далі.
5. Клацніть будь-яке посилання в розділі Наступні кроки, щоб перейти до панелі керування.
6. У меню зліва в розділі Панель управління натисніть Основи.
7. У розділі Налаштування пошуку виберіть Пошук у всій мережі, але підкресліть включені сайти.
8. Клацніть Зберегти зміни.
9. У меню ліворуч під Панель керування натисніть Сайти.
10. Видаліть сайт, який ви ввели під час початкового процесу налаштування.

Тепер ваша користувальницька пошукова система буде шукати всю мережу.

Ціноутворення

• Google Custom Search дає вам 100 запитів на день безкоштовно.
• Після цього ви платите 5 доларів за 1000 запитів.
• Щодня максимум 10 000 запитів.

Джерело: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

• Якість пошуку значно нижча, ніж звичайний пошук Google (без синонімів, "інтелекту" тощо)
• Схоже, Google навіть планує повністю закрити цю послугу.

Користувацький пошук Google (як це пропонується у відповідях, що найкраще оцінюються) працює добре, але є дуже дорогим порівняно з конкурентами (нижче) або порівняно з іншими API Google. Він має невеликий безкоштовний рівень (100 запитів на день) та дуже високу ціну 5 доларів за 1000 запитів.

Вони пропонують можливість оновлення до Пошукового сайту, який має дещо вищі ціни, але це призначено для пошуку одного сайту (вашого власного), тому це дійсно щось зовсім інше - не оновлення.

Основними альтернативами, здається, є:

API пошуку Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Котрий має вільний рівень 5000q / місяць, а ціни починаються з 5 запитів за копійку, і не мають жорстких обмежень.

ОНОВЛЕННЯ: Наприкінці 2016 року цей API було припинено на користь свого аналога Azure "API когнітивних служб Bing Search":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Дивіться тут графік цін, який починається від 3 дол. США / м на 1000 транзакцій. Якщо я щось не сумую, це досить дорого.

ОНОВЛЕННЯ API Yahoo BOSS Search : було припинено 31 березня 2016 року. Http://developer.yahoo.com/boss/search/
Ціни починаються приблизно з 12 запитів / копійки за весь пошук в Інтернеті.

І про деякі я раніше не чув:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[припинено - як зазначено нижче]

Дещо з цих питань у цій публікації ЗО є дещо обговореною .
[закрили за те, що не входять у тему, і зараз її немає]

Ось варіант у нижній частині панелі керування користувальницьким пошуком: "Сайти для пошуку" , ви можете вибрати "Шукати по всій мережі, але підкреслити включені сайти"

Faroo має безкоштовний API пошуку в Інтернеті

Я щойно зіткнувся з цим із звичайного сканування.

http://www.commoncrawl.org/

Може бути відповіддю, яку ми всі шукаємо !!

Зверху на документи є примітка :

Примітка: API веб-пошуку Google офіційно застарів з 1 листопада 2010 року. Він буде продовжувати працювати згідно з нашою політикою щодо депресії , але кількість запитів, які ви можете зробити на день, буде обмежена. Тому ми радимо вам перейти до нового API користувальницького пошуку .

Політика знецінення говорить про те, що API продовжуватиме працювати протягом 3 років. Тож якщо у вас вже є додаток, який використовує старий API, вам ще не доведеться поспішати змінювати речі. Якщо ви пишете нову заявку, використовуйте API користувальницького пошуку . Дивіться мою відповідь тут, як це зробити на Python, але ідея однакова для будь-якої мови.

Існує безкоштовний API Java під назвою JFreeWebSearch, який використовує вже згаданий Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Ви можете створити спеціальну пошукову систему "скрізь" прямо з домашньої сторінки користувацького пошуку Google ( http://www.google.com/cse/ ). Вам слід просто натиснути «розширений» під час додавання нового двигуна. Там ви можете вказати тип сайту Schema.org. " Річ " - найбільш загальний тип, який охоплює всю мережу.

Gigablast пропонує дешевий API пошуку в Інтернеті: http://www.gigablast.com/searchfeed.html