Встановлення користувацького агента java URLConnection

Я намагаюся проаналізувати веб-сторінку за допомогою Java за допомогою URLConnection. Я намагаюся встановити користувальницький агент так:

java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

Але результуючим користувальницьким агентом є той, який я вказую, з "Java / 1.5.0_19", доданим до кінця. Чи є спосіб по-справжньому встановити агент користувача без цього доповнення?

З іншого боку, налаштування http.agentвластивості системи ""може зробити трюк (у мене немає коду перед собою).

Ви можете уникнути:

 System.setProperty("http.agent", "");

але для цього може знадобитися гонка між вами та ініціалізацією обробника протоколу URL, якщо він кешує значення під час запуску (насправді, я не думаю, що це так).

Властивість також можна встановити за допомогою файлів JNLP (доступних для аплетів з 6u10) та в командному рядку:

-Dhttp.agent=

Або для команд обгортки:

-J-Dhttp.agent=

Тільки для роз’яснення: setRequestProperty("User-Agent", "Mozilla ...")тепер працює чудово і не додається java/xxв кінці! Принаймні з Java 1.6.30 та новішою.

Я слухав на своїй машині з netcat (прослуховувач портів):

$ nc -l -p 8080

Він просто прослуховує порт, тому ви бачите все, що запитується, наприклад, необроблені http-заголовки.

І отримав такі http-заголовки без setRequestProperty:

GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

І З setRequestProperty:

GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

Як бачите, користувальницький агент був правильно встановлений.

Повний приклад:

import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;


public class TestUrlOpener {

    public static void main(String[] args) throws IOException {
        URL url = new URL("http://localhost:8080/foobar");
        URLConnection hc = url.openConnection();
        hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        System.out.println(hc.getContentType());
    }

}

його робота для мене встановила User-Agent у addRequestProperty.

URL url = new URL(<URL>);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
httpConn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0");

Сервери HTTP, як правило, відкидають старі браузери та системи.

Сторінка Технічний блог (wh): Найпоширеніші агенти користувачів відображає властивість агента користувача вашого поточного браузера в розділі "Ваш агент користувача:" , який можна застосувати для встановлення властивості запиту "User-Agent" для java.net.URLConnectionабо властивість системи "http.agent".