Як встановити тайм-аут для запитів http.Get () у Golang?

Я роблю інструмент для вибору URL-адрес у Go і маю список URL-адрес для отримання. Я надсилаю http.Get()запити до кожної URL-адреси та отримую їх відповідь.

resp,fetch_err := http.Get(url)

Як я можу встановити нестандартний час очікування для кожного запиту Get? (Час за замовчуванням дуже довгий, і це робить мого вихователя дуже повільним.) Я хочу, щоб у мого виборця був час очікування приблизно 40-45 секунд, після якого він повинен повернути "час вимкнення запиту" і перейти до наступної URL-адреси.

Як я можу цього досягти?

Мабуть, у Go 1.3 http.Client є поле Timeout

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

Це зробив для мене трюк.

Вам потрібно налаштувати власного клієнта за допомогою власного транспорту, який використовує спеціальну функцію набору, яка обертається навколо DialTimeout .

Що - щось на зразок (повністю неперевіреними ) це :

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

Щоб додати відповідь Волкера, якщо ви також хочете встановити час очікування читання / запису на додаток до тайм-ауту підключення, ви можете зробити щось на кшталт наступного

package httpclient

import (
    "net"
    "net/http"
    "time"
)

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
    return func(netw, addr string) (net.Conn, error) {
        conn, err := net.DialTimeout(netw, addr, cTimeout)
        if err != nil {
            return nil, err
        }
        conn.SetDeadline(time.Now().Add(rwTimeout))
        return conn, nil
    }
}

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client {

    return &http.Client{
        Transport: &http.Transport{
            Dial: TimeoutDialer(connectTimeout, readWriteTimeout),
        },
    }
}

Цей код перевірений і працює у виробництві. Повна суть тестів доступна тут https://gist.github.com/dmichael/5710968

Майте на увазі, що вам потрібно буде створити нового клієнта для кожного запиту, через conn.SetDeadlineякий посилається на точку в майбутньомуtime.Now()

Якщо ви хочете зробити це за запитом, помилка обробки ігнорується для стислості:

ctx, cncl := context.WithTimeout(context.Background(), time.Second*3)
defer cncl()

req, _ := http.NewRequestWithContext(ctx, http.MethodGet, "https://google.com", nil)

resp, _ := http.DefaultClient.Do(req)

Швидкий і брудний спосіб:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45

Це мутує глобальний стан без будь-якої координації. І все ж це може бути добре для вашого URL-адреса. В іншому випадку створіть приватний примірник http.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        ResponseHeaderTimeout: time.Second * 45,
}

var myClient = &http.Client{Transport: myTransport}

resp, err := myClient.Get(url)
...

Нічого вище не перевіряли.

Ви можете використовувати https://github.com/franela/goreq, який обробляє тайм-аути модно та просто.

timeout := time.Duration(5 * time.Second)
transport := &http.Transport{Proxy: http.ProxyURL(proxyUrl), ResponseHeaderTimeout:timeout}

Це може допомогти, але зауважте, що ResponseHeaderTimeoutпочинається лише після встановлення з'єднання.