Golang'da http.Get () istekleri için zaman aşımı nasıl ayarlanır?

Go'da bir URL alıcısı yapıyorum ve alınacak URL'lerin bir listesi var. http.Get()Her URL'ye istek gönderiyorum ve yanıtlarını alıyorum .

resp,fetch_err := http.Get(url)

Her Alma isteği için nasıl özel bir zaman aşımı belirleyebilirim? (Varsayılan süre çok uzundur ve bu, alıcımı gerçekten yavaşlatır.) Alıcımın yaklaşık 40-45 saniyelik bir zaman aşımına sahip olmasını ve ardından "istek zaman aşımına uğradı" döndürüp sonraki URL'ye geçmesini istiyorum.

Bunu nasıl başarabilirim?

Görünüşe göre Go 1.3'te http.Client Zaman Aşımı alanına sahip

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

Bu benim için hile yaptı.

DialTimeout'un etrafını saran özel bir Arama işlevi kullanan kendi Aktarıcınız ile kendi İstemcinizi kurmanız gerekir .

(Tamamen gibi bir şey denenmemiş ) bu :

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

Volker'ın cevabına eklemek için, bağlantı zaman aşımına ek olarak okuma / yazma zaman aşımını da ayarlamak isterseniz, aşağıdaki gibi bir şey yapabilirsiniz.

package httpclient

import (
    "net"
    "net/http"
    "time"
)

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
    return func(netw, addr string) (net.Conn, error) {
        conn, err := net.DialTimeout(netw, addr, cTimeout)
        if err != nil {
            return nil, err
        }
        conn.SetDeadline(time.Now().Add(rwTimeout))
        return conn, nil
    }
}

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client {

    return &http.Client{
        Transport: &http.Transport{
            Dial: TimeoutDialer(connectTimeout, readWriteTimeout),
        },
    }
}

Bu kod test edildi ve üretimde çalışıyor. Testlerin tam özeti burada mevcuttur https://gist.github.com/dmichael/5710968

conn.SetDeadlineGelecekte bir noktaya atıfta bulunduğundan, her istek için yeni bir müşteri oluşturmanız gerekeceğini unutmayın.time.Now()

Bunu istek başına yapmak istiyorsanız, hata işleme kısalık için göz ardı edilir:

ctx, cncl := context.WithTimeout(context.Background(), time.Second*3)
defer cncl()

req, _ := http.NewRequestWithContext(ctx, http.MethodGet, "https://google.com", nil)

resp, _ := http.DefaultClient.Do(req)

Hızlı ve kirli bir yol:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45

Bu, herhangi bir koordinasyon olmaksızın küresel durumu değiştiriyor. Yine de muhtemelen url alıcınız için uygun olabilir. Aksi takdirde şunun özel bir örneğini oluşturun http.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        ResponseHeaderTimeout: time.Second * 45,
}

var myClient = &http.Client{Transport: myTransport}

resp, err := myClient.Get(url)
...

Yukarıdaki hiçbir şey test edilmedi.

Zaman aşımlarını şık ve basit bir şekilde ele alan https://github.com/franela/goreq adresini kullanabilirsiniz .

timeout := time.Duration(5 * time.Second)
transport := &http.Transport{Proxy: http.ProxyURL(proxyUrl), ResponseHeaderTimeout:timeout}

Bu yardımcı olabilir, ancak bunun ResponseHeaderTimeoutyalnızca bağlantı kurulduktan sonra başladığını unutmayın.