Java kullanarak Internet'ten dosya nasıl indirilir ve kaydedilir?

Orada bir dosya (gibi http://www.example.com/information.asp) kapmak ve bir dizine kaydetmek gerekir. Çevrimiçi dosyaları (URL'leri) satır satır yakalama ve okuma için birkaç yöntem olduğunu biliyorum, ancak dosyayı Java kullanarak indirip kaydetmenin bir yolu var mı?

Ver Java NIO bir deneyin:

URL website = new URL("http://www.website.com/information.asp");
ReadableByteChannel rbc = Channels.newChannel(website.openStream());
FileOutputStream fos = new FileOutputStream("information.html");
fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);

Kullanımı transferFrom()ise potansiyel olarak çok daha verimli kaynak kanaldan okur ve bu kanala yazar basit bir döngü daha. Birçok işletim sistemi, gerçekte kopyalamadan baytları doğrudan kaynak kanaldan dosya sistemi önbelleğine aktarabilir.

Burada daha fazla bilgi edinin .

Not : transferFrom'daki üçüncü parametre, aktarılacak maksimum bayt sayısıdır. Integer.MAX_VALUEen fazla 2 ^ 31 bayt aktarır, en Long.MAX_VALUEfazla 2 ^ 63 bayta izin verir (varolan herhangi bir dosyadan daha büyüktür).

Apache commons-io , sadece bir satır kodu kullanın:

FileUtils.copyURLToFile(URL, File)

Daha basit nio kullanımı:

URL website = new URL("http://www.website.com/information.asp");
try (InputStream in = website.openStream()) {
    Files.copy(in, target, StandardCopyOption.REPLACE_EXISTING);
}

public void saveUrl(final String filename, final String urlString)
        throws MalformedURLException, IOException {
    BufferedInputStream in = null;
    FileOutputStream fout = null;
    try {
        in = new BufferedInputStream(new URL(urlString).openStream());
        fout = new FileOutputStream(filename);

        final byte data[] = new byte[1024];
        int count;
        while ((count = in.read(data, 0, 1024)) != -1) {
            fout.write(data, 0, count);
        }
    } finally {
        if (in != null) {
            in.close();
        }
        if (fout != null) {
            fout.close();
        }
    }
}

Muhtemelen bu yöntemin dışında olan istisnaları ele almanız gerekir.

Bu eski bir soru ama burada düzgün bir şekilde kapatılmış kaynaklara sahip kısa, okunabilir, sadece JDK'ya özel bir çözüm var:

public static void download(String url, String fileName) throws Exception {
    try (InputStream in = URI.create(url).toURL().openStream()) {
        Files.copy(in, Paths.get(fileName));
    }
}

İki kod satırı ve bağımlılık yok.

Bir dosyayı indirmek, dosyayı okumanızı gerektirir; her iki durumda da dosyaya bir şekilde geçmeniz gerekir. Satır satır satır yerine, akıştan bayt olarak okuyabilirsiniz:

BufferedInputStream in = new BufferedInputStream(new URL("http://www.website.com/information.asp").openStream())
    byte data[] = new byte[1024];
    int count;
    while((count = in.read(data,0,1024)) != -1)
    {
        out.write(data, 0, count);
    }

Kullanırken Java 7+İnternet'ten bir dosya indirmek ve bir dizine kaydetmek için aşağıdaki yöntemi kullanın:

private static Path download(String sourceURL, String targetDirectory) throws IOException
{
    URL url = new URL(sourceURL);
    String fileName = sourceURL.substring(sourceURL.lastIndexOf('/') + 1, sourceURL.length());
    Path targetPath = new File(targetDirectory + File.separator + fileName).toPath();
    Files.copy(url.openStream(), targetPath, StandardCopyOption.REPLACE_EXISTING);

    return targetPath;
}

Belgeler burada .

Bu yanıt neredeyse tam olarak seçilen yanıta benzer, ancak iki geliştirmeyle: bu bir yöntemdir ve FileOutputStream nesnesini kapatır:

    public static void downloadFileFromURL(String urlString, File destination) {    
        try {
            URL website = new URL(urlString);
            ReadableByteChannel rbc;
            rbc = Channels.newChannel(website.openStream());
            FileOutputStream fos = new FileOutputStream(destination);
            fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);
            fos.close();
            rbc.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

import java.io.*;
import java.net.*;

public class filedown {
    public static void download(String address, String localFileName) {
        OutputStream out = null;
        URLConnection conn = null;
        InputStream in = null;

        try {
            URL url = new URL(address);
            out = new BufferedOutputStream(new FileOutputStream(localFileName));
            conn = url.openConnection();
            in = conn.getInputStream();
            byte[] buffer = new byte[1024];

            int numRead;
            long numWritten = 0;

            while ((numRead = in.read(buffer)) != -1) {
                out.write(buffer, 0, numRead);
                numWritten += numRead;
            }

            System.out.println(localFileName + "\t" + numWritten);
        } 
        catch (Exception exception) { 
            exception.printStackTrace();
        } 
        finally {
            try {
                if (in != null) {
                    in.close();
                }
                if (out != null) {
                    out.close();
                }
            } 
            catch (IOException ioe) {
            }
        }
    }

    public static void download(String address) {
        int lastSlashIndex = address.lastIndexOf('/');
        if (lastSlashIndex >= 0 &&
        lastSlashIndex < address.length() - 1) {
            download(address, (new URL(address)).getFile());
        } 
        else {
            System.err.println("Could not figure out local file name for "+address);
        }
    }

    public static void main(String[] args) {
        for (int i = 0; i < args.length; i++) {
            download(args[i]);
        }
    }
}

Şahsen, Apache'nin HttpClient'inin bu konuda yapmam gereken her şeyden daha yetenekli olduğunu gördüm. İşte HttpClient kullanımı hakkında harika bir öğretici

Bu, Brian Risk'in try-with ifadesinin kullanımı ile verdiği cevaba dayanan başka bir java7 varyantıdır :

public static void downloadFileFromURL(String urlString, File destination) throws Throwable {

      URL website = new URL(urlString);
      try(
              ReadableByteChannel rbc = Channels.newChannel(website.openStream());
              FileOutputStream fos = new FileOutputStream(destination);  
              ){
          fos.getChannel().transferFrom(rbc, 0, Long.MAX_VALUE);
      }

  }

Dosyayı HttpComponentsbunun yerine Apache ile indirmek mümkündür Commons-IO. Bu kod, Java'daki bir dosyayı URL'sine göre indirmenize ve belirli bir hedefe kaydetmenize olanak tanır.

public static boolean saveFile(URL fileURL, String fileSavePath) {

    boolean isSucceed = true;

    CloseableHttpClient httpClient = HttpClients.createDefault();

    HttpGet httpGet = new HttpGet(fileURL.toString());
    httpGet.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0");
    httpGet.addHeader("Referer", "https://www.google.com");

    try {
        CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
        HttpEntity fileEntity = httpResponse.getEntity();

        if (fileEntity != null) {
            FileUtils.copyInputStreamToFile(fileEntity.getContent(), new File(fileSavePath));
        }

    } catch (IOException e) {
        isSucceed = false;
    }

    httpGet.releaseConnection();

    return isSucceed;
}

Tek kod satırının aksine:

FileUtils.copyURLToFile(fileURL, new File(fileSavePath),
                        URLS_FETCH_TIMEOUT, URLS_FETCH_TIMEOUT);

Bu kod, bir işlemi üzerinde daha fazla kontrol elde ve zaman çıkışları sadece o değil belirtmek sağlayacak User-Agentve Refererbirçok web-siteleri için kritik olan değerler.

Burada birçok zarif ve etkili cevap var. Ancak kısa ve öz, bazı yararlı bilgileri kaybetmemize neden olabilir. Özellikle, çoğu zaman bir bağlantı hatasını bir İstisna olarak değerlendirmek istemez ve biri ağ ile ilgili bir çeşit farklı davranmak isteyebilir - örneğin, indirmeyi tekrar denememiz gerekip gerekmediğine karar vermek için.

Ağ hataları için İstisnalar atmayan bir yöntem (sadece hatalı biçimlendirilmiş URL veya dosyaya yazma sorunları gibi gerçekten istisnai sorunlar için)

/**
 * Downloads from a (http/https) URL and saves to a file. 
 * Does not consider a connection error an Exception. Instead it returns:
 *  
 *    0=ok  
 *    1=connection interrupted, timeout (but something was read)
 *    2=not found (FileNotFoundException) (404) 
 *    3=server error (500...) 
 *    4=could not connect: connection timeout (no internet?) java.net.SocketTimeoutException
 *    5=could not connect: (server down?) java.net.ConnectException
 *    6=could not resolve host (bad host, or no internet - no dns)
 * 
 * @param file File to write. Parent directory will be created if necessary
 * @param url  http/https url to connect
 * @param secsConnectTimeout Seconds to wait for connection establishment
 * @param secsReadTimeout Read timeout in seconds - trasmission will abort if it freezes more than this 
 * @return See above
 * @throws IOException Only if URL is malformed or if could not create the file
 */
public static int saveUrl(final Path file, final URL url, 
  int secsConnectTimeout, int secsReadTimeout) throws IOException {
    Files.createDirectories(file.getParent()); // make sure parent dir exists , this can throw exception
    URLConnection conn = url.openConnection(); // can throw exception if bad url
    if( secsConnectTimeout > 0 ) conn.setConnectTimeout(secsConnectTimeout * 1000);
    if( secsReadTimeout > 0 ) conn.setReadTimeout(secsReadTimeout * 1000);
    int ret = 0;
    boolean somethingRead = false;
    try (InputStream is = conn.getInputStream()) {
        try (BufferedInputStream in = new BufferedInputStream(is); OutputStream fout = Files
                .newOutputStream(file)) {
            final byte data[] = new byte[8192];
            int count;
            while((count = in.read(data)) > 0) {
                somethingRead = true;
                fout.write(data, 0, count);
            }
        }
    } catch(java.io.IOException e) { 
        int httpcode = 999;
        try {
            httpcode = ((HttpURLConnection) conn).getResponseCode();
        } catch(Exception ee) {}
        if( somethingRead && e instanceof java.net.SocketTimeoutException ) ret = 1;
        else if( e instanceof FileNotFoundException && httpcode >= 400 && httpcode < 500 ) ret = 2; 
        else if( httpcode >= 400 && httpcode < 600 ) ret = 3; 
        else if( e instanceof java.net.SocketTimeoutException ) ret = 4; 
        else if( e instanceof java.net.ConnectException ) ret = 5; 
        else if( e instanceof java.net.UnknownHostException ) ret = 6;  
        else throw e;
    }
    return ret;
}

Java kodu ile internetten film indirmek için örnek kod aşağıdadır:

URL url = new 
URL("http://103.66.178.220/ftp/HDD2/Hindi%20Movies/2018/Hichki%202018.mkv");
    BufferedInputStream bufferedInputStream = new  BufferedInputStream(url.openStream());
    FileOutputStream stream = new FileOutputStream("/home/sachin/Desktop/test.mkv");


    int count=0;
    byte[] b1 = new byte[100];

    while((count = bufferedInputStream.read(b1)) != -1) {
        System.out.println("b1:"+b1+">>"+count+ ">> KB downloaded:"+new File("/home/sachin/Desktop/test.mkv").length()/1024);
        stream.write(b1, 0, count);
    }

Aşağıdakilerin basit kullanımıyla ilgili bir sorun var:

org.apache.commons.io.FileUtils.copyURLToFile(URL, File) 

çok büyük dosyaları indirmeniz ve kaydetmeniz gerekiyorsa veya genel olarak bağlantının kesilmesi durumunda otomatik yeniden denemeler gerekiyorsa.

Bu gibi durumlarda önerdiğim orache.apache.commons.io.FileUtils ile birlikte Apache HttpClient. Örneğin:

GetMethod method = new GetMethod(resource_url);
try {
    int statusCode = client.executeMethod(method);
    if (statusCode != HttpStatus.SC_OK) {
        logger.error("Get method failed: " + method.getStatusLine());
    }       
    org.apache.commons.io.FileUtils.copyInputStreamToFile(
        method.getResponseBodyAsStream(), new File(resource_file));
    } catch (HttpException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
    method.releaseConnection();
}

Önceki cevapları özetlemek (ve bir şekilde cilalamak ve güncellemek). Aşağıdaki üç yöntem pratik olarak eşdeğerdir. (Açık zaman aşımları ekledim, çünkü bunların bir zorunluluk olduğunu düşünüyorum, kimse bağlantı kesildiğinde bir indirme işleminin sonsuza kadar donmasını istemiyor.)

public static void saveUrl1(final Path file, final URL url,
   int secsConnectTimeout, int secsReadTimeout)) 
    throws MalformedURLException, IOException {
    // Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
    try (BufferedInputStream in = new BufferedInputStream(
       streamFromUrl(url, secsConnectTimeout,secsReadTimeout)  );
        OutputStream fout = Files.newOutputStream(file)) {
        final byte data[] = new byte[8192];
        int count;
        while((count = in.read(data)) > 0)
            fout.write(data, 0, count);
    }
}

public static void saveUrl2(final Path file, final URL url,
   int secsConnectTimeout, int secsReadTimeout))  
    throws MalformedURLException, IOException {
    // Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
    try (ReadableByteChannel rbc = Channels.newChannel(
      streamFromUrl(url, secsConnectTimeout,secsReadTimeout) 
        );
        FileChannel channel = FileChannel.open(file,
             StandardOpenOption.CREATE, 
             StandardOpenOption.TRUNCATE_EXISTING,
             StandardOpenOption.WRITE) 
        ) {
        channel.transferFrom(rbc, 0, Long.MAX_VALUE);
    }
}

public static void saveUrl3(final Path file, final URL url, 
   int secsConnectTimeout, int secsReadTimeout))  
    throws MalformedURLException, IOException {
    // Files.createDirectories(file.getParent()); // optional, make sure parent dir exists
    try (InputStream in = streamFromUrl(url, secsConnectTimeout,secsReadTimeout) ) {
        Files.copy(in, file, StandardCopyOption.REPLACE_EXISTING);
    }
}

public static InputStream streamFromUrl(URL url,int secsConnectTimeout,int secsReadTimeout) throws IOException {
    URLConnection conn = url.openConnection();
    if(secsConnectTimeout>0) conn.setConnectTimeout(secsConnectTimeout*1000);
    if(secsReadTimeout>0) conn.setReadTimeout(secsReadTimeout*1000);
    return conn.getInputStream();
}

Önemli farklılıklar bulamıyorum, hepsi benim için doğru görünüyor. Güvenli ve verimlidirler. (Hız farkları pek alakalı görünmüyor - yerel sunucudan bir SSD diskine yaklaşık 1.2 ila 1.5 seg dalgalanan zamanlarda 180Mb yazıyorum). Harici kütüphanelere ihtiyaç duymazlar. Tümü keyfi boyutlarda ve (deneyimime göre) HTTP yeniden yönlendirmeleriyle çalışır.

Buna ek olarak, FileNotFoundExceptionkaynak bulunamazsa (genellikle 404 hatası) ve java.net.UnknownHostExceptionDNS çözümlemesi başarısız olursa tümü atar ; diğer IOException iletim sırasındaki hatalara karşılık gelir.

(Topluluk wiki'si olarak işaretlendi, bilgi veya düzeltme eklemekten çekinmeyin)

Alt çizgi-java kütüphanesinde U.fetch (url) yöntemi vardır .

pom.xml:

  <groupId>com.github.javadev</groupId>
  <artifactId>underscore</artifactId>
  <version>1.45</version>

Kod örneği:

import com.github.underscore.lodash.U;

public class Download {
    public static void main(String ... args) {
        String text = U.fetch("https://stackoverflow.com/questions"
        + "/921262/how-to-download-and-save-a-file-from-internet-using-java").text();
    }
}

public class DownloadManager {

    static String urls = "[WEBSITE NAME]";

    public static void main(String[] args) throws IOException{
        URL url = verify(urls);
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        InputStream in = null;
        String filename = url.getFile();
        filename = filename.substring(filename.lastIndexOf('/') + 1);
        FileOutputStream out = new FileOutputStream("C:\\Java2_programiranje/Network/DownloadTest1/Project/Output" + File.separator + filename);
        in = connection.getInputStream();
        int read = -1;
        byte[] buffer = new byte[4096];
        while((read = in.read(buffer)) != -1){
            out.write(buffer, 0, read);
            System.out.println("[SYSTEM/INFO]: Downloading file...");
        }
        in.close();
        out.close();
        System.out.println("[SYSTEM/INFO]: File Downloaded!");
    }
    private static URL verify(String url){
        if(!url.toLowerCase().startsWith("http://")) {
            return null;
        }
        URL verifyUrl = null;

        try{
            verifyUrl = new URL(url);
        }catch(Exception e){
            e.printStackTrace();
        }
        return verifyUrl;
    }
}

Java için netloader'ı kullanarak bunu 1 satırda yapabilirsiniz :

new NetFile(new File("my/zips/1.zip"), "https://example.com/example.zip", -1).load(); //returns true if succeed, otherwise false.

Proxy'nin arkasındaysanız, java programındaki proxy'leri aşağıdaki gibi ayarlayabilirsiniz:

        Properties systemSettings = System.getProperties();
        systemSettings.put("proxySet", "true");
        systemSettings.put("https.proxyHost", "https proxy of your org");
        systemSettings.put("https.proxyPort", "8080");

Proxy'nin arkasında değilseniz, kodunuza yukarıdaki satırları eklemeyin. Proxy arkasındayken bir dosyayı indirmek için tam çalışma kodu.

public static void main(String[] args) throws IOException {
        String url="https://raw.githubusercontent.com/bpjoshi/fxservice/master/src/test/java/com/bpjoshi/fxservice/api/TradeControllerTest.java";
        OutputStream outStream=null;
        URLConnection connection=null;
        InputStream is=null;
        File targetFile=null;
        URL server=null;
        //Setting up proxies
        Properties systemSettings = System.getProperties();
            systemSettings.put("proxySet", "true");
            systemSettings.put("https.proxyHost", "https proxy of my organisation");
            systemSettings.put("https.proxyPort", "8080");
            //The same way we could also set proxy for http
            System.setProperty("java.net.useSystemProxies", "true");
            //code to fetch file
        try {
            server=new URL(url);
            connection = server.openConnection();
            is = connection.getInputStream();
            byte[] buffer = new byte[is.available()];
            is.read(buffer);

                targetFile = new File("src/main/resources/targetFile.java");
                outStream = new FileOutputStream(targetFile);
                outStream.write(buffer);
        } catch (MalformedURLException e) {
            System.out.println("THE URL IS NOT CORRECT ");
            e.printStackTrace();
        } catch (IOException e) {
            System.out.println("Io exception");
            e.printStackTrace();
        }
        finally{
            if(outStream!=null) outStream.close();
        }
    }

Yeni kanalı kullanarak 1. Yöntem

ReadableByteChannel aq = Channels.newChannel(new url("https//asd/abc.txt").openStream());
FileOutputStream fileOS = new FileOutputStream("C:Users/local/abc.txt")
FileChannel writech = fileOS.getChannel();

FileUtils kullanarak 2. yöntem

FileUtils.copyURLToFile(new url("https//asd/abc.txt",new local file on system("C":/Users/system/abc.txt"));

Kullanarak 3. Yöntem

InputStream xy = new ("https//asd/abc.txt").openStream();

Temel java kodunu ve diğer üçüncü taraf kütüphanelerini kullanarak dosyayı bu şekilde indirebiliriz. Bunlar sadece hızlı referans içindir. Ayrıntılı bilgi ve diğer seçenekler için lütfen yukarıdaki anahtar kelimelerle google.