Bazı gerçekler:
Google döndüren bir genel arama webservice API sunmaktadır JSON : http://ajax.googleapis.com/ajax/services/search/web . Belgeler burada
Java teklifler java.net.URLve java.net.URLConnectionyangın ve sap HTTP isteklerine.
JSON, Java'da keyfi bir Java JSON API kullanılarak tam değerli bir Javabean nesnesine dönüştürülebilir. En iyilerden biri Google Gson .
Şimdi hesaplayın:
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
Google tarafından döndürülen en önemli JSON verilerini temsil eden bu Javabean sınıfı ile (aslında daha fazla veri döndürür, ancak bu Javabean kodunu uygun şekilde genişletme alıştırması olarak size bırakılmıştır):
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
Ayrıca bakınız:
Kasım 2010'dan bu yana güncelleme (yukarıdaki yanıttan 2 ay sonra), genel arama web hizmeti kullanımdan kaldırıldı (ve hizmetin sunulduğu son gün 29 Eylül 2014 idi). Şimdi yapabileceğiniz en iyi şey, http://www.google.com/search ile dürüst bir kullanıcı aracısını doğrudan sorgulamak ve ardından sonucu bir HTML ayrıştırıcı kullanarak ayrıştırmaktır . Kullanıcı aracısını atlarsanız, bir 403 geri alırsınız. Kullanıcı aracısında yatıyorsanız ve bir web tarayıcısını simüle ediyorsanız (ör. Chrome veya Firefox), çok daha büyük bir HTML yanıtı alırsınız, bu da bant genişliği ve performans kaybıdır.
Jsoup'u HTML ayrıştırıcısı olarak kullanan bir başlangıç örneği :
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}