Google web arama API'sının kullanımdan kaldırılmasının alternatifleri nelerdir? [kapalı]

322

Google Web Araması API'sı kullanımdan kaldırıldı ve Özel Arama API'sı ile değiştirildi (bkz. Http://code.google.com/apis/websearch/ ).

Tüm web'de arama yapmak istedim, ancak yeni API ile yalnızca özel siteler aranabilir gibi görünüyor.

Tüm web'i programlı olarak aramanın bir yolu var mı? Bir Java programından JSON kullanarak eski API sorgulamak mümkün.

google-api  deprecated  google-search  google-custom-search 
— Dan
kaynak
3
Tamam Bu konuda çok araştırma yaptım ve tek çözüm Yahoo Boss gibi görünüyor
— Dan
Özel arama API'sı çoğu insanın aradığı şey değildir: - / searchapi.io'ya bir göz atın!
— Stan Smulders
Çok sayıda özellik sağlayan ve birkaç dakika içinde uygulanması çok kolay olan çeşitli arama API'larında POC'ler yaptım. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) benim de uyguladığım ve test ettiğim API'ler. Ben de ayrıntılı cevap verebilirim ama bu soru kapalı.
— Ashish Kumar
2
En iyi çözüm, SerpApi
— Hartator
— neverMind9

Yanıtlar:

32

Onları bir tarayıcı gibi gönderebilir ve daha sonra html'yi ayrıştırabilirsin, Youtube gibi şeyler için bile her zaman yaptığım şey budur.

— Zimm3r
kaynak
64
Google'ın hizmet şartlarının örümcekleşmeyi yasakladığını söyledim ...
— Steven A. Lowe
52
Gönderen TOS : "Sen özel olarak erişime kabul edersiniz (veya erişim girişiminde) ... (komut dosyaları veya web tarayıcılarının kullanımı dahil) herhangi bir otomatik yolla Hizmetlerinin herhangi bir"
— ændrük
18
"Bir hizmet sağlayıcı ile hizmet şartlarını ihlal etmek" asla iyi bir tavsiye değildir. Web sayfalarını ayrıştırma, bir günden diğerine uyarı vermeden kırılan bir şeydir, bu korkunç bir tavsiyedir - bu nedenle, daha fazla oy verildiğinden daha aşağı indirilmiştir.
— WhyNotHugo
143
Evet hizmet şartlarını ihlal ama şahsen ben bu konuda endişe olmaz. Google, diğer insanların sitelerini kazıyarak bir servet kazandıktan sonra biraz kazıma yapabilir.
— jimbo2087
106
Hadi millet. Bu kadar saf olma. Google, ToS'u boğazınızı aşağıya indiremez. Bir Hizmet Şartları'nı ihlal etmek için önce onu kabul etmelisiniz (yazılı olarak veya 'Evet, şartları kabul ediyorum' gibi bir düğmeyi tıklatarak). Şunu düşünün: Web sayfama, sayfayı ziyaret eden herkesin bana 10000 dolar vermesi gereken bir ToS koydum. Bu Hizmet Şartlarını ziyaretçilerime uygulayabilir miyim? Bana hemen izin verecek.
— Migrate2Lazarus profilimi gör
482

Evet, Google Özel Arama artık eski Arama API yerini aldı, ama sen yapabilirsiniz yine de tüm web'de arama yapmak için Google Özel Arama kullanmak adımlar Özel Arama kurulumdan belirgin olmasa da.

Tüm web'de arama yapan bir Google Özel Arama motoru oluşturmak için:

  1. Google Özel Arama ana sayfasından ( http://www.google.com/cse/ ), Özel Arama Motoru Oluştur'u tıklayın.
  2. Arama motorunuz için bir ad ve açıklama yazın.
  3. Arama motorunuzu tanımlayın altında, Aranacak Siteler kutusuna en az bir geçerli URL girin (Şimdilik, bu ekranı geçmesi için www.anyurl.com adresini koymanız yeterlidir.
  4. İstediğiniz ÖAM sürümünü seçin ve Hizmet Şartları'nı kabul edin, ardından İleri'yi tıklayın. İstediğiniz düzen seçeneğini belirleyin ve ardından İleri'yi tıklatın.
  5. Kontrol panelinize gitmek için Sonraki adımlar bölümünün altındaki bağlantılardan birini tıklayın.
  6. Soldaki menüde, Denetim Masası'nın altında Temel Bilgiler'i tıklayın.
  7. Arama Tercihleri ​​bölümünde Tüm web'de ara'yı seçin, ancak dahil edilen siteleri vurgulayın.
  8. Değişiklikleri Kaydet'i tıklayın.
  9. Soldaki menüde, Denetim Masası'nın altında Siteler'i tıklayın.
  10. İlk kurulum işlemi sırasında girdiğiniz siteyi silin.

Artık özel arama motorunuz tüm web'de arama yapacak.

Fiyatlandırma

  • Google Özel Arama size günde 100 sorgu ücretsiz olarak verir.
  • Bundan sonra 1000 sorgu başına 5 $ ödersiniz.
  • Günde maksimum 10.000 sorgu vardır.

Kaynak: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Arama kalitesi normal Google aramasından çok daha düşüktür (eş anlamlı, "zeka" vb. Yok)
  • Görünüşe göre Google bu hizmeti tamamen kapatmayı planlıyor.
— Bangkokian
kaynak
26
Bunun için teşekkürler. Umarım bu geçerli bir prosedürdür ve Google tarafından takılmayı bekleyen bir boşluk değildir!
— Mazatec
9
Teşekkür ederim! Bu muhtemelen internette soruma cevap veren tek cevap. Google'ın temel hizmetleri için neden doğrudan API desteğini sona erdireceği şaşırtıcıdır.
— spamguy
7
ama json ile nasıl kullanılır?
— nawara
61
UYARI: ücretsiz sürümü kullanarak geliştirme yaptık, ancak ücretli sürüme yükseltmek için (100'den fazla arama yapmak için), google sizi "tüm web'de arama yap, ancak dahil edilen siteleri
— Bryan Larsen
5
"1 Nisan 2017'de Google, Google Site Araması satışlarını durduracak. Tüm yeni satın alma ve yenileme işlemlerinin bu tarihten önce yapılması gerekir. Ürün 1 Nisan 2018'e kadar tamamen kapatılacak."
— 17'de Gajus
55

Google Özel Arama (en yüksek puanlı yanıtlarda öne sürüldüğü gibi) iyi çalışır, ancak rakiplerine (aşağıda) veya diğer Google API'larına kıyasla çok pahalıdır. Küçük bir ücretsiz katman (100 sorgu / gün) ve 1000 sorgu başına 5 $ çok yüksek bir fiyatı vardır.

Biraz daha iyi fiyatlara sahip Site Arama'ya yükseltme seçeneği sunuyorlar, ancak bu, bir siteyi (kendi sitenizi) aramak içindir, bu yüzden gerçekten farklı bir şey - bir yükseltme değil.

Ana alternatifler şöyledir:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
5000q / ay ücretsiz katmana sahip olan ve kuruş başına 5 sorgudan başlayan ve sabit sınır olmayan fiyatlar.

GÜNCELLEME: 2016'nın sonunda bu API, Azure muadili "Bilişsel Hizmetler Bing Arama API'sı" lehine kapatıldı:
https://azure.microsoft.com/en-us/services/cognitive-services/search/

1.000 işlem için 3 ABD doları / m'den başlayan bir fiyat tablosu için buraya bakın . Bir şeyi kaçırmadıkça oldukça pahalı.

Yahoo BOSS Arama API'sı
GÜNCELLEME: 31 Mart 2016'da durduruldu. Http://developer.yahoo.com/boss/search/
Tüm web aramaları için yaklaşık 12 sorgu / kuruşla başlayan fiyatlarla.

Ve daha önce hiç duymadığım bazı şeyler:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[üretilmiyor - aşağıda belirtildiği gibi]

Bu SO yazısında bunlardan bazıları hakkında biraz tartışma var .
[konu dışı olduğu için kapandı ve şimdi gitti]

— Tom
kaynak
2
Bing Arama API'sı sürüm 5 artık tüm Bing Arama API'larında (Web, Görseller, Video, Haber Arama) ayda 1000 adede kadar işleme izin veriyor - microsoft.com/cognitive-services/en-us/pricing . Bazı örnekleri bir araya getirdim
— mvark.blogspot.in/2016/06/…
entireweb.com burada görüldüğü gibi hizmeti durdurdu entireweb.com/services
— Wessam El Mahdy
15 Aralık 2016 tarihinde Bing Web Araması API'sı Azure Marketi tarafından Bilişsel Hizmetler altında taşınacak ( azure.microsoft.com/en-us/services/cognitive-services/search bir abonelik için telefon + kredi kartı doğrulaması gerektiren bir ) (hatta ücretsiz).
— gilad mayani
Bing API'dan: "DataMarket ve Data Services kullanımdan kaldırılıyor ve 31.12.2016 tarihinden sonra yeni siparişleri kabul etmeyecek. 31/3/2017 tarihinden itibaren mevcut abonelikler kullanımdan kaldırılacak ve iptal edilecek. Lütfen seçenekler için servis sağlayıcınıza başvurun hizmete devam etmek istiyorum. "
— Dmitri Zaitsev
Değişikliğe dikkat çektiğiniz için teşekkürler - Cevabı buna göre güncelledim.
— Tom
27

İşte Özel Arama Kontrol Paneli altındaki bir seçenektir: "Arama yapılacak siteler" seçebilirsiniz "Tüm web'de arama ancak dahil edilen siteleri vurgula"

Özel Arama Kontrol Paneli - Aranacak siteler

— Yishu Fang
kaynak
1
hala senin için çalışıyor mu?
— Dejell
Evet, hala çalışıyor.
5
Google, ücretli aramaya geçtiğinizde sizi bu seçeneği kapatmaya zorlar. Ve ücretsiz 100 arama sınırı vardır.
— Bryan Larsen
1
@Yishu, https://support.google.com/customsearch/answer/141877?hl=tr sayfasında neden " Google Site Araması’nın tamamını tüm web’de arama yapacak şekilde yapılandıramıyorsunuz " yazıyor ?
— Pacerier
@ Pacer, bunun hakkında hiçbir fikrim yok. Belki politika değişti?
— Yishu Fang
5

Ben sadece Common Crawl den geldi.

http://www.commoncrawl.org/

Hepimiz aradığımız cevap olabilir !!

— Dan
kaynak
3
Sınırlı bir endeksi vardır, yılda yaklaşık bir kez yenilenir. Ve Amazon S3'e takmanız gerektiğinden, sonunda oldukça pahalıdır.
— Guillaume Lebourgeois
@GuillaumeLebourgeois, Pahalı mı? Bunun doğru olduğunu düşünmüyorum. Kâr amacı gütmeyen bir kuruluş. Tüm 102 TB veri indirmek için ücretsizdir.
— Pacerier
Maliyet, buna erişebileceğiniz AWS'ye bağlanmak içindir. Eğer bir öğrenciyseniz, ücretsiz kademe için hak kazanırsınız, ancak yine de transfer maliyetleri vb. Olabilir; ve eğer ücretsiz aşamada değilseniz, işletme maliyetleri vardır.
— Üçlü
Görünüşe göre ortak tarama şimdi aylık olarak güncelleniyor
— Jack Tuck
4

Dokümanların üstünde bir not var :

Not: Google Web Araması API'sı 1 Kasım 2010 tarihinden itibaren resmen kullanımdan kaldırılmıştır. Kullanımdan kaldırma politikamıza göre çalışmaya devam edecektir , ancak günde verebileceğiniz istek sayısı sınırlı olacaktır. Bu nedenle, yeni Özel Arama API'sına geçmenizi öneririz .

Kullanımdan kaldırma politikası , API'yı 3 yıl boyunca kullanmaya devam edeceklerini söylüyor. Bu nedenle, eski API'yi kullanan bir uygulamanız varsa, henüz şeyleri değiştirmek için acele etmeniz gerekmez. Yeni bir uygulama yazıyorsanız, Özel Arama API'sını kullanın . Python'da bunun nasıl yapılacağı için cevabımı burada görebilirsiniz , ancak fikir herhangi bir dil için aynıdır.

— moinudin
kaynak
8
Ve ücretsiz değil .... "1000 sorgu başına 5 $" ... çok özgür değil!
— UpTheCreek
1
Üç yıl dolduktan ve 2014/09/29 geçtiğinden bu yanıt artık kullanılmıyor.
— nanofarad
CustomeSearchAPI tüm web sitelerinde değil - kullanıcı web siteleri için
— Dejell
1

Doğrudan Google Özel Arama ana sayfasından ( http://www.google.com/cse/ ) "her yerde" özel arama motoru oluşturabilirsiniz . Yeni motor eklerken 'gelişmiş'i tıklamanız yeterlidir. Burada Schema.org site türünü sağlayabilirsiniz. ' Şey ', tüm ağı kapsayan en genel tiptir.

— testlnord
kaynak
Ben anlamadım. Sizin için çalışıyor mu?
— Dejell
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.