C # 'da web sitesinden HTML kodu alın

Bir web sitesinden HTML kodu nasıl alınır, kaydedilir ve bir LINQ ifadesiyle metin nasıl bulunur?

Bir web sayfasının kaynağını almak için aşağıdaki kodu kullanıyorum:

public static String code(string Url)
{
    HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create(Url);
    myRequest.Method = "GET";
    WebResponse myResponse = myRequest.GetResponse();
    StreamReader sr = new StreamReader(myResponse.GetResponseStream(), System.Text.Encoding.UTF8);
    string result = sr.ReadToEnd();
    sr.Close();
    myResponse.Close();

    return result;
 }

Web sayfasının kaynağındaki bir div'deki metni nasıl bulurum?

Bir web sitesinden HTML kodu almak. Kodu böyle kullanabilirsiniz.

string urlAddress = "http://google.com";

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

if (response.StatusCode == HttpStatusCode.OK)
{
  Stream receiveStream = response.GetResponseStream();
  StreamReader readStream = null;

  if (String.IsNullOrWhiteSpace(response.CharacterSet))
     readStream = new StreamReader(receiveStream);
  else
     readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));

  string data = readStream.ReadToEnd();

  response.Close();
  readStream.Close();
}

Bu size web sitesinden döndürülen HTML kodunu verecektir . Ancak LINQ aracılığıyla metin bulmak o kadar kolay değil. Belki de normal ifade kullanmak daha iyidir, ancak bu HTML koduyla pek iyi sonuç vermez

Daha iyisi, görevinizi basitleştirmek için Webclient sınıfını kullanabilirsiniz:

using System.Net;

using (WebClient client = new WebClient())
{
    string htmlCode = client.DownloadString("http://somesite.com/default.html");
}

Kullanılacak en iyi şey HTMLAgilityPack'tir . Ayrıca , alınan sayfadaki öğeleri seçme ihtiyaçlarınıza bağlı olarak Fizzler veya CSQuery kullanmayı da inceleyebilirsiniz . LINQ veya Regukar İfadelerini kullanmak, özellikle HTML hatalı biçimlendirilebildiğinde, kapanış etiketleri eksik olduğunda, iç içe geçmiş alt öğelere sahip olduğunda vb. Hataya açıktır.

Sayfayı bir HtmlDocument nesnesine aktarmanız ve ardından gerekli öğeyi seçmeniz gerekir.

// Call the page and get the generated HTML
var doc = new HtmlAgilityPack.HtmlDocument();
HtmlAgilityPack.HtmlNode.ElementsFlags["br"] = HtmlAgilityPack.HtmlElementFlag.Empty;
doc.OptionWriteEmptyNodes = true;

try
{
    var webRequest = HttpWebRequest.Create(pageUrl);
    Stream stream = webRequest.GetResponse().GetResponseStream();
    doc.Load(stream);
    stream.Close();
}
catch (System.UriFormatException uex)
{
    Log.Fatal("There was an error in the format of the url: " + itemUrl, uex);
    throw;
}
catch (System.Net.WebException wex)
{
    Log.Fatal("There was an error connecting to the url: " + itemUrl, wex);
    throw;
}

//get the div by id and then get the inner text 
string testDivSelector = "//div[@id='test']";
var divString = doc.DocumentNode.SelectSingleNode(testDivSelector).InnerHtml.ToString();

[DÜZENLE] Aslında bunu bir kenara bırakın. En basit yöntem kullanmaktır FizzlerEx , orijinal Fizzler projenin güncelleştirilmiş jQuery / CSS3-seçiciler uygulanmasını.

Doğrudan kendi sitelerinden kod örneği:

using HtmlAgilityPack;
using Fizzler.Systems.HtmlAgilityPack;

//get the page
var web = new HtmlWeb();
var document = web.Load("http://example.com/page.html");
var page = document.DocumentNode;

//loop through all div tags with item css class
foreach(var item in page.QuerySelectorAll("div.item"))
{
    var title = item.QuerySelector("h3:not(.share)").InnerText;
    var date = DateTime.Parse(item.QuerySelector("span:eq(2)").InnerText);
    var description = item.QuerySelector("span:has(b)").InnerHtml;
}

Bundan daha basit olabileceğini sanmıyorum.

AngleSharp kullanıyorum ve bundan çok memnun kaldım.

İşte bir sayfanın nasıl getirileceğine dair basit bir örnek:

var config = Configuration.Default.WithDefaultLoader();
var document = await BrowsingContext.New(config).OpenAsync("https://www.google.com");

Ve şimdi belge değişkeninde bir web sayfanız var . Ardından, LINQ veya diğer yöntemlerle kolayca erişebilirsiniz. Örneğin, bir HTML tablosundan bir dize değeri almak istiyorsanız:

var someStringValue = document.All.Where(m =>
        m.LocalName == "td" &&
        m.HasAttribute("class") &&
        m.GetAttribute("class").Contains("pid-1-bid")
    ).ElementAt(0).TextContent.ToString();

CSS seçicilerini kullanmak için lütfen AngleSharp örneklerine bakın .

HttpWebRequestBir URL'yi getirmek için sınıfı kullanma örneğini burada bulabilirsiniz

private void buttonl_Click(object sender, EventArgs e) 
{ 
    String url = TextBox_url.Text;
    HttpWebRequest request = (HttpWebRequest) WebRequest.Create(url); 
    HttpWebResponse response = (HttpWebResponse) request.GetResponse(); 
    StreamReader sr = new StreamReader(response.GetResponseStream()); 
    richTextBox1.Text = sr.ReadToEnd(); 
    sr.Close(); 
} 

Herhangi bir url için html'yi indirmek için WebClient'ı kullanabilirsiniz. Html'ye sahip olduğunuzda, aşağıdaki kodda olduğu gibi html'deki değerleri aramak için HtmlAgilityPack gibi üçüncü taraf bir kitaplığı kullanabilirsiniz -

public static string GetInnerHtmlFromDiv(string url)
    {
        string HTML;
        using (var wc = new WebClient())
        {
            HTML = wc.DownloadString(url);
        }
        var doc = new HtmlAgilityPack.HtmlDocument();
        doc.LoadHtml(HTML);
        
        HtmlNode element = doc.DocumentNode.SelectSingleNode("//div[@id='<div id here>']");
        if (element != null)
        {
            return element.InnerHtml.ToString();
        }   
        return null;            
    }

Bu çözümü deneyin. İyi çalışıyor.

 try{
        String url = textBox1.Text;
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        StreamReader sr = new StreamReader(response.GetResponseStream());
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc.Load(sr);
        var aTags = doc.DocumentNode.SelectNodes("//a");
        int counter = 1;
        if (aTags != null)
        {
            foreach (var aTag in aTags)
            {
                richTextBox1.Text +=  aTag.InnerHtml +  "\n" ;
                counter++;
            }
        }
        sr.Close();
        }
        catch (Exception ex)
        {
            MessageBox.Show("Failed to retrieve related keywords." + ex);
        }