c# 爬虫

using System;
using System.Net.Http;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        string url = "https://example.com"; // 要爬取的网页URL
        string htmlContent = await FetchHtmlAsync(url);
        Console.WriteLine(htmlContent);
    }

    static async Task<string> FetchHtmlAsync(string url)
    {
        using (HttpClient client = new HttpClient())
        {
            try
            {
                HttpResponseMessage response = await client.GetAsync(url);
                response.EnsureSuccessStatusCode();
                return await response.Content.ReadAsStringAsync();
            }
            catch (HttpRequestException e)
            {
                Console.WriteLine($"Request error: {e.Message}");
                return string.Empty;
            }
        }
    }
}

解释说明：

1. 引入命名空间：使用 System.Net.Http 命名空间中的类来进行 HTTP 请求。
2. 定义主程序入口：Main 方法是程序的入口，使用 async Task 以支持异步操作。
3. 指定 URL：定义要爬取的网页 URL。
4. 调用异步方法获取 HTML 内容：FetchHtmlAsync 方法用于发送 HTTP 请求并获取网页的 HTML 内容。
5. 处理 HTTP 请求：使用 HttpClient 发送 GET 请求，并确保请求成功。如果请求失败，则捕获异常并输出错误信息。
6. 输出 HTML 内容：将获取到的 HTML 内容输出到控制台。

这个简单的 C# 爬虫示例展示了如何使用 HttpClient 类来获取网页的 HTML 内容。实际应用中，你可能还需要解析 HTML 或处理更复杂的逻辑。