这也是最重要核心的一个要分析的页面。我们以大连市2011年8月份为例：，我们要找到我们需要采集的信息节点，如下图所示的动画演示，其实这个过程习惯几次就好了，每一次点击节点后，要观察右边的内容是不是我们想要的，还可以通过滚动条的长度判断大概的长度。 

　　这里不是直接从URL加载，由于编码原因，URL加载会有乱码，所以我是手动辅助源代码到HAPExplorer中的，效果一样，所以直接在获取页面源代码的时候，要注意编码问题。总的过程比较简单，还是查找到Table标签的位置，因为那里保存了所需要的数据，每一行每一列都非常标准。过程类似，我们直接更加XPath找到Table，然后一次获取每行，每列，进行对应即可，看代码，都进行了详细的注释：

/// <summary>采集单个城市单个月的历史天气数据</summary> /// <param name="cityCode">城市拼音代码</param> /// <param name="year">年份</param> /// <param name="month">月份</param> public static void ParsePageByCityMonth(String cityCode, Int32 year, Int32 month) { //更加拼音代码，月份信息构造URL String url = String.Format("http://www.tianqihoubao.com/lishi/{0}/month/{1}{2:D2}.html", cityCode, year, month); //获取该链接的源代码 var docText = HtmlHelper.GetWebClient(url); //加载源代码，获取页面结构对象 var doc = new HtmlDocument(); doc.LoadHtml(docText); //更加Xpath获取表格对象 var res = doc.DocumentNode.SelectSingleNode(@"/html[1]/body[1]/div[2]/div[6]/div[1]/div[1]/table[1]"); if (res != null) { //获取所有行 var list = res.SelectNodes(@"tr"); list.RemoveAt(0);//移除第一行，是表头 // 遍历每一行，获取日期，以及天气状况等信息 foreach (var item in list) { var dd = item.SelectNodes(@"td"); //日期 -  - 气温 - 风力风向 if (dd.Count != 4) continue; //获取当前行日期 var date1 = dd[0].InnerText.Replace("\r\n", "").Replace(" ", "").Trim();   //获取当前行天气状况 var tq = dd[1].InnerText.Replace("\r\n", "").Replace(" ", "").Trim(); //获取当前行气温 var qw = dd[2].InnerText.Replace("\r\n", "").Replace(" ", "").Trim(); //获取当前行风力风向 var fx = dd[3].InnerText.Replace("\r\n", "").Replace(" ", "").Trim(); //输出 Console.WriteLine("{0}:{1},{2},{3}", date1, tq, qw, fx); } } }

我们调用大连市2011年8月的记录：ParsePageByCityMonth("dalian",2011,8);  结果如下：

　　至于其他页面都是这个思路，先分析xpath，再获取对应的信息。熟悉几次后应该会快很多的。HtmlAgilityPack里面的方法用多了，自己用对象浏览器查看一些，会一些基本的就可以解决很多问题。

　　另外，很多网页都是直接输出json数据，对json数据的处理我写过一篇文章，可以参考下，纯手工打造的解析json：用原始方法解析复杂字符串，json一定要用JsonMapper么？ 

4.资源

HTML解析利器HtmlAgilityPack

HtmlAgilityPack 之 HtmlNode类

网易新闻页面信息抓取 -- htmlagilitypack搭配scrapysharp

C#类似Jquery的html解析类HtmlAgilityPack基础类介绍及运用

我把分析HAPExplorer 工具共享一些吧，，这里下载：HtmlAgilityPack分析工具.rar

……