学习网站:

import scrapyfrom tutorial.items import DmItemclass DmozSpider(scrapy.Spider):    name = "dm" #爬虫名    allowed_domains = ["dmoz.org"]#allow_domains是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页。    start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"    ]#要爬取的网站                #parse解析的方法，        #调用的时候传入从每一个URL传回的Response对象作为唯一参数，        #负责解析并匹配抓取的数据(解析为item)，跟踪更多的URL。    def parse(self, response):                #爬取网页所有的ul标签下li标签        for li in response.xpath('//*[@id="bd-cross"]/fieldset[3]/ul/li'):            #项目=载入DmItem()类            item = DmItem()            #项目['标题']=li标签里面的a标签的文子（）            item['title'] = li.xpath('a/text()').extract()            #连接=li标签里a标签的href属性            item['link'] = li.xpath('a/@href').extract()            #描述=li标签里的text()            item['desc'] = li.xpath('text()').extract()                        yield item#返回项目

备注：简单的罗列一下有用的xpath路径表达式