wsgi简介，flask和scrapy的简单使用

WSGI接口定义非常简单，它只要求Web开发者实现一个函数，就可以响应HTTP请求。

def application(environ, start_response):
    start_response('200 OK', [('Content-Type', 'text/html')])
    return [b'<h1>Hello, web!</h1>']

environ：HTTP请求信息

start_response:start_response是外部传入的，调用时候两个参数，一个返回状态码，一个头部信息

返回：一个http的body信息

flask简单使用：

这个form action='',method='',决定提交的时候的post

from flask import Flask
from flask import request

app = Flask(__name__)

@app.route('/', methods=['GET', 'POST'])
def home():
    return '<h1>Home</h1>'

@app.route('/signin', methods=['GET'])
def signin_form():
    return '''<form action="/signin" method="post">
              <p><input name="username"></p>
              <p><input name="password" type="password"></p>
              <p><button type="submit">Sign In</button></p>
              </form>'''

@app.route('/signin', methods=['POST'])
def signin():
    # 需要从request对象读取表单内容：
    if request.form['username']=='admin' and request.form['password']=='password':
        return '<h3>Hello, admin!</h3>'
    return '<h3>Bad username or password.</h3>'

if __name__ == '__main__':
    app.run()

scrapy用法简介：

scrapy startproject scrapyspider

scrapy.cfg: 项目的配置文件。

scrapyspider/items.py: 项目中的item结构，供下面parse解析返回，和piplines使用。

scrapyspider/middlewares: 爬取，解析和保存的中间件。

scrapyspider/pipelines.py: 实现process_item（self，item， spider），保存爬取结果。

scrapyspider/settings.py: 项目的设置文件。

scrapyspider/spiders/: 放置spider代码的目录。

spider代码的目录，实现name， start_urls（or 函数 start_requests），parse（self，response）。

start_requests和parse都用yield 生成器式返回一个个结果。

from scrapy.spiders import Spider
class BlogSpider(Spider):
    name = 'woodenrobot'
    start_urls = ['http://woodenrobot.me']

    def parse(self, response):
        titles = response.xpath('//a[@class="post-title-link"]/text()').extract()
        for title in titles:
            print title.strip()

切换到scrapyspider目录，运行这个name的爬虫。

scrapy crawl woodenrobot