python3使用requests 抓取信息时遇到304状态码,应该抓取的内容没有抓取到,查询资料得知是由于请求的header中包含以下两个键值对,那么每次请求将这两个值赋值为空解决了问题:
If-None-Natch,If-Modified-Since
我定义了一个动态获取的header的函数,其中USER_AGENTS是一个包含很多User-Agent的数组:
def get_header():
return {
'User-Agent': random.choice(USER_AGENTS),
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.5',
'Connection': 'keep-alive',
'Accept-Encoding': 'gzip, deflate',
'If-None-Natch':'',
'If-Modified-Since':''
}


