服务端环境为：ubuntu16.04 和 python3
客户端环境为：ubuntu16.04 ubuntu14.04 windows7 和 python3.6 python3.4
服务端安装：
#安装配置redis scrapy-redis pip3 install redis pip3 install scrapy-redis apt-get install redis-tools #重新启动redis服务 /etc/init.d/redis-server restart #redis配置文件位置 vim /etc/redis/redis.conf #使redis可被远程连接和修改数据 bind 0.0.0.0 slave-read-only no #安装mysql sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install libmysqlclient-dev #设置mysql可远程访问 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf #注释掉 #bind-address = 127.0.0.1： #保存退出，然后进入mysql服务，执行授权命令： grant all on *.* to root@'%' identified by '你的密码' with grant option; flush privileges; #然后执行quit命令退出mysql服务，执行如下命令重启mysql： service mysql restart
客户端安装：
#pip 安装 apt-get install python3-pip #如果安装 python3-pip出现问题用如下方法安装： #curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py #python3 get-pip.py sudo apt-get install libffi-dev python3-openssl sudo apt-get install python3-dev pip3 install twisted pip3 install parsel pip3 install cffi pip3 install crypto lxml pip3 install PyMySQL pip3 install scrapy-redis pip3 install DBUtils pip3 install BeautifulSoup4
错误：
#include <openssl/opensslv.h>
^
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
aptitude install libxslt1-dev libxml2-dev
安装libssl-dev
aptitude install libssl-dev
Keep the following packages at their current version:
1) libssl-dev [Not Installed]
# 这里提示时，一定要选n，选Y跟apt-get install操作一样
Accept this solution? [Y/n/q/?] n
错误：
#问题0
ImportError: No module named 'parsel'
sudo apt-get install libffi-dev
#问题1
src/twisted/test/raiser.c:4:20: fatal error: Python.h: No such file or directory
apt-get install python3-dev
#问题2
#安装python3-dev如果安装过程中出现问题
sudo apt-get update && sudo apt-get upgrade && sudo apt-get dist-upgrade
#问题3
RuntimeError: cryptography requires setuptools 18.5 or newer, please upgrade to a newer version of setuptool
pip install --upgrade setuptools
#问题4
python3.7/site-packages/twisted/conch/manhole.py", line 154
def write(self, data, async=False):
换成python 3.6
#问题5
爬取的时候user-agent 用
request.headers.setdefault("User-Agent",userAgent) 设置失败后来换成：
request.headers["User-Agent"]=userAgent 就可以了
#问题6
from OpenSSL._util import lib as pyOpenSSLlib
ImportError: No module named 'OpenSSL._util'
#解决办法
sudo pip3 install -U pyOpenSSL
一些帮助：
#当在Windows上安装一些python pip包时，有时候会出现一些莫名其妙的错误可以直接下载whl 文件进行安装： #wheel 文件下载网址 http://www.lfd.uci.edu/~gohlke/pythonlibs/ #redis图形化管理软件 https://github.com/cinience/RedisStudio/releases
