【每日一记8】+第3天+win10如何安装python虚拟环境以及爬虫环境?
  

young_1003 17171人觉得有帮助

{{ttag.title}}
  1. 我们学习使用爬虫的时候,有时会在linux下使用,但是有时候我们想在windows下面使用fiddler等其他辅助工具写爬虫感觉会更方便,但是windows下面安装python环境就比较坑,下面我们来讲一下避免这些坑。
复制代码

以win10环境为例
  •     windows安装虚拟环境

      安装python解释器建议直接安装python3版本,根据操作系统版本32位还是64位下载对应的版本python解释器,仅仅安装python解释器其他的包不要安装
      启动cmd终端准备开始安装虚拟环境,执行一下命令:pip install virtualenv
      安装 windows 版本的virtualenvwrapper,这个要比我们原始的virtualenv好用很多,执行命令:pip install virtualenvwrapper-win
      如果不做配置默认是C:\Users\用户\Envs
      配置完成后重新启动cmd命令窗口,因为新配置的环境变量对当前dos窗口不生效
  • 配置爬虫虚拟环境

      创建爬虫虚拟环境(python项目一定要创建虚拟环境),执行命令:mkvirtualenv spider_py3,创建好的虚拟环境将会再我们上面设置的目录里面
      进入创建好虚拟环境workon spider_py3
      使用pip安装常用的爬虫包
      pip install requests
      pip install lxml
      pip install bs4
      pip install selenium
      安装srapy框架

        pip install scrapy 安装框架可能会出现下面的这个问题,如果没有请跳过,我安装的时候没有报错。
        你需要单独安装twisted,不要使用pip install twsited 去安装还是会出现上面这个问题,windows平台上面所以需要安装windows版本的twisted 使用命令:pip install Twisted[windows_platform] 安装会安装windows相关编译的相关工具,如果还是失败,看第三步。
        离线安装Twisted
        安装完成twisted后再次使用 pip install scrapy 安装scrapy框架
        安装scrapy相关的包:
        pip install scrapyd
        pip install scrapy-redis
  • scrapy安装完成后 启动scrapy项目的时候可能出现类似的问题 import win32api ImportError DLL load failed
    解决方案:http://blog.csdn.net/github_35160620/article/details/53347807
  • pip安装的时候可能出现类似的问题UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 2: invalid continuation byte
    解决方案:
        D:\Envs\spider_py3\Lib\site-packages\pip\compat修改里面的__init__.py把return s.decode(‘utf-8’)编码格式替换成gbk
  • win10下面有一个powershell 如果想使用virtualenvwrapper那么 需要但是安装支持wrapper的包,而且这个包不支持python3,仅仅支持python2 请查看文档:http://virtualenvwrapper.readthedocs.io/en/latest/install.html  
  • 安装软件包遇到问题的时候建议查看官方文档的安装文档,如果安装官方文档安装还出现问题再查找解决方案

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

新手095832 发表于 2020-6-15 14:53
  
谢谢分享,非常实用
JM 发表于 2020-6-16 10:03
  
感谢分享
新手780102 发表于 2020-6-16 10:10
  

感谢分享
司马缸砸了光 发表于 2020-6-16 10:29
  
感谢分享
新手978513 发表于 2020-6-16 10:54
  
感谢分享
新手517842 发表于 2020-6-16 11:07
  

感谢分享
新手031815 发表于 2020-6-16 11:16
  

感谢分享
新手899116 发表于 2020-6-16 11:22
  
感谢分享
新手741261 发表于 2020-6-16 11:30
  
感谢分享
发表新帖
热门标签
全部标签>
西北区每日一问
干货满满
每日一问
技术盲盒
技术笔记
产品连连看
GIF动图学习
标准化排查
新版本体验
技术咨询
信服课堂视频
安装部署配置
功能体验
2023技术争霸赛专题
自助服务平台操作指引
每周精选
解决方案
设备维护
秒懂零信任
技术圆桌
升级
高手请过招
升级&主动服务
答题自测
SDP百科
玩转零信任
信服圈儿
通用技术
技术晨报
社区新周刊
畅聊IT
专家问答
在线直播
MVP
网络基础知识
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
原创分享
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高频问题集锦

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人