×

【每日一记8】+第3天+win10如何安装python虚拟环境以及爬虫环境?
  

young_1003 19591人觉得有帮助

{{ttag.title}}
  1. 我们学习使用爬虫的时候,有时会在linux下使用,但是有时候我们想在windows下面使用fiddler等其他辅助工具写爬虫感觉会更方便,但是windows下面安装python环境就比较坑,下面我们来讲一下避免这些坑。
复制代码

以win10环境为例
  •     windows安装虚拟环境

      安装python解释器建议直接安装python3版本,根据操作系统版本32位还是64位下载对应的版本python解释器,仅仅安装python解释器其他的包不要安装
      启动cmd终端准备开始安装虚拟环境,执行一下命令:pip install virtualenv
      安装 windows 版本的virtualenvwrapper,这个要比我们原始的virtualenv好用很多,执行命令:pip install virtualenvwrapper-win
      如果不做配置默认是C:\Users\用户\Envs
      配置完成后重新启动cmd命令窗口,因为新配置的环境变量对当前dos窗口不生效
  • 配置爬虫虚拟环境

      创建爬虫虚拟环境(python项目一定要创建虚拟环境),执行命令:mkvirtualenv spider_py3,创建好的虚拟环境将会再我们上面设置的目录里面
      进入创建好虚拟环境workon spider_py3
      使用pip安装常用的爬虫包
      pip install requests
      pip install lxml
      pip install bs4
      pip install selenium
      安装srapy框架

        pip install scrapy 安装框架可能会出现下面的这个问题,如果没有请跳过,我安装的时候没有报错。
        你需要单独安装twisted,不要使用pip install twsited 去安装还是会出现上面这个问题,windows平台上面所以需要安装windows版本的twisted 使用命令:pip install Twisted[windows_platform] 安装会安装windows相关编译的相关工具,如果还是失败,看第三步。
        离线安装Twisted
        安装完成twisted后再次使用 pip install scrapy 安装scrapy框架
        安装scrapy相关的包:
        pip install scrapyd
        pip install scrapy-redis
  • scrapy安装完成后 启动scrapy项目的时候可能出现类似的问题 import win32api ImportError DLL load failed
    解决方案:http://blog.csdn.net/github_35160620/article/details/53347807
  • pip安装的时候可能出现类似的问题UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 2: invalid continuation byte
    解决方案:
        D:\Envs\spider_py3\Lib\site-packages\pip\compat修改里面的__init__.py把return s.decode(‘utf-8’)编码格式替换成gbk
  • win10下面有一个powershell 如果想使用virtualenvwrapper那么 需要但是安装支持wrapper的包,而且这个包不支持python3,仅仅支持python2 请查看文档:http://virtualenvwrapper.readthedocs.io/en/latest/install.html  
  • 安装软件包遇到问题的时候建议查看官方文档的安装文档,如果安装官方文档安装还出现问题再查找解决方案

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

新手095832 发表于 2020-6-15 14:53
  
谢谢分享,非常实用
JM 发表于 2020-6-16 10:03
  
感谢分享
新手780102 发表于 2020-6-16 10:10
  

感谢分享
司马缸砸了光 发表于 2020-6-16 10:29
  
感谢分享
新手978513 发表于 2020-6-16 10:54
  
感谢分享
新手517842 发表于 2020-6-16 11:07
  

感谢分享
新手031815 发表于 2020-6-16 11:16
  

感谢分享
新手899116 发表于 2020-6-16 11:22
  
感谢分享
新手741261 发表于 2020-6-16 11:30
  
感谢分享
发表新帖
热门标签
全部标签>
安全效果
每日一问
西北区每日一问
技术笔记
技术盲盒
【 社区to talk】
干货满满
新版本体验
标准化排查
产品连连看
信服课堂视频
技术咨询
每周精选
功能体验
自助服务平台操作指引
排障那些事
GIF动图学习
技术晨报
安装部署配置
运维工具
解决方案
2023技术争霸赛专题
秒懂零信任
故障笔记
技术圆桌
云计算知识
用户认证
技术顾问
资源访问
存储
技术争霸赛
「智能机器人」
以战代练
社区新周刊
畅聊IT
答题自测
专家问答
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
原创分享
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
地址转换
虚拟机
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
通用技术
卧龙计划
华北区拉练
天逸直播
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
高手请过招
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力

本版版主

12
185
6

发帖

粉丝

关注

121
313
351

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人