快盘下载:好资源、好软件、快快下载吧!

快盘排行|快盘最新

当前位置:首页软件教程电脑软件教程 → pyhton实战之初识爬虫库(beautiful soup)

pyhton实战之初识爬虫库(beautiful soup)

时间:2022-05-09 12:20:45人气:作者:快盘下载我要评论
关键字:pip使用,虚拟环境,beautiful soup

        在前面几篇博客我们记录了python的一些简单语法,主要偏向于理论。俗话说站在岸上学不会游泳,所有从今天开始我们将要进入python学习的新征程---实战篇。我们会在实战篇中穿插一些基础知识,或初识,或温故知新,将我们的基础慢慢打牢。

        今天我们的主题是构建虚拟环境,初识pip以及初步使用beautiful soup包。

        首先我们来了解一下什么是虚拟环境以及为什么要使用虚拟环境?我们先来假设一个场景,如果我们使用了一个第三方的包,且是全局的,开始项目A和B都使用了这个包,某一天这个包升级了,A项目还可以运行,但是不幸的是B项目不兼容了,此时你就非常操蛋了(保大还是保小?)!。当然了,python是不会让你面临这种尴尬的局面的,有种解决方案就是建立虚拟环境。pyhton虚拟环境允许Python包安装在特定应用程序的隔离位置,而不是在全局安装。它们有自己的安装目录,并且不与其他虚拟环境共享库。这点在实际开发中非常重要!详细可以看官网:Installing Packages — Python Packaging User Guide

        构建虚拟环境

          了解了虚拟环境我们来尝试构建一个虚拟环境吧(可以使用编辑器创建,也可以使用cmd命令行的方式创建,此处使用cmd命令行的方式)。

            1)、先建立一个文件夹,此文件夹专门存放pyhton虚拟环境,因为可能会需要很多虚拟环境,如D:mypythonpyvenv

            2)、在cmd(windows系统)命令行,cd到D:mypythonpyvenv,然后输入命令行python -m venv test,如下所示

pyhton实战之初识爬虫库(beautiful soup)

                    此时我们进入该目录下查看,发现里面有很多文件夹,

              3 )、cmd环境下,我们进入Scripts文件夹下,运行activate.bat(linux系统下我们运行activate脚本)

爬虫

                        注意此时如果成功的话是会有evn标志的,如下所示,前面是有(test)标志的,这个表示你当前是处于沙盒环境的。

爬虫         安装第三方库

             虚拟环境构建成功之后我们接下来要做的就是安装第三方包了,比如我们要试玩爬虫,可以安装beautiful soup包。(可查看中文文档Beautiful Soup 4.4.0 文档 — beautifulsoup 4.4.0q 文档)此时我们需要用到一个工具pip。这个我们可以简单理解成java中的maven或者gradle(不知道对不对哈,不对的话求指教)。如上图,我们仍然在D:mypythonpyvenv estScripts目录下使用命令pyhton -m pip install beautifulsoup4稍候片刻就会提示安装完成,此时我们打开D:mypythonpyvenv estLibsite-packages目录下,发现已经安装完成。

爬虫         试运行

此处使用的的pycharm,打开编辑器setting,选择虚拟环境,如下截图

爬虫

运行代码,如下截图,可以发现我们的测试网页html的头部被获取到了。

爬虫

相关文章

  • Python练习笔记之Redis练习题及答案

    Python练习笔记之Redis练习题及答案, 目录1、什么是Redis?2、Redis相比memcached有哪些优势?3、Redis支持哪几种数据类型?4、Redis主要消耗什么物理资源?5、Redis的全称是什么?6、Redis有哪几种数据淘汰策略?7、Redis官方为什么不提供Windows版本?8、一个字符串类型的值能存储最大容量是多少?9、为什么Redis需要把所有数据放到内存中?...
  • 【Python实现网络爬虫】Scrapy爬取网易新闻(仅供学习交流使用!)

    【Python实现网络爬虫】Scrapy爬取网易新闻(仅供学习交流使用!),1.新建项目在命令行窗口下输入scrapystartprojectscrapytest,如下然后就自动创建了相应的文件,如下2.修改itmes.py文件打开scrapy框架自动创建的items.py文件...

网友评论

快盘下载暂未开通留言功能。

关于我们| 广告联络| 联系我们| 网站帮助| 免责声明| 软件发布

Copyright 2019-2029 【快快下载吧】 版权所有 快快下载吧 | 豫ICP备10006759号公安备案:41010502004165

声明: 快快下载吧上的所有软件和资料来源于互联网,仅供学习和研究使用,请测试后自行销毁,如有侵犯你版权的,请来信指出,本站将立即改正。