爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找
系统 2019-09-27 17:51:06 1979
Python及Pycharm安装方法,供大家参考,具体内容如下1、任务简介为了学习Python我今天对它进行了安装,整个安装过程忘了截图,故我在虚拟机中重新安装了一遍,并将Python及Pycharm安装方法进行了分享,希望可以给大家一些帮助。注:虚拟机系统我未分盘,故均安装于虚拟机的系统盘C盘中,建议大家在实际安装过程中不要将软件安装到系统盘中。2、Python安装1)首先需要进入Python官网下载安装包,进入后点击Downloads然后选择Pytho
系统 2019-09-27 17:50:54 1979
中文乱码的解决方法爬虫最常见的问题是返回的数据中文乱码,对于爬虫小白来说这样的问题几乎不可避免,不过别担心,我这里有好几种解决中文乱码的方法,总有一款适合你。方法一:采用我这里代码里的这种方法,先在代码头设置编码方式为"UTF-8",UTF-8是保存中文字符的通用代码。然后,添加如下代码,一般都能解决中文乱码问题。#如果目标网页编码与本地不一致,修改本地默认编码方式(防止输出中文乱码)ifsys.getdefaultencoding()!=resp.enc
系统 2019-09-27 17:49:58 1979
概述如果你已经阅读过上一个章节,那么你应该已经完成了充分的准备工作并且创建了一个很简单的具有如下文件结构的Web应用:microblog|-flask文件夹|-<一些虚拟环境的文件>|-app文件夹||-static文件夹||-templates文件夹||-__init__.py文件||-views.py文件|-tmp文件夹|-run.py文件亲,想要运行这个程序么?那就运行这个run.py文件,然后在你的浏览器里边打开http://localhost:5
系统 2019-09-27 17:49:00 1979
python基础学习笔记(五)2013-04-2014:05虫师阅读(...)评论(...)编辑收藏字符串基本操作所有标准的序列操作(索引、分片、乘法、判断成员资格、求长度、取最小值和最大值)对字符串同样适用,前面已经讲述的这些操作。但是,请注意字符串都是不可变的。字符串的方法:字符串从string模块中“继承”了很多方法,这里只介绍一些特别有用的。1、findfind方法可以在一个较长的字符串中查找子字符串。它返回子串所在位置的最左端索引。如果没有找到则
系统 2019-09-27 17:48:54 1979
最近看《python核心编程》,书中实现了一个简单的1对1的TCPserver,但是在实际使用中1对1的形势明显是不行的,所以研究了一下如何在server端通过启动不同的线程(进程)来实现每个链接一个线程。其实python在类的设计上已经考虑到了这一方面的需求,我们只要在自己的server上继承一下SocketServer.BaseRequestHandler就可以了。server端代码如下:#!/usr/bin/envpythonimportSocket
系统 2019-09-27 17:48:11 1979
本文实例为大家分享了PythonQQBot库的QQ聊天机器人的具体代码,供大家参考,具体内容如下项目地址:https://github.com/pandolia/qqbot1.安装pipinstallqqbot2.主动发出消息fromqqbotimport_botasbot#登录QQbot.Login(['-q','2816626661'])'''buddy获取指定名称/备注的好友group获取群'''buddy=bot.List('buddy','b.K
系统 2019-09-27 17:47:42 1979
1.先安装ddt#pipinstallddt,使用python命令打开cmd,输入importddt如果没有报错,说明安装成功了2.实现的逻辑:1)打开百度首页2)在搜索框中输入一个搜索的关键字3)单击搜索按钮4)验证搜索结果页面是否包含预期关键字,包含则认为测试通过,否则的话就是失败,在测试过程中打印日志以下是实例完整代码请参考:importunittestfromseleniumimportwebdriverimporttimeimportloggin
系统 2019-09-27 17:47:32 1979
findall函数:在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。注意:match和search是匹配一次findall匹配所有,match和search的区别也很大,可以自行网上查找!这里主要需要讨论的是其返回值的展现方式,即findall函数根据正则表达式的不同所返回的结果包含的不同信息!主要包含三种情况:1.当给出的正则表达式中带有多个括号时,列表的元素为多个字符串组成的tuple,tuple中字符串个数
系统 2019-09-27 17:47:25 1979
上一篇已经说过,python随着人工智能的兴起而大热。这里我将详细解释为什么人工智能需要用python。相对于其他语言,python对人工智能最大的优势是他的可扩展性、可嵌入性。这也是他被程序员称为“胶水语言”的原因。python对人工智能应用的优点:1:人工智能的核心算法是完全依赖于C/C++的,而且Python历史上也一直都是科学计算和数据分析的重要工具。Python虽然是脚本语言,但是因为容易学,迅速成为科学家的工具(MATLAB等也能搞科学计算,但
系统 2019-09-27 17:46:24 1979