Python

python3之微信文章爬虫实例讲解

前提:python3.4windows作用:通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章,并将标题及相关链接导入Excel表格中说明:需xlsxwriter模块,另程序编写时间为2017/7/11,以免之后程序无法使用可能是网站做过相关改变,程序较为简单,除去注释40多行。正题:思路:打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作

系统 2019-09-27 17:54:31 2186

Python

【Python3网络爬虫开发实战】7.4-使用Selenium爬取淘宝商品

【摘要】在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面,最方便快捷的抓取方法就是通过Selenium。本节中,我们就用Selenium来模拟浏览器操作,抓取淘宝的商品信息,并将结果保存到MongoDB。1.本节目标本节中,我们

系统 2019-09-27 17:54:29 2186

Python

Python流程控制 while循环实现解析

一、语法while条件:执行代码while就是当的意思,它指当其后面的条件成立,就执行while下面的代码。例:写一个从0打印到10的程序count=0whilecount<=10:print('第%s次'%count)count+=1如果要打印1~10之间的偶数怎么办呢?那就得先搞清楚,怎么判断一个数字是偶数?能被2整除的就是偶数,但如何判断这个数是否能被2整除呢?简单,直接判断这个数除以2之后的余数是否为0就行了,这就用到了前面“Python之运算符”

系统 2019-09-27 17:54:23 2186

Python

Python Queue模块详解

Python中,队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块,虽然简单易用,但是不小心的话,还是会出现一些意外。创建一个“队列”对象importQueueq=Queue.Queue(maxsize=10)Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。将一个值放入队列中q.put(10)调用队列对

系统 2019-09-27 17:53:36 2186

Python

Python之路【第十篇】:Python面向对象之多态、多态性

阅读目录一多态多态指的是一类事物有多种形态动物有多种形态:人,狗,猪importabcclassAnimal(metaclass=abc.ABCMeta):#同一类事物:动物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#动物的形态之一:人deftalk(self):print('sayhello')classDog(Animal):#动物的形态之二:狗deftalk(self):prin

系统 2019-09-27 17:53:09 2186

Python

Python基础之常用内置函数

python常用内置函数dir(__builtins__)#获取内置函数dir(random)#查看random中有哪些内置函数help(random.shuffle)#查看random.shuffle的用法id(a)#获取内存地址chr()#数字转为asciiord()#ascii转为数字isinstance(1,int)#判断1是否为int类型eval("1+1")#可以把字符串里的字符转换为可执行代码,但只支持一行。可以返回执行后得到的值,用于计算一

系统 2019-09-27 17:52:02 2186

Python

Python随机函数random()使用方法小结

1.random.random()random.random()方法返回一个随机数,其在0至1的范围之内,以下是其具体用法:importrandomprint("随机数:",random.random())输出结果:0.228675212571162.random.uniform()random.uniform()是在指定范围内生成随机数,其有两个参数,一个是范围上限,一个是范围下线,具体用法如下:importrandomprint(random.unif

系统 2019-09-27 17:51:23 2186

Python

求职面试常见问题:Python常见面试题全解析附答案

Python是个非常受欢迎的编程语言,随着近些年机器学习、云计算等技术的发展,Python的职位需求越来越高。我收集了110道Python面试官经常问的问题,供大家参考学习。篇幅问题,分为2次推送,下周会给大家分享面试题下篇55道~1、一行代码实现1--100之和利用sum()函数求和。2、如何在一个函数内部修改全局变量利用global修改全局变量。3、列出5个python标准库os:提供了不少与操作系统相关联的函数sys:通常用于命令行参数re:正则匹配

系统 2019-09-27 17:48:59 2186

Python

python面试题Python2.x和Python3.x的区别

下面看下python2.x和python3.x的区别1.大环境不同python2.x:源码重复,不规范python3.x:整合源码,更清晰优美简单2.默认编码不同python2.x:默认编码ASCII编码python3.x:默认编码UTF-83.python3.x没有长整型python2.x:有长整型longpython3.x:long整数类型被废弃,统一为int4.打印方式不同python2.x:print语句,print空格+打印内容python3.x

系统 2019-09-27 17:48:49 2186

Python

python采集博客中上传的QQ截图文件

哎,以前写博文的时候没注意,有些图片用QQ来截取,获得的图片文件名都是类似于QQ截图20120926174732-300×15.png的形式,昨天用ftp备份网站文件的时候发现,中文名在flashfxp里面显示的是乱码的,看起来好难受,所以写了一个python小脚本,爬取整个网站,然后获取每个文章页面的图片名,并判断如果是类似于QQ截图20120926174732-300×15.png的形式就输出并将该图片地址和对应的文章地址保存在文件中,然后通过该文件来

系统 2019-09-27 17:47:21 2186

Python

Python 执行字符串表达式函数(eval exec execfile)

仔细研读后学习了三个函数:eval:计算字符串中的表达式exec:执行字符串中的语句execfile:用来执行一个文件需注意的是,exec是一个语句,而eval()和execfile()则是内建built-in函数。Python2.7.2(default,Jun122011,15:08:59)[MSCv.150032bit(Intel)]onwin32Type"help","copyright","credits"or"license"formoreinf

系统 2019-09-27 17:46:53 2186

Python

循环与分支——python

循环结构程序设计中,最能发挥计算机特长的结构:循环结构需要重复进行某种运算,并且运算对象有规律变化的情况,使用循环结构使用forninrange(2,10)时,不包括10python中不支持直到型循环结构(后测循环实现)但可以通过while语句间接实现:number=-1whilenumber<0number=eval(input("Enterapositivenumber:"))或者whileTrue:number=eval(input("Enterap

系统 2019-09-27 17:46:48 2186

Python

python中的代码编码格式转换问题

刚来这个公司,熟悉了环境,老大就开始让我做一个迁移、修改代码的工作,我想说的是,这种工作真没劲~~,看别人的代码、改别人的代码、这里改个变量、那里改个文件名・・・・・・,都是些没技术含量、很繁琐的事情,不过通过迁移代码顺便熟悉下环境也好。扯了这么多,说说今天的主题吧――代码编码格式改变,由于某些原因,需要将代码从A机房迁移到B机房,这两个之间不能互相访问,但是历史原因导致A机房的代码全是utf8编码的,B机房要求是GBK编码,看看这个怎么解决。编码问题先说

系统 2019-09-27 17:45:49 2186

Python

python一些有用的函数

1、Pythonstartswith()方法用于检查字符串是否是以指定子字符串开头,如果是则返回True,否则返回False。如果参数beg和end指定值,则在指定范围内检查。https://www.runoob.com/python/att-string-startswith.html2、Pythonisalnum()方法检测字符串是否由字母和数字组成。https://www.runoob.com/python/att-string-isalnum.ht

系统 2019-09-27 17:45:35 2186

Python

Python的装饰器模式与面向切面编程详解

今天来讨论一下装饰器。装饰器是一个很著名的设计模式,经常被用于有切面需求的场景,较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离出大量函数中与函数功能本身无关的雷同代码并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。1.装饰器入门1.1.需求是怎么来的?装饰器的定义很是抽象,我们来看一个小例子。复制代码代码如下:deffoo():print'infoo()'foo()这是一个很无聊

系统 2019-09-27 17:45:33 2186