Python

python利用urllib实现爬取京东网站商品图片的爬虫实例

本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码!#-*-coding:utf-8-*importreimportosimporturllibimporturllib2frombs4importBeautifulSoupdefcraw(url,page):html1=urllib2.urlopen(url).read(

系统 2019-09-27 17:53:53 1998

Python

Python 3.7 安装历险记

之前我在windows10系统上面安装python3.7,虽然在windows上面安装简单,操作也方便,但是想要和linux的shell脚本交互就不方便了。因此,我决定在centos7上面也安装上python最新版本在这期间,我踩了很多坑,也填了很多坑,后来几乎要面临崩溃了,期间发生了什么?别着急,耐心往下看!操作环境:CentOS7.464位一般安装步骤1.下载python安装包wgethttps://www.python.org/ftp/python/

系统 2019-09-27 17:53:50 1998

Python

python 深入理解函数

源代码:defmain(w_face,w_body):return("我的身材:"+face(w_face)+body(w_body))#main('青青','子衿')print(main('青青','子衿'))defface(name):return(name+'脸蛋')defbody(name):return(name+'身材')报错:line2,inmainreturn("我的身材:"+face(w_face)+body(w_body))NameEr

系统 2019-09-27 17:53:43 1998

Python

Python多线程threading模块用法实例分析

本文实例讲述了Python多线程threading模块用法。分享给大家供大家参考,具体如下:多线程-threadingpython的thread模块是比较底层的模块,python的threading模块对thread做了一些包装,可以更加方便的被使用。1.使用threading模块单线程执行#coding=utf-8importtimedefsaySorry():print('跑一圈')time.sleep(1)if__name__=="__main__"

系统 2019-09-27 17:52:32 1998

Python

python的循环

python的循环编写程序时经常有代码需要重复运行,python提供了while和for进行循环操作。一、while循环1、while循环可以根据条件进行判断,决定是否要循环执行语句块,语法如下:循环条件后面也是要使用冒号,然后缩进写循环操作语句,先判断条件是否成立,如果为true,则执行循环操作语句,如果为false,则跳出循环。示例代码如下:count=0while(count<5):count=count+1print(count)#结果>>>5变量

系统 2019-09-27 17:52:20 1998

Python

python configparser库简介

随着脚本复杂程度增加,配置文件成了必不可少。之前一直使用json文件,当作配置文件。比较之下,configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]

系统 2019-09-27 17:52:13 1998

Python

Python相关文章索引(14)

基本常识python中的左位移和右位移利用Python在一个文件的头部插入数据withopen(path,"r+")asf:old=f.read()f.seek(0)f.write(data)f.write(old)Debugxpath中遇到[]AttributeError:‘dict’objecthasnoattribute‘iteritems’Python3.5中:iteritems变为items【Python】ufunc‘subtract’didno

系统 2019-09-27 17:52:10 1998

Python

python协程详解

目录python协程详解一、什么是协程二、了解协程的过程1、yield工作原理2、预激协程的装饰器3、终止协程和异常处理4、让协程返回值5、yieldfrom的使用6、yieldfrom的意义三、greenlet的使用四、gevent的使用python协程详解一、什么是协程协程又称为微线程,协程是一种用户态的轻量级线程协程拥有自己的寄存器和栈。协程调度切换的时候,将寄存器上下文和栈都保存到其他地方,在切换回来的时候,恢复到先前保存的寄存器上下文和栈,因此:

系统 2019-09-27 17:51:34 1998

Python

深入分析python数据挖掘 Json结构分析

json是一种轻量级的数据交换格式,也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json,只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps,这个都属于python初级,我不做过多解释json可以结合数据库一起使用,在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax,所以一

系统 2019-09-27 17:51:28 1998

Python

python中subprocess批量执行linux命令

可以执行shell命令的相关模块和函数有:os.systemos.spawnos.popen--废弃popen--废弃commands--废弃,3.x中被移除以上执行shell命令的相关的模块和函数的功能均在subprocess模块中实现,并提供了更丰富的功能。subprocesscall执行命令,返回状态码>>>importsubprocess>>>ret=subprocess.call(["ls","-l"],shell=False)total4684

系统 2019-09-27 17:51:25 1998

Python

ubuntu 18.04搭建python环境(pycharm+anaconda)

ubuntu系统自带的python有多个版本,使用时难免会遇到环境变量出错,特别是当自动化运行脚本的时候。特别是近一个月来,实验室的小伙伴们的都倾心于python。为了帮助小伙伴们快速搭建自己的python环境,笔者写下了这篇教程。当然,如果ubuntu自带的python自己使用没有问题,可以略去anaconda的安装。AnacondaAnaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。因为包

系统 2019-09-27 17:51:20 1998

Python

python BeautifulSoup设置页面编码的方法

在用BeautifulSoup进行抓取页面的时候,会各种各样的编码错误。可以通过在beautifulsoup中指定字符编码,解决问题。复制代码代码如下:importurllib2fromBeautifulSoupimportBeautifulSouppage=urllib2.urlopen('http://www.163.com');soup=BeautifulSoup(page,from_encoding="gb2312")printsoup.origi

系统 2019-09-27 17:51:09 1998

Python

Mongodb基本操作与Python连接mongodb并进行基础操作的方法

mongodb是基于分布式文件存储的nosql(非关系型)数据库虽说是nosqldb,butmongodb其中的文档可以是关系型的在mongodb中,表为集合,里面的数据为文档;文档本质就是一条调JSON数据进入mongodb:mongo退出mongodb:exit库操作显示库:showdbs选择或者创建:usellsdb#不管该库是否存在,都会use进入,如何该库不存在,use进去不存入数据退出时,该库不会被创建.所以创建库就use再写入数据.查看所在库

系统 2019-09-27 17:50:39 1998

Python

day001-在Windows下python环境的搭建

一、Python下载1、Python最新源码,二进制文档,新闻资讯等可以在Python的官网查看到:2、Python官网:https://www.python.org/3、你可以在以下链接中下载Python的文档,你可以下载HTML、PDF和PostScript等格式的文档。4、Python文档下载地址:https://www.python.org/doc/二、Window平台安装Python:1、以下为在Window平台上安装Python的简单步骤:2、

系统 2019-09-27 17:50:36 1998

Python

在Python中使用itertools模块中的组合函数的教程

理解新概念PythonV2.2中引入了迭代器的思想。唔,这并不十分正确;这种思想的“苗头”早已出现在较老的函数xrange()以及文件方法.xreadlines()中了。通过引入yield关键字,Python2.2在内部实现的许多方面推广了这一概念,并使编程定制迭代器变得更为简单(yield的出现使函数转换成生成器,而生成器反过来又返回迭代器)。迭代器背后的动机有两方面。将数据作为序列处理通常是最简单的方法,而以线性顺序处理的序列通常并不需要都同时实际存在

系统 2019-09-27 17:49:57 1998