- 军军小站|张军博客
拥有Python标签的文章
Python

Python实现抓取网页并且解析的实例

本文以实例形式讲述了Python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。主要功能代码如下:#!/usr/bin/python#coding=utf-8importsysimportreimporturllib2fromurllibimporturlencodefromurllibimportquoteimporttimemaxline=2000wenda=re.compile("href=\"http://wenda.

系统 2019-09-27 17:56:42 1847

Python

Python按行读取大文件

在工作中遇到一个需求,需要用Python脚本读取一个13G的文件,把每行的记录写入redis。由于机器的内存只有8G,所以不能一次将磁盘上的文件全部读入内存,需要一行一行读取文件。Python按行读取文件主要是使用file.readline方法或者利用file对象的迭代器性质,而file.readlines方法则是一次把所有内容从磁盘读入内存。当内存足够时,file.readlines方法显然会更快,因为磁盘I/O次数更少。下面给出了三种遍历文件每行的方式

系统 2019-09-27 17:56:36 1847

Python

python基于pdfminer库提取pdf文字代码实例

安装pdfminer库windows下安装pdfminer3kpipinstallpdfminer3kLiunx下安装pdfminerpipinstallpdfminer代码frompdfminer.pdfparserimportPDFParser,PDFDocumentfrompdfminer.converterimportPDFPageAggregatorfrompdfminer.layoutimportLAParams,LTTextBoxHorizo

系统 2019-09-27 17:55:31 1847

Python

python 下载小说

使用beautifulsoup爬取小说,并整合到txt中。"""======================@Auther:CacheYu@Time:2019/9/16:16:09======================"""#-*-coding:utf-8-*-importurllib.requestimporturllib.errorimportbs4frombs4importBeautifulSoupdefreaddown(url):soup=B

系统 2019-09-27 17:54:27 1847

Python

python 动态迁移solr数据过程解析

前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的

系统 2019-09-27 17:52:33 1847

Python

Python-time库的使用

time库是Python中处理时间的标准库计算机时间的表达提供获取系统时间并格式化输出功能提供系统级精确计时功能,用于程序性能分析time库包括三类函数时间获取:time()ctime()gmtime()时间格式化:strftime(0strptime()程序计时:sleep(),perf_counter()时间获取time()获取当前时间戳,即计算机内部时间值,浮点数importtimetime.time();#运行结果#1568855802.08770

系统 2019-09-27 17:50:57 1847

Python

Python Pandas数据结构简单介绍

SeriesSeries类似一维数组,由一组数据及一组相关数据标签组成。使用pandas的Series类即可创建。importpandasaspds1=pd.Series(['a','b','c,','d'])print(s1)#输出:0a#1b#2c#3d#dtype:object上面是传入一个列表实现,上面的0,1,2,3就是数据的默认标签。另外可以通过index属性自定义标签。s2=pd.Series(['1','2','3,','4'],index

系统 2019-09-27 17:50:09 1847

Python

python之模块和包

一Python模块简介1模块化一般来说,编程语言中,库,包,模块是同一种概念,是代码组织方式python中只有一种模块对象类型,但是为了模块化组织的便利,提供了一个概念:包模块(module):指的是python的源代码文件包(package):指的是模块组织在一起放入和包名同名的目录及相关文件可以将代码量较大的程序分割成多个有组织,彼此间独立但又能互相交互的代码片段,这些自我包含的有组织的代码段就是模块模块在物理形式上表现为以.py结尾的代码文件一个文件

系统 2019-09-27 17:49:43 1847

Python

python计算器系统项目展示

我用了简单工厂和建造者模式,与python的GUI配合实现了一个简单的计算器系统,下面是运行结果,之后会向大家讲解。类图如下:部分代码如下:builderModel.py建造者模式代码classProduct():"""复杂产品类该类用于存放并返回两个操作数Attributes:self.NumOne:第一个操作数self.NumTwo:第二个操作数"""def__init__(self,NumOne,NumTwo):self.__NumOne=NumOn

系统 2019-09-27 17:49:07 1847

Python

Python 使用USB Camera录制MP4视频

#!/usr/bin/envpythonimportcv2importsysimporttimeimportnumpyasnpimporttimeif__name__=="__main__":print(cv2.__version__)print(np.__version__)'''4.1.01.16.3'''#//@打开摄像头/dev/video0cap_1=cv2.VideoCapture(0)#cap_1.set(3,640)#cap_1.set(4

系统 2019-09-27 17:48:54 1847

Python

Python 的 with 语句详解

一、简介with是从Python2.5引入的一个新的语法,更准确的说,是一种上下文的管理协议,用于简化try…except…finally的处理流程。with通过__enter__方法初始化,然后在__exit__中做善后以及处理异常。对于一些需要预先设置,事后要清理的一些任务,with提供了一种非常方便的表达。with的基本语法如下,EXPR是一个任意表达式,VAR是一个单一的变量(可以是tuple),”asVAR”是可选的。复制代码代码如下:withE

系统 2019-09-27 17:48:25 1847

Python

基于Python __dict__与dir()的区别详解

Python下一切皆对象,每个对象都有多个属性(attribute),Python对属性有一套统一的管理方案。__dict__与dir()的区别:dir()是一个函数,返回的是list;__dict__是一个字典,键为属性名,值为属性值;dir()用来寻找一个对象的所有属性,包括__dict__中的属性,__dict__是dir()的子集;并不是所有对象都拥有__dict__属性。许多内建类型就没有__dict__属性,如list,此时就需要用dir()来

系统 2019-09-27 17:48:14 1847

Python

python数据结构和GIL及多进程

一数据结构和GIL1queue标准库queue模块,提供FIFO的queue、LIFO的队列,优先队列Queue类是线程安全的,适用于多线程间安全的交换数据,内部使用了Lock和Condition为什么说容器的大小不准确,其原因是如果不加锁,是不可能获取到准确的大小的,因为你刚读取了一个大小,还没取走,有可能被就被其他线程修改了,queue类的size虽然加了锁,但是依然不能保证立即get,put就能成功,因为读取大小和get,put方法是分来的。2GIL

系统 2019-09-27 17:48:10 1847

Python

python 客服端 服务端多线程通信

1.服务端主程序:#encoding:utf-8importthreadingfromprocedure.socket_serverimportThreadingHttpServer,MainHandlerfromprocedure.processimportmq_respond_procedurefromloggerimportlog,logwffromconfimport(HOST,PORT,MQ_A_RECV_1,MQ_A_RECV_2,MQ_A_R

系统 2019-09-27 17:47:49 1847

Python

手动实现把python项目发布为exe可执行程序过程分享

1.手动制作python的exe可执行程序Python没有内建一个编译为exe的功能。给python程序的部署带来不少的麻烦。所以就会出现一些py2exe之类的很不错的工具,用于自动把.py文件编译为.exe文件。最近抽空研究了一下手动实现类似py2exe的功能,希望加强对python的了解。结果还相当不错。把结果记录下来,与大家共享。1.1.原理文中所描述的方法,基于python的以下几个功能1)python程序运行时,会在sys.path指定的路径中查

系统 2019-09-27 17:47:34 1847