Python - 军军小站|张军博客
Python

python实现爬虫统计学校BBS男女比例之多线程爬虫(二)

接着第一篇继续学习。一、数据分类正确数据:id、性别、活动时间三者都有放在这个文件里file1='ruisi\\correct%s-%s.txt'%(startNum,endNum)数据格式为293001男2015-5-119:17没有时间:有id、有性别,无活动时间放这个文件里file2='ruisi\\errTime%s-%s.txt'%(startNum,endNum)数据格式为2566女notime用户不存在:该id没有对应的用户放这个文件里fil

系统 2019-09-27 17:38:34 2098

Python

Python合并字符串的3种方法

目的将一些小的字符串合并成一个大字符串,更多考虑的是性能方法常见的方法有以下几种:1.使用+=操作符复制代码代码如下:BigString=small1+small2+small3+...+smalln例如有一个片段pieces=['Today','is','really','a','good','day'],我们希望把它联起来复制代码代码如下:BigString=''foreinpieces:BigString+=e+''或者用复制代码代码如下:impor

系统 2019-09-27 17:38:00 2098

Python

python股票市场数据探索指北

前言虽然同花顺之类的金融理财应用的数据足够好了,但还是有自己定制的冲动,数据自然不会不会比前者好很多,但是按照自己的想法来定制还是不错的。目标通过免费的数据接口获取数据,每日增量更新标的历史交易数据,然后通过Kibana做可视化及数据分析.其实自己通过echarts之类的可视化框架做可视化也是个不错的选择,不过前期成本太大。还有就是pandas+matplotlib已经足以应付大部分需求了,可是交互感太弱,所以借助一个可视化应用是很有必要的,这里选择的是k

系统 2019-09-27 17:55:43 2097

Python

Python 私有属性和名字重整、魔法属性和方法、上下文管理器

修改、查看私有属性、名字重整如下,Test类定义一个私有属性__name实例化一个对象a,无法调用该属性,打印a.__dict__(可以检查一个对象的所有属性)查看,发现__name存在并且名字变为_Test__name(无法调用的原因,名字被改变)改变规则:私有属性前添加类名,再在类名前添加一个下划线(名字重整)我们验证一下,打印修改后的属性,如下这里有个疑问,既然无法直接打印,那我们为什么可以直接修改?修改测试一下,打印输出,此时__name并不是私有

系统 2019-09-27 17:53:05 2097

Python

python3 selenium自动化 下拉框定位的例子

我们在做webUI自动化时,经常会碰到下拉框,如下图:所上图,下拉框的源代码如下:苹果香蕉菠萝梨子假如我们要选择‘菠萝',我们将怎么实现呢?首先我们要定位水果框,再定位水果下面的元素,如下图所示:具体代码如下:fromseleniumimportwebdriverfromselenium.webdriver.support.selectimportSelect#首先必须要导入select包才能定位fromtimeimportsleepdr=webdrive

系统 2019-09-27 17:49:20 2097

Python

Python EOL while scanning string

项目中有个定时任务,每天取到一些表数据传到一个外部接口,但是最近总是有异常,今天查了下原因。首先本地和测试环境测试这个程序都没问题,只有线上环境会在日志中抛出异常,猜测异常主要产生的原因是数据的异常。但是哪些数据有异常,由不得而知,于是增加了程序的输出日志和数据打印,通过几次的运行定位了发生错误的函数和数据记录。异常是这样的:复制代码代码如下:EOLwhilescanningstringliteral:,line1,pos7google一下,这个异常造成的

系统 2019-09-27 17:48:33 2097

Python

解决python输出字典,列表含中文乱码问题

解决python输出字典,列表含中文乱码问题一、定义字典和列表并直接输出,结果输出结果中文是乱码展示d={'name':'lily','age':18,'sex':'女','no':1121}e=['你好',1,'apple']printdprinte输出结果:{'age':18,'no':1121,'name':'lily','sex':'\xe5\xa5\xb3'}['\xe4\xbd\xa0\xe5\xa5\xbd',1,'apple']二、解决办法

系统 2019-09-27 17:48:05 2097

Python

python文字和unicode/ascll相互转换函数及简单加密解密实现代码

这篇文章主要介绍了python文字和unicode/ascll相互转换函数及简单加密解密实现代码,下面我们来了解一下。importreimportrandom#ord()它以一个字符(长度为1的字符串)作为参数,返回对应的ASCII数值,或者Unicode数值#chr()是见数字变成汉字#函数功能:将输入的字符串加密#加密方式,将字变成Unicode数值,然后加上一个随机数,然后再变成汉字,再在汉字后面加上这个数字,组成加密后的密文#返回值:加密后的密文#

系统 2019-09-27 17:46:13 2097

Python

跟老齐学Python之��嗦的除法

除法��嗦的,不仅是python。整数除以整数看官请在启动idle之后,练习下面的运算:>>>2/50>>>2.0/50.4>>>2/5.00.4>>>2.0/5.00.4看到没有?麻烦出来了,如果从小学数学知识除法,以上四个运算结果都应该是0.4。但我们看到的后三个符合,第一个居然结果是0。why?因为,在python里面有一个规定,像2/5中的除法这样,是要取整。2除以5,商是0(整数),余数是2(整数)。那么如果用这种形式:2/5,计算结果就是商那个

系统 2019-09-27 17:45:24 2097

Python

python各种语言间时间的转化实现代码

一基本知识millisecond毫秒microsecond微秒nanosecond纳秒1秒=1000毫秒1毫秒=1000微秒1微秒=1000纳秒二perlperl中可以使用time或localtime来获得时间,time返回从1970年1月1日0点的秒数,localtime返回当前时间的字符串表示,或者年月日等得tuple表示。#!/usr/bin/perlusestrict;usewarnings;usePOSIXqw(strftime);#second

系统 2019-09-27 17:38:25 2097

Python

CentOS 6.x系统升级Python到2.7版本的Shell脚本分享

在CentOS6.x上,默认自带的Python是2.6.x版本,这个版本的Python有点老了,比如“collections.OrderedDict”就是2.7才有的,而且著名的PythonWeb框架Django的新版(如:1.7)就不支持Python2.6,最低要求是2.7了。而一些公司或者共有云上的服务器就是使用CentOS6.x,所以也就有了升级Python到2.7的需求。升级Python之前,需要先安装一些工具和软件库,否则后面安装Python或p

系统 2019-09-27 17:38:01 2097

Python

Python单元测试框架—Unittest

介绍unittest原名为PyUnit,是由Java的JUnit衍生而来.它支持自动化测试,在测试中使用setup(初始化)和shutdown(关闭销毁)操作,组织测试用例为套件(批量运行),以及把测试和报告独立开来。为了实现这些,unittest以一种面向对象的方式产生了一些很重要的概念:testfixture:fixture表示tests运行前需要做的准备工作以及结束后的清理工作。比如,创建临时/代理数据库、目录或启动一个服务器进程。testcase:

系统 2019-09-27 17:57:11 2096

Python

你不能不知道的八种 Python 图像库的图片读取方法总结

目录一、前言二、opencv——cv2.imread三、PIL——PIL.Image.open四、matplotlib——matplotlib.image.imread五、scipy.misc——scipy.misc.imread六、skimage——skimage.io.imread七、Tensorflow——tf.image.decode八、总结#、参考文章一、前言在研究深度学习计算机视觉的时候,经常需要进行图像读取,但是各种第三方库的方法又不一样,用

系统 2019-09-27 17:56:56 2096

Python

python 操作CDH的HDFS

环境:安装了pyenv,pippyenvglobal3.6.8pipinstallhdfspipinstallipython(个人喜欢使用pyenv的自动补全功能)安装完hdfs后建议重启,测试过程出现了hdfs模块找不到的情况注意:客户端分为Client和InsecureClient,Client需要验证权限In[1]:fromhdfsimportInsecureClientIn[2]:client_hdfs=InsecureClient('http:/

系统 2019-09-27 17:55:35 2096

Python

Python获取对象信息

1、使用type()type()函数:判断对象类型基本类型的判断:>>>type(123)>>>>>type('str')>>>>>type(None)>用type()判断一个变量指向函数或者类:>>>type(abs)#函数>>>type(a)#类比较变量的type类型Python的types模块里为定义好常量的type类型,在使用之前需要先导入>>>importtypes>>>type('abc')==types.StringTypeTrue>>>ty

系统 2019-09-27 17:55:18 2096