对于一些简单的爬虫,python(基于python3)有更好的第三方库来实现它,且容易上手。Python标准库–logging模块logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debugre模块正则表达式sys模块系统相关模块sys.argv(返回一个列表,包含所有的命令行)sys.exit(退出程序)Python标准库–urllib模块urllib.requset.urlioen可以打开HT
系统 2019-09-27 17:56:28 1849
我的需求很简单,就是统计一下我的安装脚本执行的次数和时间,格式是这样的install_times:1|install_times:2018-09-0315:58:46install_times:2|install_times:2018-09-0315:58:50install_times:3|install_times:2018-09-0315:58:54首先我需要判断一下文件是否为空,我开始是这样写的importtimeimportosfile_list
系统 2019-09-27 17:56:10 1849
Python生成器是什么?先说一下生成器函数,抽象地说,生成器函数就是一个顺序执行过程的抽象。具体地说,它就是一种特殊的函数,这种特殊性源于这个函数中出现了一个yield关键字。解释器在发现函数中有yield关键字时,将这个函数标记为一个生成器函数,其执行的结果会返回一个生成器,而这个生成器是支持迭代器协议的。创建一个生成器函数生成器函数的创建是非常简单的:In[1]:defmygenerator():...:yield1...:正如前面提到的,如果一个函
系统 2019-09-27 17:55:34 1849
看看这个logo,有些像python的小蛇吧。这次介绍的数据库codernityDB是纯python开发的。先前用了下tinyDB这个本地数据库,也在一个api服务中用了下,一开始觉得速度有些不给力,结果一看实现的方式,真是太鸟了,居然就是json的存储,连个二进制压缩都没有。这里介绍的CodernityDB也是纯开发的一个小数据库。CodernityDB是开源的,纯Python语言(没有第三方依赖),快速,多平台的NoSQL型数据库。它有可选项支持HTT
系统 2019-09-27 17:55:03 1849
简单的写了一个爬取www.seebug.org上poc的小玩意儿~首先我们进行一定的抓包分析我们遇到的第一个问题就是seebug需要登录才能进行下载,这个很好处理,只需要抓取返回值200的页面,将我们的headers信息复制下来就行了(这里我就不放上我的headers信息了,不过headers里需要修改和注意的内容会在下文讲清楚)headers={'Host':******,'Connection':'close','Accept':******,'Use
系统 2019-09-27 17:54:11 1849
环境:编辑工具:浏览器:有问题可以联系qq:1776376537安装xlrd安装DDT一分析1目录结构2导入包二代码importxlrdclassExcelUtil():def__init__(self,excelPath,sheetName="Sheet1"):self.data=xlrd.open_workbook(excelPath)self.table=self.data.sheet_by_name(sheetName)#获取第一行作为key值se
系统 2019-09-27 17:54:09 1849
例子:classFileTool:def__init__(self,filepath):self.filepath=filepathdefwrite_to_file(self,line):f=open(self.filepath,'a')f.write(line)f.close()defread_to_file(self):f=open(self.filepath,'r')lines=f.readlines()f.close()returnlines
系统 2019-09-27 17:53:57 1849
Python是支持面向对象的,很多情况下使用面向对象编程会使得代码更加容易扩展,并且可维护性更高,但是如果你写的多了或者某一对象非常复杂了,其中的一些写法会相当相当繁琐,而且我们会经常碰到对象和JSON序列化及反序列化的问题,原生的Python转起来还是很费劲的。可能这么说大家会觉得有点抽象,那么这里举几个例子来感受一下。首先让我们定义一个对象吧,比如颜色。我们常用RGB三个原色来表示颜色,R、G、B分别代表红、绿、蓝三个颜色的数值,范围是0-255,也就
系统 2019-09-27 17:53:07 1849
MongoDB:非关系型数据库文件管理阶段:优点:可以长期保存存储大量数据使用简单缺点:数据一致性差数据大的时候,查找修改不便随着时间增长,冗余度大数据库管理阶段:优点:降低冗余度提高增删改查效率易扩展方便调用和自动化处理缺点:上手相对复杂数据:能够输入到计算机中,并被识别处理的信息集合数据结构:计算机存储、组织数据的方式;数据库:按照一定数据结构存储管理数据的仓库。在数据库管理系统管理和控制下,在一定介质上的数据集合数据库管理系统:管理数据库的软件,用于
系统 2019-09-27 17:52:59 1849
若干个数组可以沿不同的轴合合并到一起,vstack,hstack的简单用法,>>>a=np.floor(10*np.random.random((2,2)))>>>aarray([[8.,8.],[0.,0.]])>>>b=np.floor(10*np.random.random((2,2)))>>>barray([[1.,8.],[0.,4.]])>>>np.vstack((a,b))array([[8.,8.],[0.,0.],[1.,8.],[0.,
系统 2019-09-27 17:52:40 1849