爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找
系统 2019-09-27 17:51:06 2153
函数:split()Python中有split()和os.path.split()两个函数,具体作用如下:split():拆分字符串。通过指定分隔符对字符串进行切片,并返回分割后的字符串列表(list)os.path.split():按照路径将文件名和路径分割开一、函数说明1、split()函数语法:str.split(str="",num=string.count(str))[n]参数说明:str:表示为分隔符,默认为空格,但是不能为空('')。若字符串
系统 2019-09-27 17:50:50 2153
引言前段时间,微信朋友圈开始出现了一种晒照片新形式,微信好友墙,即在一张大图片中展示出自己的所有微信好友的头像。效果如下图,出于隐私考虑,这里作了模糊处理。是不是很炫,而且这还是独一无二的,毕竟每个人的微信好友是不一样的。本文就教大家用Python来实现这种效果。环境操作系统:WindowsPython版本:3.7.3代码实现我们需要首先需要获取好友的头像信息,接下来处理图像并完成图像的拼接。准备工作在这里,我们登录微信获取好友信息,使用的是wxpy模块;
系统 2019-09-27 17:50:08 2153
一.概述首先需要先介绍一下无监督学习,所谓无监督学习,就是训练样本中的标记信息是位置的,目标是通过对无标记训练样本的学习来揭示数据的内在性质以及规律。通俗得说,就是根据数据的一些内在性质,找出其内在的规律。而这一类算法,应用最为广泛的就是“聚类”。聚类算法可以对数据进行数据归约,即在尽可能保证数据完整的前提下,减少数据的量级,以便后续处理。也可以对聚类数据结果直接应用或分析。而Kmeans算法可以说是聚类算法里面较为基础的一种算法。二.从样例开始我们现在在
系统 2019-09-27 17:50:00 2153
3.插入排序(简单插入排序)3.1算法思想如果有一个已经有序的数据序列,要求在这个已经排好的数据序列中插入一个数,但要求插入后此数据序列仍然有序,这个时候就要用到一种新的排序方法——插入排序法,插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中,从而得到一个新的、长度增加1的有序数据。插入排序的基本思想是:每步将一个待排序的记录,按其关键码值的大小插入前面已经排序的文件中适当位置上,直到全部插入完为止。同样,这个算法不需要额外的存储空间,空间复杂
系统 2019-09-27 17:49:40 2153
在Java中打印当前线程的方法栈,可以用kill-3命令向JVM发送一个OS信号,JVM捕捉以后会自动dump出来;当然,也可以直接使用jstack工具完成,这些方法好几年前我在这篇性能分析的文章中介绍过。这样的需求可以说很常见,比如定位死锁,定位一个不工作的线程到底卡在哪里,或者定位为什么CPU居高不下等等问题。现在工作中我用的是Python,需要线上问题定位的缘故,也有了类似的需求――想要知道当前的Python进程“在干什么”。但是没有了JVM的加持,
系统 2019-09-27 17:46:00 2153
目录一、异常TODO二、深浅拷贝2.1拷贝2.2浅拷贝2.3深拷贝三、数据类型内置方法3.1数字类型内置方法3.1.1整型3.1.2浮点型3.2字符串类型内置方法3.3列表类型内置方法3.4元祖类型内置方法3.5字典类型内置方法3.6集合类型内置方法3.7布尔类型四、数据类型分类4.1按值个数4.2按有序无序4.3按可变不可变一、异常TODO万能捕捉异常公式try:#逻辑代码1/0exceptExceptionase:print(e)divisionbyz
系统 2019-09-27 17:45:32 2153
问题:用Python处理一个多层嵌套list['and','B',['not','A'],[1,2,1,[2,1],[1,1,[2,2,1]]],['not','A','A'],['or','A','B','A'],'B']需求1)如何展开成一层?需求2)如何删除重复的元素?包括重复的list,要考虑子list的重复元素删除后造成的子list重复#!/usr/bin/envpython#-*-coding:utf-8-*-defunilist(ll):""
系统 2019-09-27 17:38:25 2153
1去重2满足一定条件的筛选
系统 2019-08-29 23:52:28 2153
最近A股大盘出现了一个小变化,那就是下午2点的时间窗有点前移,盘中短线抛盘开始在13点35分出现。从盘面看,今天的调整比较温和,除了智能概念外,其他股票涨停的品种不是很多,说明市场资金开始保守。从下图看,大盘的调整应该做主动性调整理解。第一:从技术面看,股指逐步接近下图的黄色阻力线,它可以理解为一个新的上升趋势的雏形;在不跌破下轨的时候,可以理解为箱体的震荡。第二:热点轮换速度不能太快。最近一个时期,主力做多的线路是新能源、泛消费、生物医药,伴随着迪斯尼等
系统 2019-08-29 23:45:07 2153