Python - 军军小站|张军博客
Python

python爬虫第7关项目爬取知乎大v的文章

总体上来说,从Response对象开始,我们就分成了两条路径,一条路径是数据放在HTML里,所以我们用BeautifulSoup库去解析数据和提取数据;另一条,数据作为Json存储起来,所以我们用response.json()方法去解析,然后提取、存储数据。爬取知乎大v张佳玮的文章“标题”、“摘要”、“链接”,并存储到本地文件。张佳玮的知乎文章URL在这里:https://www.zhihu.com/people/zhang-jia-wei/posts?p

系统 2019-09-27 17:53:32 2379

Python

python自动化UI工具发送QQ消息的实例

概述个人遇到过小的需求,windows自动水群发送垃圾消息,使用一些特别简单易上手的小工具,快速实现功能需求(而不是使用一些重量级的还需要额外花时间去熟悉功能语法的大工具,如UI自动化工具sikulix)。在一番摸索下,得出一番结论:对于多平台的UI自动复杂操作,还是去学sikulix吧,这不是啃一点win32api获取窗口句柄就能轻松解决的,毕竟sikulix是MIT大佬折腾出来的。而且,原理也更复杂(通过使用opencv对窗体控件进行识别,进而实现控制

系统 2019-09-27 17:46:41 2379

Python

python利用beautifulSoup实现爬虫

以前讲过利用phantomjs做爬虫抓网页//www.jb51.net/article/55789.htm是配合选择器做的利用beautifulSoup(文档:http://www.crummy.com/software/BeautifulSoup/bs4/doc/)这个python模块,可以很轻松的抓取网页内容#coding=utf-8importurllibfrombs4importBeautifulSoupurl='http://www.baidu.

系统 2019-09-27 17:56:00 2378

Python

Python实现 PS 图像调整中的亮度调整

本文用Python实现PS图像调整中的亮度调整,具体的算法原理和效果可以参考之前的博客:https://www.jb51.net/article/164191.htmimportmatplotlib.pyplotaspltfromskimageimportiofile_name='D:/ImageProcessing/PSAlgorithm/4.jpg';img=io.imread(file_name)Increment=-10.0img=img*1.0I

系统 2019-09-27 17:48:55 2378

Python

Python+selenium点击网页上指定坐标的实例

例如有些页面元素很难获取,但是位置很固定,那么可以直接用坐标来进行操作例如要对页面上的(x:200,y:100)进行操作,可以用如下代码:fromseleniumimportwebdriverfromselenium.webdriver.common.action_chainsimportActionChainsdr=webdriver.Chrome()dr.get('http://www.baidu.com')ActionChains(dr).move_

系统 2019-09-27 17:47:37 2378

Python

python导入pandas具体步骤方法

Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面板数据(paneldata)和python数据分析(dataanalysis)。paneldata是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。数据结构:Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近,其区别是:List中的元素可以是不

系统 2019-09-27 17:38:11 2378

Python

Python Pandas实现数据分组求平均值并填充nan的示例

Python实现按某一列关键字分组,并计算各列的平均值,并用该值填充该分类该列的nan值。DataFrame数据格式fillna方式实现groupby方式实现DataFrame数据格式以下是数据存储形式:fillna方式实现1、按照industryName1列,筛选出业绩2、筛选出相同行业的Series3、计算平均值mean,采用fillna函数填充4、append到新DataFrame中5、循环遍历行业名称,完成2,3,4步骤factordatafill

系统 2019-09-27 17:48:58 2377

Python

使用Python实现跳帧截取视频帧

本文实例为大家分享了Python跳帧截取视频帧的具体代码,供大家参考,具体内容如下可以自由设定时长来截取视频,经实测效果理想。期间遇到的一个麻烦是我的视频文件在D:盘,在原视频D盘目录上不能保存截取的图片文件,后改为在C:盘上保存,正常。具体原因不明,有网友知道原因所在,请告知。importcv2importosdefsave_img():video_path=r'读入视频路径'videos=os.listdir(video_path)forvideo_n

系统 2019-09-27 17:46:49 2377

Python

python实现观察者模式

python实现观察者模式前言有时,我们希望在一个对象的状态改变时更新另外一组对象。在MVC模式中有这样一个非常常见的例子,假设在两个视图(例如,一个饼图和一个电子表格)中使用同一个模型的数据,无论何时更改了模型,都需要更新两个视图。这就是观察者设计模式要处理的问题(请参考[Eckel08,第213页])。观察者模式描述单个对象(发布者,又称为主持者或可观察者)与一个或多个对象(订阅者,又称为观察者)之间的发布—订阅关系。在MVC例子中,发布者是模型,订阅

系统 2019-09-27 17:57:53 2376

Python

22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆

【百度云搜索,搜各种资料:http://www.bdyss.cn】【搜网盘,搜各种资料:http://www.swpan.cn】第一步。首先下载,大神者也的倒立文字验证码识别程序下载地址:https://github.com/muchrooms/...注意:此程序依赖以下模块包Keras==2.0.1Pillow==3.4.2jupyter==1.0.0matplotlib==1.5.3numpy==1.12.1scikit-learn==0.18.1te

系统 2019-09-27 17:55:13 2375

Python

简单的Python的curses库使用教程

curses库(ncurses)提供了控制字符屏幕的独立于终端的方法。curses是大多数类似于UNIX的系统(包括Linux)的标准部分,而且它已经移植到Windows和其它系统。curses程序将在纯文本系统上、xterm和其它窗口化控制台会话中运行,这使这些应用程序具有良好的可移植性。介绍cursesPython的标准curses提供了“玻璃电传”(glassteletype)(在20世纪70年代,原始curses库刚创建时,它叫做CRT)的公共特性

系统 2019-09-27 17:50:15 2375

Python

Python turtle库绘制简单图形

一、简介Python中的turtle库是一个直观有趣的图形绘制函数库。turtle库绘制图形有一个基本框架:一个小海龟在坐标系中爬行,其爬行轨迹形成了绘制图形。二、简单的图形列举1.绘制4个不同半径的同切圆代码:importturtleturtle.pensize(4)turtle.circle(10)turtle.circle(40)turtle.circle(80)turtle.circle(120)turtle.done()结果:2.六角形的绘制,利

系统 2019-09-27 17:57:16 2374

Python

python爬取猫眼电影排名

python爬取猫眼电影排名本次爬虫主要使用requests库爬取和正则表达式re解析,下面进行简要分析1、项目流程1、获取猫眼电影排行榜一页的页面信息,通过requests.get获得2、使用正则表达式解析一个页面的页面信息,获得需要内容3、通过生成器爬取多个页面内容,输出4、将所得到内容存入字典中,输出5、将所得到信息存储到MongoDB数据库中2、项目结果成功爬取,存入mongodb数据库mongodb查询3、项目代码#!/usr/bin/envpy

系统 2019-09-27 17:49:14 2374

Python

Python多叉树的构造及取出节点数据(treelib)的方法

项目:基于Pymysql的专家随机抽取系统引入库函数:>>>importtreelib>>>fromtreelibimportTree,Node构造节点类:>>>classNodex(object):\def__init__(self,num):\self.num=num构造多叉树:(注意节点的第2个属性已标红,它是节点ID,为str类型,不能与其他节点重复,否则构建节点失败)>>>tree1=Tree()>>>tree1.create_node('Roo

系统 2019-09-27 17:47:34 2374

Python

python opencv对图像进行旋转且不裁剪图片的实现方法

最近在做深度学习时需要用到图像处理相关的操作,在度娘上找到的图片旋转方法千篇一律,旋转完成的图片都不是原始大小,很苦恼,于是google到歪果仁的网站扒拉了一个方法,亲测好用,再次嫌弃天下文章一大抄的现象,虽然我也是抄歪果仁的。废话不多说了,直接贴代码了。defrotate_bound(image,angle):#grabthedimensionsoftheimageandthendeterminethe#center(h,w)=image.shape[:

系统 2019-09-27 17:56:27 2373