编程技术 - 军军小站|张军博客
Python

python打造爬虫代理池过程解析

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文

系统 2019-09-27 17:56:04 1868

Python

如何安装并使用conda指令管理python环境

一、动机最近打算折腾vn.py,但只有py27版本的,因为一向习惯使用最新稳定版的,所以不得不装py27的环境,不得不说Python的全局锁真的很烦。身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个,不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不

系统 2019-09-27 17:55:36 1868

Python

Python assert语句的简单使用示例

写在前面最近每日一更,我这菜鸡都有点儿不好意思了简单介绍简单用法是:assertexpression让我们用程序来测试这个expression,如果expression相当于False,那么raise一个AssertionError出来。即逻辑上等同于:ifnotexpression:raiseAssertionError简单看看这些例子:>>>assertTrue>>>assertFalseTraceback(mostrecentcalllast):Fi

系统 2019-09-27 17:55:25 1868

Python

google earth engine python版安装问题

1.urllib.error.URLError:解决办法:退出网页上的谷歌账号,然后在命令行中进行认证。2.安装pyCrypto出现error:MicrosoftVisualC++14.0isrequired.安装pycryptodome来代替pyCrypto

系统 2019-09-27 17:55:09 1868

Python

使用Python画股票的K线图的方法步骤

导言本文简单介绍了如何从网易财经获取某支股票的价格数据,并根据价格数据画出相应的日K线图。有助于新手了解并使用Python的相关功能。包括列表、自定义函数、for循环、if函数以及如何使用matplotlib进行作图等内容。第一步:从网易财经获取股票的价格数据我一般是在网易财经查看某支股票的价格和成交数据,网易财经可以查到任意沪深的股票,我们使用招商银行的数据作为参考。1、构建爬虫获取股票价格数据这里不对Python做介绍了,如果需要了解什么是Python

系统 2019-09-27 17:54:13 1868

Python

用Python写一个自动木马程序

电脑作为大家日常办公的工具,最怕的一件事情之一就是被偷,当我们的电脑被盗的时候,不仅仅是电脑本身,更重要的是电脑存储的资料都会丢失。如何尽快的找回电脑需要我们想点办法,今天就教大家一个好的技巧,虽说不能百分之百的好用,但是也能够发挥一定的效果。小编本次是基于Linux下的展示,之所以基于Linux,是因为需要电脑在启动的时候,需要自动启动程序,做到出其不意,原因我会在最后给出。程序是这样的,程序执行会首先调用笔记本的摄像头,拍摄笔记本面前的照片,然后,会给

系统 2019-09-27 17:54:03 1868

Python

Python Pandas数据中对时间的操作

Pandas中对时间这个属性的处理有非常非常多的操作。而本文对其中一个大家可能比较陌生的方法进行讲解。其他的我会陆续上传。应用情景是这样的:考虑到有一个数据集,数据集中有用户注册账号的时间(年-月-日),如下图格式。如果我们希望对用户账号注册时间转为具体的天数,我们可以用如下代码。importpandasaspdtd=data['user_reg_tm']Time=pd.to_datetime(td)Start=pd.datetime(2016,4,16)

系统 2019-09-27 17:53:59 1868

Python

(Python)

题目描述Giventherootnodeofabinarysearchtree,returnthesumofvaluesofallnodeswithvaluebetweenLandR(inclusive).Thebinarysearchtreeisguaranteedtohaveuniquevalues.Example1:Input:root=[10,5,15,3,7,null,18],L=7,R=15Output:32Example2:Input:roo

系统 2019-09-27 17:53:43 1868

Python

019 Python与用户交互

目录Python3的控制台输入Python2的控制台输入大家知道一门语言或者说电子硬件设备都应该有输入和输出的部分python控制台输出使用的是print()。那么输入呢?Python3的控制台输入name=input("请输入你的姓名:")print(name)print(type(name))​输出信息:​请输入你的姓名:xucheng​name​age=input("请输入你的年龄:")print(age)print(type(age))​输出信息:

系统 2019-09-27 17:53:32 1868

Python

python爬取欧美美女图片---xpath方法

这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女!!!!fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi

系统 2019-09-27 17:53:14 1868

Python

详解Python核心编程中的浅拷贝与深拷贝

一、问题引出浅拷贝首先看下面代码的执行情况:a=[1,2,3]print('a=%s'%a)#a=[1,2,3]b=aprint('b=%s'%b)#b=[1,2,3]a.append(4)#对a进行修改print('a=%s'%a)#a=[1,2,3,4]print('b=%s'%b)#b=[1,2,3,4]b.append(5)#对b进行修改print('a=%s'%a)#a=[1,2,3,4,5]print('b=%s'%b)#b=[1,2,3,4,

系统 2019-09-27 17:52:42 1868

Python

Python中使用socket发送HTTP请求数据接收不完整问题解决方法

由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定User-Agent,Referer等,所以选择了直接用socket进行设计。当然,这样的话,需要对HTTP协议比较熟悉,HTTP协议这里就不做讲解了。整个python的代码如下:#!/usr/binenvpythonimportsockethost="www.baidu.com"se=socket.so

系统 2019-09-27 17:52:30 1868

Python

python实现列表的排序方法分享

这次代码主要是实现列表的排序,使用sort函数实现,sort函数是对列表中的元素按照特定顺序进行排序,默认reverse,为false,从小到大排序,如果指定reverse=True,从大到小。语法格式:l.sort(),希望对你们有所帮助第一步:先打开我们的pycharm软件,然后新建一个python文件。“file”,“new”,“pythonfile”第二步:新建好我们的python文件之后,在我们的编辑页面输入以下代码:l=[2,1,4,3]l.s

系统 2019-09-27 17:51:56 1868

Python

ubuntu16.04中python版本切换(xy)

完全转自https://blog.csdn.net/beijiu5854/article/details/77897767,但是经过自己的测试。转载自http://blog.csdn.net/u013894834/article/details/75305752Ubuntu16.04下完美切换Python版本(亲测)对于ubuntu16.04,由于本身是自带python,这样就减少了在windows下的下载和环境变量配置,非常不错。但是他本身是自带两个版本

系统 2019-09-27 17:51:41 1868

Python

python协程详解

目录python协程详解一、什么是协程二、了解协程的过程1、yield工作原理2、预激协程的装饰器3、终止协程和异常处理4、让协程返回值5、yieldfrom的使用6、yieldfrom的意义三、greenlet的使用四、gevent的使用python协程详解一、什么是协程协程又称为微线程,协程是一种用户态的轻量级线程协程拥有自己的寄存器和栈。协程调度切换的时候,将寄存器上下文和栈都保存到其他地方,在切换回来的时候,恢复到先前保存的寄存器上下文和栈,因此:

系统 2019-09-27 17:51:34 1868