- 军军小站|张军博客
搜索到与相关的文章
Python

Python代理IP爬虫的使用

Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化,爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段,添加headers和ip代理可以解决很多问题。本人自己在爬取豆瓣读书的时候,就以为爬取次数过多,直接被封了IP.后来就研究了代理IP的问题.(当时不知道什么情况,差点心态就崩了…),下面给大家介绍一下我自己代理IP爬取数据的问题,请大家指出不足之处.问题这是我的IP被封了,一开始好好的,我还以为是我的代码问题了

系统 2019-09-27 17:56:11 1922

Python

Python:为什么必须在方法定义和调用中明确使用'self'?

面向对象的语言有对象。对象是状态和行为的组合。对象需要访问自己的状态。这样做基本上有两个主要选择。要么你明确地说你何时访问一个对象的状态(通过self,this或者其他类似的东西),或者语言会为你找出。让我先讨论后一种情况。存在名称冲突的问题。例如,如果对象的数据成员与方法参数的名称匹配,或者如果声明与数据成员的名称匹配的局部变量,会发生什么。您要么不允许这种情况,要么具有某种解决机制。Smalltalk是一个像这样工作的语言的例子,但我不记得语言是如何处

系统 2019-09-27 17:55:44 1922

Python

python和shell实现的校验IP地址合法性脚本分享

一、python校验IP地址合法性执行效果:python代码:复制代码代码如下:[root@yangpython]#vicheck_ip.py#!/usr/bin/pythonimportos,sysdefcheck_ip(ipaddr):importsysaddr=ipaddr.strip().split('.')#切割IP地址为一个列表#printaddriflen(addr)!=4:#切割后列表必须有4个参数print"checkipaddressf

系统 2019-09-27 17:55:01 1922

Python

Python3之数据指纹MD5校验与对比

MD5消息摘要算法(英语:MD5Message-DigestAlgorithm),一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hashvalue),用于确保信息传输完整一致。MD5由美国密码学家罗纳德·李维斯特(RonaldLinnRivest)设计,于1992年公开,用以取代MD4算法。概述MD5校验码通过散列函数计算而成,可以生成任何数据的数据“指纹”,即我们可以利用MD5将消息或者数据压缩成摘要,是的数据量变小,便于比较

系统 2019-09-27 17:54:19 1922

Python

Python 缓存机制与 functools.lru_cache

原文链接:https://kuanghy.github.io/2016/04/20/python-cache缓存是一种将定量数据加以保存以备迎合后续请求的处理方式,旨在加快数据的检索速度。在Python的3.2版本中,引入了一个非常优雅的缓存机器,即functool模块中的lru_cache装饰器。lru_cache原型如下:@functools.lru_cache(maxsize=None,typed=False)使用functools模块的lur_ca

系统 2019-09-27 17:53:45 1922

Python

python pip源配置,pip配置文件存放位置的方法

pip源配置文件可以放置的位置:Linux/Unix:/etc/pip.con~/.pip/pip.conf(每一个我都找了都没有,所以我是在这个文件夹中创建的pip.conf文件)~/.config/pip/pip.confMacOSX:~/Library/ApplicationSupport/pip/pip.conf~/.pip/pip.conf/Library/ApplicationSupport/pip/pip.confWindows:%APPDA

系统 2019-09-27 17:53:45 1922

Python

Python 使用 attrs 和 cattrs 实现面向对象编程的实践

Python是支持面向对象的,很多情况下使用面向对象编程会使得代码更加容易扩展,并且可维护性更高,但是如果你写的多了或者某一对象非常复杂了,其中的一些写法会相当相当繁琐,而且我们会经常碰到对象和JSON序列化及反序列化的问题,原生的Python转起来还是很费劲的。可能这么说大家会觉得有点抽象,那么这里举几个例子来感受一下。首先让我们定义一个对象吧,比如颜色。我们常用RGB三个原色来表示颜色,R、G、B分别代表红、绿、蓝三个颜色的数值,范围是0-255,也就

系统 2019-09-27 17:53:07 1922

Python

Python 函數 Function

函數最初被設計出來,是用來減輕重複coding一段相同的代碼,這之間只有代碼(方法,Method)的重用,但還沒有物件導向OO整個Object的屬性與方法被封裝重用的概念。函數的定義很簡單,使用def這保留字,而其宣告方式如下:def函數名(參數名):例如:>>>defprint_count():#函數宣告...print('Good')...print('Morning')...print('Mr.')...>>>print_count()#函數調用Go

系统 2019-09-27 17:52:34 1922

Python

python腾讯语音合成实现过程解析

一、腾讯语音合成介绍腾讯云语音合成技术(TTS)可以将任意文本转化为语音,实现让机器和应用张口说话。腾讯TTS技术可以应用到很多场景,比如,移动APP语音播报新闻;智能设备语音提醒;依靠网上现有节目或少量录音,快速合成明星语音,降低邀约成本;支持车载导航语音合成的个性化语音播报。(废话一大堆)。。。二、腾讯语音合成pythonSDK文档安装PythonSDK前,先获取安全凭证。在第一次使用云API之前,用户首先需要在腾讯云控制台上申请安全凭证,安全凭证包括

系统 2019-09-27 17:52:28 1922

Python

Python 之父再发文:构建一个 PEG 解析器

Python之父再发文:构建一个PEG解析器image花下猫语:Python之父在Medium上开了博客,现在写了两篇文章,本文是第二篇的译文。前一篇的译文在此,宣布了将要用PEG解析器来替换当前的pgen解析器。本文主要介绍了构建一个PEG解析器的大体思路,并介绍了一些基本的语法规则。根据Python之父的描述,这个PEG解析器还是一个很笼统的实验品,而他也预告了,将会在以后的系列文章中丰富这个解析器。阅读这篇文章就像在读一篇教程,虽然很难看懂,但是感觉

系统 2019-09-27 17:51:21 1922