我们直接用Requests、Selenium等库写爬虫,如果爬取量不是太大,速度要求不高,是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的,如果我们把这些组件抽离出来,将各个功能模块化,就慢慢会形成一个框架雏形,久而久之,爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现,只需要去关心爬取逻辑即可。有了它们,可以大大简化代码量,而且架构也会变得清晰,爬取效率也会高许多。所以如果对爬虫有一定基础,上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2173
Python字符串转数字importbinasciis='test123456test'str_16=binascii.b2a_hex(s.encode('utf-8'))#字符串转16进制print(str_16)defbaseN(num,b):return((num==0)and"0")or\(baseN(num//b,b).lstrip("0")+"0123456789abcdefghijklmnopqrstuvwxyz"[num%b])num_10
系统 2019-09-27 17:52:40 2173
使用socket实现tcp通信,需导入socket模块1、服务端主要步骤:(1)创建socket:socket.socket(family=AF_INET,type=SOCK_STREAM,proto=0,fileno=None)family:AF_INET,AF_INET6,AF_UNIX,AF_CAN,AF_PACKET,AF_RDStype:SOCK_STREAM,SOCK_DGRAM,SOCK_RAW,或者其他SOCK_*proto:一般使用默认值
系统 2019-09-27 17:48:40 2173
Python简介Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。Python是一种解释型语言:这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。Python是交互式语言:这意味着,您可以在一个Python提示符,直接互动执行写你的程序。Python是面向对象语言:这意味着Python支持面
系统 2019-09-27 17:47:39 2173
简介本文主要介绍python数组循环语法。主要方式有元素遍历,索引遍历,enumerate,zip,list内部等。普通循环list1=['item1','item2','item3']foriteminlist1:print(item)//结果item1item2item3根据index循环1list1=['item1','item2','item3']index=0foriteminlist1:print('index:'+str(index)+',v
系统 2019-09-27 17:47:33 2173
Python最基本的数据结构是序列(列表/元组)。一个序列中的每个元素都分配有一个数字-它的位置或索引。第一个索引是0,第二个索引是1,依此类推。Python有6内置类型的序列,但最常见的是列表和元组,我们将在本教程中看到。有一些东西可以使用所有序列类型来做。这些操作包括索引,切片,加,乘,并检查成员。此外,Python已经内置函数查找序列的长度和搜索它的最大和最小的元素。Python列表:列表是最通用的数据类型,在Python可以写成逗号分隔值方括号(项
系统 2019-09-27 17:47:00 2173
方法abs()返回x的绝对值,-x-零之间的(正极)的距离。语法以下是abs()方法的语法:abs(x)参数x--这是一个数值表达式返回值此方法返回x的绝对值。例子下面的例子显示abs()方法的使用。#!/usr/bin/pythonprint"abs(-45):",abs(-45)print"abs(100.12):",abs(100.12)print"abs(119L):",abs(119L)当我们运行上面的程序,它会产生以下结果:abs(-45):4
系统 2019-09-27 17:46:57 2173
virtualenv简介含义:virtual:虚拟,env:environment环境的简写,所以virtualenv就是虚拟环境,顾名思义,就是虚拟出来的一个新环境,比如我们使用的虚拟机、docker,它们都是把一部分的内容独立出来,这部分独立的内容相当于一个容器,在这个容器只呢个,我们可以“为所欲为”----安装需要的依赖包,软件..,同时这个容器是与外界相互独立的,容器与容器直接也是互相独立不影响。为何要用虚拟环境:【前提概要】Django也是一个非
系统 2019-09-27 17:46:40 2173
Heroku是一个很棒的平台,它有很多的控件,并且搭建环境相对来说也比较容易。本指南中,我将一步一步指导你在Heroku平台上部署一个简单地Django应用搭建开发环境Heroku工具链假设你已经在Heroku平台上注册了一个帐户,并且在里面创建了一款应用,为了一会儿通过CLI与Heroku交互,你需要安装Heroku工具链。在这篇指南中,我们用"Sample-Project"作为应用的名字。Git仓库在部署你的应用到Heroku之前,你需要先将你的代码签
系统 2019-09-27 17:38:25 2173
如何使用struts2拦截器,或者自定义拦截器。特别注意,在使用拦截器的时候,在Action里面必须最后一定要引用struts2自带的拦截器缺省堆栈defaultStack,如下(这里我是引用了struts2自带的checkbox拦截器):0
系统 2019-08-29 23:47:04 2173