什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2265
函数的参数在定义Python函数时可定义形参，这些参数在调用时候才能确定具体的值，由函数的调用者负责为行参传入参数值函数的参数类型一、位置参数也叫必传参数，顺序参数，是最重要的，也是必须在调用函数时明确提供的参数！位置参数必须按先后顺序，一一对应，个数不多不少的传递！说明：a,b,c是函数add的行参，没有具体的值，只有在add(x,y,z)是才被传入值，a=x=1,b=y=2,c=z=3,其中x,y,z叫做实参，add(4,5,6,7),add(5,7)
系统 2019-09-27 17:50:17 2265
一、concurrent模块的介绍concurrent.futures模块提供了高度封装的异步调用接口ThreadPoolExecutor：线程池，提供异步调用ProcessPoolExecutor：进程池，提供异步调用ProcessPoolExecutor和ThreadPoolExecutor：两者都实现相同的接口，该接口由抽象Executor类定义。二、基本方法submit(fn,*args,**kwargs):异步提交任务map(func,*iter
系统 2019-09-27 17:49:19 2265
一、死锁简单来说，死锁是一个资源被多次调用，而多次调用方都未能释放该资源就会造成死锁，这里结合例子说明下两种常见的死锁情况。1、迭代死锁该情况是一个线程“迭代”请求同一个资源，直接就会造成死锁：importthreadingimporttimeclassMyThread(threading.Thread):defrun(self):globalnumtime.sleep(1)ifmutex.acquire(1):num=num+1msg=self.name
系统 2019-09-27 17:46:39 2265
处于某些业务需求需要对一些特定的图片增加水印，于是去了解了PIL这个库，可以完美的解决这个问题实现效果如下：具体代码如下：fromPILimportImage,ImageDraw,ImageFontimageFile="./image/two.jpg"imageInfo=Image.open(imageFile)fontOne=ImageFont.truetype("C:\Windows\Fonts\simfang.ttf",100)fontTwo=Im
系统 2019-09-27 17:46:13 2265
Python入门之内置模块--os模块1、osos是和操作系统做交互，给操作发指令os模块是与操作系统交互的一个接口,它提供的功能多与工作目录，路径，文件等相关（1）工作路径print(os.getcwd())#获取当前文件工作的路径***os.chdir("D:\Python_s25\day16")#路径切换**print(os.getcwd())print(os.curdir)#返回当前目录:('.')print(os.pardir)#获取当前目录的父
系统 2019-09-27 17:45:41 2265
时间模块简介Python程序能用很多方式处理日期和时间，转换日期格式是一个常见的功能。Python提供了一个time和calendar模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。#常用方法1.time.sleep(sesc)#(线程)推迟指定的时间运行，单位为秒2.time.time()#获取当前时间戳(开始为1970年1月1日伦敦时间结束为现在)time模块介绍：ti
系统 2019-09-27 17:56:38 2264
在自动化测试过程中，比较常用的操作就是对远程主机进行操作，如何操作呢？使用SSH远程登陆到主机，然后执行相应的command即可。使用Python来实现这些操作就相当简单了。下面是测试code。代码如下：(code运行环境：python27+eclipse+pydev)importparamikodefsshclient_execmd(hostname,port,username,password,execmd):paramiko.util.log_to_
系统 2019-09-27 17:55:40 2264
一、什么是高阶函数在计算机编程语言中，高阶函数指的是接受函数作为输入或输出的函数。二、高阶函数的特性函数本身也可以赋值给变量变量可以指向函数f=abs#abs()取绝对值函数，将函数赋给变量fprint(f(-10))#输出结果-10的绝对值三、内置高阶函数map()map():接收两个参数，一个是函数一个是序列map()将传入的函数依次作用到序列的每个元素，并且把结果作为新的序列返回例：对一个序列[-1,3,-4,-5]的每一个元素求绝对值代码：结果：例
系统 2019-09-27 17:54:46 2264
Python入门之内置模块--collections模块1、collections--基于Python自带的数据类型之上额外增加的几个数据类型fromcollections在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict以及判断什么是可迭代对象什么是迭代器（1）namedtuple生成可以
系统 2019-09-27 17:53:46 2264
简介python动态执行字符串代码片段（也可以是文件），一般会用到exec,eval。execexec_stmt::="exec"or_expr["in"expression[","expression]]注意：exec是一个语法声明，不是一个函数.也就是说和if,for一样.官方文档对于exec的解释ThisstatementsupportsdynamicexecutionofPythoncode.exec的第一个表达式可以是：1.代码字符串2.文件对象
系统 2019-09-27 17:53:01 2264
先来看一道题目：>>>deffunc(numbers=[],num=1):...numbers.append(num)...returnnumbers>>>func()[1]>>>func()[1,1]>>>func()[1,1,1]我们似乎发现了一个Bug，每次用相同的方式调用函数func()时，返回结果竟然不一样，而且每次返回的列表在不断地变长。>>>id(func())4330472840>>>id(func())4330472840从上面可以看出，
系统 2019-09-27 17:52:13 2264
24招神技，秒变Python开发大神！19/100发布文章Pythonlaowan选择文件一，分析代码运行时间第1式，测算代码运行时间平凡方法快捷方法（jupyter环境）第2式，测算代码多次运行平均时间平凡方法快捷方法（jupyter环境）如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都
系统 2019-09-27 17:51:56 2264
在程序开发时候一套好的开发环境和工具栈，可以帮我们极大的提高开发的效率，避免把大量时间浪费在周边琐事上。本文以Python的为例，教大家如何快速打造优秀的Python的项目开发环境：内容涵盖了模块依赖管理，代码风格管理，调试测试管理和Git版本管理，使用githook做项目规范检查等。pipxPipx是一款跨平台的Python环境隔离管理工具，可以在支持在Linux，MacOS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境，并以
系统 2019-09-27 17:51:53 2264
Sigmoid函数为神经网络层中的激活函数，是对输入X产生逻辑分类的过程，以下为Sigmoid函数的图像以及在两个变量输入下对其的简单实现。importnumpyasnpdefsigmoid(x):#TODO:Implementsigmoidfunctionreturn1/(1+np.exp(-x))inputs=np.array([0.7,-0.3])weights=np.array([0.1,0.8])bias=-0.1#TODO:Calculatet
系统 2019-09-27 17:51:01 2264
