网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。1.网络爬虫的定义网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫
系统 2019-09-27 17:38:28 1716
利用Python写了简单测试主机是否存活脚本,此脚本不适于线上使用,因为网络延迟、丢包现象会造成误报邮件,那么后续会更新判断三次ping不通后再发报警邮件,并启用多线程处理。#!/usr/bin/envpython#coding:UTF-8importtimeimportpexpectimportsmtplibfromemail.mime.textimportMIMETextmail_host="smtp.163.com"#定义smtp服务器mail_to
系统 2019-09-27 17:38:23 1716
python基于新浪sae开发的微信公众平台,实现功能:输入段子---回复笑话输入开源+文章---发送消息到开源中国输入快递+订单号---查询快递信息输入天气---查询南京最近五天天气状况输入微博热点---回复微博当前热门话题输入电影+名称---回复百度云盘中搜索的链接具体实现代码:#-*-coding:utf-8-*-importhashlibimportwebimportlxmlimporttimeimportosimporturllib2,jsoni
系统 2019-09-27 17:38:18 1716
python语句与语法1.python简单语句的基本介绍>>>whileTrue:#简单的while循环...reply=input('Entertext:')#调用了Input,将输入传参给reply...ifreply=='stop':break#如果输入的是stop就退出循环...print(reply.upper())#如果输入的不是stop就一直将输入的转换为大写字母...Entertext:abc#这是第一个输入abc,看到下面转换成大写的AB
系统 2019-09-27 17:38:15 1716
1.os.path.driname(path):返回路径的上一级路径字符串。>>>os.path.dirname('D:\Games')'D:\\'>>>2.os.path.basename(path):返回路径的最后一级目录名(文件夹名)或文件名(全称)。>>>os.path.basename('D:\Games\9yin_632\蜗牛整包\\0x0804.ini')'0x0804.ini'>>>3.os.path.splitext(file_name)
系统 2019-09-27 17:38:14 1716
选择了脚本语言就要忍受其速度,这句话在某种程度上说明了python作为脚本的一个不足之处,那就是执行效率和性能不够理想,特别是在performance较差的机器上,因此有必要进行一定的代码优化来提高程序的执行效率。如何进行Python性能优化,是本文探讨的主要问题。本文会涉及常见的代码优化方法,性能优化工具的使用以及如何诊断代码的性能瓶颈等内容,希望可以给Python开发人员一定的参考。代码优化能够让程序运行更快,它是在不改变程序运行结果的情况下使得程序的
系统 2019-09-27 17:38:10 1716
先看代码:In[1]:a={'name':'wang'}In[2]:a.get('age')In[3]:a['age']---------------------------------------------------------------------------KeyErrorTraceback(mostrecentcalllast)in()---->1a['age']KeyError:'age'In[4]:a.get('age',10)Out[4
系统 2019-09-27 17:38:06 1716
【嵌牛导读】Python是一门运用很广泛的语言,自动化脚本、爬虫,甚至在深度学习领域也都有Python的身影。作为一名前端开发者,也了解ES6中的很多特性借鉴自Python(比如默认参数、解构赋值、Decorator等),同时本文会对Python的一些用法与JS进行类比。不管是提升自己的知识广度,还是更好地迎接AI时代,Python都是一门值得学习的语言。【嵌牛鼻子】python与JS的相似之处【嵌牛提问】python与JS有哪些相似呢?【嵌牛正文】数据类
系统 2019-09-27 17:38:01 1716
python是支持多线程的,主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用。虽然python的多线程受GIL限制,并不是真正的多线程,但是对于I/O密集型计算还是能明显提高效率,比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取,并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim
系统 2019-09-27 17:37:56 1716
一、定制Python的交互提示符Python的默认交互提示符为“>>>”,但它是可以定制的。Python启动后,先寻找PYTHONSTARTUP环境变量,然后执行此文件中变量指定的执行代码。一些Linux发布包提供了缺省的启动脚本,一般存放在其home目录,名为.pythonstartup。“Tab完成”和“命令历史”这两个功能增强了提示符应用,两者都基于readline模块。如果没有.pythonstartup文件,可以自己创建一个。简单例子:复制代码代
系统 2019-09-27 17:37:55 1716