最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用
系统 2019-09-27 17:38:44 2069
在业务稳定性要求比较高的情况下，运维为能及时发现问题，有时需要对应用程序的日志进行实时分析，当符合某个条件时就立刻报警，而不是被动等待出问题后去解决，比如要监控nginx的$request_time和$upstream_response_time时间，分析出最耗时的请求，然后去改进代码，这时就要对日志进行实时分析了，发现时间长的语句就要报警出来，提醒开发人员要关注，当然这是其中一个应用场景，通过这种监控方式还可以应用到任何需要判断或分析文件的地方，所以今天
系统 2019-09-27 17:38:40 2069
深入理解pythontry异常处理机制#python的try语句有两种风格#一：种是处理异常（try/except/else）#二：种是无论是否发生异常都将执行最后的代码（try/finally）try/except/else风格try:<语句>#运行别的代码except<名字>：<语句>#如果在try部份引发了'name'异常except<名字>，<数据>:<语句>#如果引发了'name'异常，获得附加的数据else:<语句>#如果没有异常发生#try的
系统 2019-09-27 17:38:34 2069
我在工作的时候，在测试环境下使用的数据库跟生产环境的数据库不一致，当我们的测试环境下的数据库完成测试准备更新到生产环境上的数据库时候，需要准备更新脚本，真是一不小心没记下来就会忘了改了哪里，哪里添加了什么，这个真是非常让人头疼。因此我就试着用Python来实现自动的生成更新脚本，以免我这烂记性，记不住事。主要操作如下：1.在原先basedao.py中添加如下方法，这样旧能很方便的获取数据库的数据，为测试数据库和生产数据库做对比打下了基础。defselect
系统 2019-09-27 17:38:12 2069
一、安装mod_wsgi3.4：./configure--with-apxs=/Users/levin/dev/apache2.2.27/bin/apxs--with-python=/usr/bin/pythonmakemakeinstall编辑httpd.conf使Apache导入模块mod_wsgi.so以及引入vhost配置文件：LoadModulewsgi_modulemodules/mod_wsgi.soIncludeconf/extra/htt
系统 2019-09-27 17:37:36 2069
Python基础之数据类型、流程控制逆水行舟，不进则退序言Python简介输入和输出数据类型流程控制逆水行舟，不进则退没有改变的勇气，又怎会知道改变后的结果呢。当我下定决心改变时，就不曾有过后悔。30岁自学转行做开发又怎样，只要坚持，就一定会有收获。相信很多人都有同感，自学没有任何公司项目经验，很难有公司给你机会。但一旦有了这个机会，如何把握就靠你自己的能力了。作为一个有了一年多Web前端开发经验的我，这点深有体会，深知只有不断进步，才能有更好的发展和平台
系统 2019-09-27 17:57:30 2068
一个简单的实现classNaiveFilter():'''FilterMessagesfromkeywordsverysimplefilterimplementation>>>f=NaiveFilter()>>>f.add("sexy")>>>f.filter("hellosexybaby")hello****baby'''def__init__(self):self.keywords=set([])defparse(self,path):forkeywo
系统 2019-09-27 17:56:10 2068
用Python来编写网站，必须要能够通过python操作数据库，所谓操作数据库，就是通过python实现对数据的连接，以及对记录、字段的各种操作。上一讲提到的那种操作方式，是看官直接通过交互模式来操作数据库。安装python-MySQLdb要想通过python来操作数据库，还需要在已经安装了mysql的基础上安装一个称之为mysqldb的库，它是一个接口程序，python通过它对mysql数据实现各种操作。在编程中，会遇到很多类似的接口程序，通过接口程序对
系统 2019-09-27 17:54:55 2068
闭包是Python装饰器的基础。要理解闭包，先要了解Python中的变量作用域规则。变量作用域规则首先，在函数中是能访问全局变量的：>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后，在一个嵌套函数中，内层函数能够访问在外层函数中定义的局部变量：>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是
系统 2019-09-27 17:54:39 2068
解决多版本同时存在的pip安装模块如果同时存在Python2和Python3版本，则需要通过python-mpipinstall的方式给指定的Python安装模块。安装模块超时，更换安装源当安装模块超时时可以通过修改超时时间的方式来进行解决，也可以通过修改安装源的方式解决。修改超时时间pip--default-timeout=100installnumpy通过设置临时安装源的方式pipinstallnumpy-ihttps://pypi.doubanio.
系统 2019-09-27 17:54:25 2068
实验目的：用socket模拟一个微型的web服务器，当py脚本run起后，实微型webserver架起了，然后用本地浏览器访问127.0.0.1:8080(webserver的ip_port)时web服务器就会将网页内容传给浏览器，实现网页浏览.sw+sys:python3.7.2+windows1064bit本地准备的server端网页为下载的hao123主页（我已上载并上传，点击这里）通过这个实验让我学到了：1.当get请求一个主页时，要完整的显示一个
系统 2019-09-27 17:53:23 2068
获取现在的时间用方法datetime.datetime.now().strftime('%F%T')，获取未来或者过去的时间可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系统 2019-09-27 17:51:23 2068
基本功能是有一架飞机，可以通过键盘控制使其左右移动，并且喷射子弹。在飞机上方有一群外星人，也在左右移动着，被子弹击中的外星人消失。效果图如下：设计思路：1）Ship类,Bullet类,Alien类分别表示飞船，子弹，外星人的基本信息，例如飞机和外星人图像存储位置，生成子弹的位置。ship.pyimportpygameclassShip():"""docstringforship"""def__init__(self,ai_settings,screen):
系统 2019-09-27 17:51:16 2068
继上一篇文章使用xlrd来读Excel之后，这一篇文章就来介绍下，如何来写Excel，写Excel我们需要使用第三方库xlwt，和xlrd一样，xlrd表示readxls，xlwt表示writexls，同样目前版本只支持97-03版本的Excel。xlwt下载：xlwt0.7.4安装xlwt安装方式一样是pythonsetup.pyinstall就可以了，或者直接解压到你的工程目录中。API介绍获取一个xls实例复制代码代码如下:xls=ExcelWrit
系统 2019-09-27 17:51:03 2068
python环境搭建常用的python环境管理工具：pyenv&&virtualenvpyenv#安装到~/.pyenv当中,如果使用了zsh，那么将.bashrc-->.zshrcgitclonehttps://github.com/pyenv/pyenv.git~/.pyenvecho'exportPYENV_ROOT="$HOME/.pyenv"'>>~/.bashrcecho'exportPATH="$PYENV_ROOT/bin:$PATH"'>
系统 2019-09-27 17:49:57 2068
