早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆XX网站下载部分文档,于是自己亲身试验了一番,效果还不错。本例所登录的某网站需要提供用户名,密码和验证码,在此使用了python的urllib2直接登录网站并处理网站的Cookie。Cookie的工作原理:Cookie由服务端生成,然后发送给浏览器,浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时,会发送该Cookie给服务器,这样服务器就知道该用户是否合
系统 2019-09-27 17:53:11 1717
这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可
系统 2019-09-27 17:53:05 1717
0x00前言eval是Python用于执行python表达式的一个内置函数,使用eval,可以很方便的将字符串动态执行。比如下列代码:>>>eval("1+2")>>>eval("[xforxinrange(10)]")[0,1,2,3,4,5,6,7,8,9]当内存中的内置模块含有os的话,eval同样可以做到命令执行:>>>importos>>>eval("os.system('whoami')")win-20140812chj\administrat
系统 2019-09-27 17:53:02 1717
首先我们提到一个代码块的概念。在python中并没有花括号来表示代码块这种规定。所以它有了一个新的规定:用缩进来表示代码块。(强制要求缩进)当然了,这对像我这种不缩进都要死的人,没有任何坏处。所以我们来将一下if语句的模板。cgg=10ifcgg<=60:print("Youarerubbish")else:print("Youaregarbage")这就是最基本的if-else当然了,我们还有elseif,在python中用elif来表示。如:cgg=1
系统 2019-09-27 17:53:01 1717
psutil(进程和系统实用程序)是一个跨平台的库,用于在Python中检索有关运行进程和系统利用率(CPU,内存,磁盘,网络,传感器)的信息。它主要用于系统监视,分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能,例如:ps,top,lsof,netstat,ifconfig,who,df,kill,free,nice,ionice,iostat,iotop,uptime,pidof,tty,taskset,pmap。psut
系统 2019-09-27 17:52:36 1717
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 1717
在使用peewee框架时,默认是不会出现日志消息的。frompeeweeimportModel,CharField,DateTimeField,IntegerFieldfrompeewee_mssqlimportMssqlDatabasedb=MssqlDatabase(database='test',host='.',user='sa',password='sa')classBaseModel(Model):classMeta:database=dbcl
系统 2019-09-27 17:52:28 1717
一、腾讯语音合成介绍腾讯云语音合成技术(TTS)可以将任意文本转化为语音,实现让机器和应用张口说话。腾讯TTS技术可以应用到很多场景,比如,移动APP语音播报新闻;智能设备语音提醒;依靠网上现有节目或少量录音,快速合成明星语音,降低邀约成本;支持车载导航语音合成的个性化语音播报。(废话一大堆)。。。二、腾讯语音合成pythonSDK文档安装PythonSDK前,先获取安全凭证。在第一次使用云API之前,用户首先需要在腾讯云控制台上申请安全凭证,安全凭证包括
系统 2019-09-27 17:52:28 1717
1、python装饰器最基础的函数1defsum1():2sum=1+23print(sum)4sum1()查看函数执行用了多长时间,写了几句代码插进去了:1importtime23defsum1():4start=time.clock()5sum=1+26print(sum)7end=time.clock()8print("timeused:",end-start)910sum1()可是随着继续翻看,对越来越多的函数感兴趣了,都想看下他们的运行时间如何,
系统 2019-09-27 17:52:26 1717
因前一篇https://blog.csdn.net/fjssharpsword/article/details/97000479采样问题未解决,发现如下github上有BPMF代码,采用wishart先验,性能和pymc3一致。参考:https://github.com/LoryPack/BPMF#coding:utf-8'''@author:Jason.F@data:2019.08.01@function:baselineBPMF(BayesianPro
系统 2019-09-27 17:52:22 1717