本文利用Python3爬虫抓取豆瓣图书Top250,并利用xlwt模块将其存储至excel文件,图片下载到相应目录。旨在进行更多的爬虫实践练习以及模块学习。工具1.Python3.52.BeautifulSoup、xlwt模块开始动手首先查看目标网页的url:https://book.douban.com/top250?start=0,然后我尝试了在代码里直接通过字符串连接仅改变”start=“后面的数字的方法来遍历所有的250/25=10页内容,但是后来
系统 2019-09-27 17:53:39 1740
背景介绍从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn,最终定格在了Bokeh,因为它可以与Flask完美的结合,数据看板的开发难度降低了很多。前阵子看到这个库可以较为便捷的实现数据探索,今天得空打算学习一下。原本访问的是英文文档,结果发现已经有人在做汉化,虽然看起来也像是谷歌翻译的,本着拿来主义,
系统 2019-09-27 17:52:35 1740
最近在自学python,又用python实现了一下BLAST。这次更新了打分函数如下,空位罚分改为-5,但不区分gapopen和gapextend。'''''@author:JiuYu'''defscore(a,b):#scoringfunctionscore=0lst=['AC','GT','CA','TG']ifa==b:score+=2elifa+binlst:score+=-5else:score+=-7returnscoredefBLAST(se
系统 2019-09-27 17:52:10 1740
本文实例为大家分享了python淘宝秒杀的具体代码,供大家参考,具体内容如下#淘宝秒杀脚本,扫码登录版importosfromseleniumimportwebdriverimportdatetimeimporttimefromosimportpathdriver=webdriver.Chrome()deflogin(url):#打开淘宝登录页,并进行扫码登录driver.get("https://www.taobao.com")time.sleep(3)
系统 2019-09-27 17:50:37 1740
元类编程装饰器任何时候你定义装饰器的时候,都应该使用functools库中的@wraps装饰器来注解底层包装函数.因为一个普通装饰器作用在某个函数上时,这个函数的重要的元信息比如名字、文档字符串、注解和参数签名都会丢失。但是@wraps不会。importtimefromfunctoolsimportwrapsdeftimethis(func):'''Decoratorthatreportstheexecutiontime.'''@wraps(func)de
系统 2019-09-27 17:50:24 1740
1.创建一个边界值为1而内部都是0的数组,图例如下:[提示:]解此题可以先把所有值都设置为1,这是大正方形;其次,把边界除外小正方形全部设置为0。本题用到numpy的切片原理。多维数组同样遵循x[start:stop:step]的原理。[1.1.1.1.1.1.1.1.1.1.][1.0.0.0.0.0.0.0.0.1.][1.0.0.0.0.0.0.0.0.1.][1.0.0.0.0.0.0.0.0.1.][1.0.0.0.0.0.0.0.0.1.][1
系统 2019-09-27 17:49:14 1740
这篇快文介绍了使用Gmail作为您的e-mail服务器,通过Python的内置SMTP库发送电子邮件。它并不复杂,我保证。下面是如何在Python中登录GMail:importsmtplib#Thebelowcodeneverchanges,thoughobviouslythosevariablesneedvalues.session=smtplib.SMTP('smtp.gmail.com',587)session.ehlo()session.start
系统 2019-09-27 17:49:08 1740
python爬虫1《1》什么是爬虫网络爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理:我们把互联网比喻为一张大网,网络爬虫我们想象为网上的蜘蛛,网页与网页之间的连接我们理解为节点,爬虫就相当于是访问网页,获取网页的信息,又通过节点可以爬取另一个网站,然后不停的通过一个个节点即访问一个个网页,这样网站的数据就可以被我们获取下来了。《3》爬虫的分类:网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:48:45 1740
王者荣耀这么久了,还没上王者?哈哈哈,看过来,是不是对英雄理解的不够透彻呢,是不是还没有很好的为英雄分类呢,今天就来看看英雄分类技术栈一、EM聚类简介二、爬取网上的英雄初始属性值三、做成饼图EM聚类简介EM英文名是ExpectationMaximization,也叫最大期望算法。在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(LatentVari
系统 2019-09-27 17:48:38 1740
磨刀不误砍柴工,先罗列下手头上的资源:Python编程无师自通Python-100-Days_jb51python从入门到精通视频(全60集)自学的书籍按照先后顺序阅读学习:《Python简明教程》。这是一本言简意赅的Python入门教程,简单直白,没有废话。就算没有基础,你也可以像读小说一样,花两天时间就可以读完。适合入门快速了解语法。廖雪峰编写的《Python教程》。教程涵盖了Python知识的方方面面,内容更加系统,有一定深度,有一定基础之后学习会有
系统 2019-09-27 17:48:27 1740
前言Go大概2009年面世以来,已经8年了,也算是8年抗战。在这8年中,已经有很多公司开始使用Go语言开发自己的服务,甚至完全转向Go开发,也诞生了很多基于Go的服务和应用,比如Dokcer、k8s等,很多的大公司也在用,比如google(作为开发Go语言的公司,当仁不让)、Facebook、腾讯、百度、阿里、京东、小米以及360,当然除了以上提到的,还有很多公司也都开始尝试Golang,这其中是什么原因呢?让我们来一起分析分析。原因1:性能Go极其地快。
系统 2019-09-27 17:48:04 1740
最近搜索看到这篇文章,讲的很详细。http://blog.konghy.cn/2017/04/24/python-entry-program/这个问题来自于知乎用户的提问,当时看到这个问题,我只是做了下简单的回答。后来我发现,对于很多人来说,更准确的说应该是大部分的Python初学者,对这个问题理解的不是很深刻。所以这里我来做下总结,并试图把这个问题说明白。程序入口对于很多编程语言来说,程序都必须要有一个入口,比如C,C++,以及完全面向对象的编程语言Ja
系统 2019-09-27 17:47:26 1740
需要建立2个文件,一个作为客户端,一个作为服务端文件一作为客户端client,文件二作为服务端server文件一#client客户端#TCP必须建立连接importsocket#导入模块#SOCK_STREAM---TCP协议方式#AF_INET----我的是ipv4地址#1,创建socket对象:指定传输协议s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#2,建立连接发送连接请求ip地址和端口号s.c
系统 2019-09-27 17:47:20 1740
登录流程:实例化一个driver,然后driver.get()发送请求最重要的:切换iframe子框架,因为豆瓣的网页中的登录那部分是一个ifrme,必须切换才能寻找到对应元素利用selenium切换到账号密码登录利用selenium输入账户和密码利用selenium点击登录按钮然后利用字典推导式保存了一下cookie代码实现:importtimefromseleniumimportwebdriver#实例化driverdriver=webdriver.C
系统 2019-09-27 17:47:06 1740
fileinput模块可以遍历文本文件的所有行.它的工作方式和readlines很类似,不同点在于,它不是将全部的行读到列表中而是创建了一个xreadlines对象.下面是fileinput模块中的常用函数input()#它会返回能够用于for循环遍历的对象.filename()#返回当前文件的名称lineno()#返回当前(累计)的行数filelineno()#返回当前文件的行数isfirstline()#检查当前行是否是文件的第一行复制代码代码如下:#
系统 2019-09-27 17:46:50 1740