搜索到与相关的文章
Python

python使用Scrapy框架编写一个抓取书籍信息的爬虫服务

Scrapy是一个开源的Python数据抓取框架,速度快,强大,而且使用简单。来看一个官网主页上的简单并完整的爬虫:虽然只有10行左右的代码,但是它的确是一个完整的爬虫服务:当执行scrapyrunspiderxxx.py命令的时候,Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求,然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中,

系统 2019-09-27 17:53:38 2048

Python

Python爬虫之selenium高级功能

Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互,比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框:"text"name="passwd"id="passwd-id"/>获取这个元素的方法:element=driver.find_element_by_id("passwd-id")element=driver.find_ele

系统 2019-09-27 17:53:02 2048

Python

Python:Numpy 求平均向量的实例

如下所示:>>>importnumpyasnp>>>a=np.array([[1,2,3],[3,1,2]])>>>b=np.array([[5,2,6],[5,1,2]])>>>aarray([[1,2,3],[3,1,2]])>>>barray([[5,2,6],[5,1,2]])>>>c=a+b>>>carray([[6,4,9],[8,2,4]])>>>c=(a+b)/2>>>carray([[3.,2.,4.5],[4.,1.,2.]])>>>以

系统 2019-09-27 17:52:56 2048

Python

Python编程之文本颜色设置

问题描述:使用Python语言完成文本颜色设置。源代码:#!/usr/bin/python#-*-coding:UTF-8-*-classbcolors:HEADER='\033[95m'OKBLUE='\033[94m'OKGREEN='\033[92m'WARNING='\033[93m'FAIL='\033[91m'ENDC='\033[0m'BOLD='\033[1m'UNDERLINE='\033[4m'printbcolors.WARNING+

系统 2019-09-27 17:52:56 2048

Python

Python中栈、队列与优先级队列的实现方法

前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言,对这些基础的数据结构都有比较好的实现。在业务需求开发过程中,不应该重复造轮子,今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构,有入栈(push)、出栈(pop)两种操作,且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构,它支持栈的特性,有入栈和出栈操作

系统 2019-09-27 17:52:46 2048

Python

Python的json函数

json.load读取文件(file),解析为json对象(dict类型);json.loads读取字符串(string),解析为json对象;json.dump写文件(file),将json对象写入文件;json.dumps写字符串,将json对象写成string。importjsonimportosjson_obj={'name':'Michael','age':13}print("jsondict:",type(json_obj))#json对象是一

系统 2019-09-27 17:52:39 2048

Python

Python3.6内置函数(9)——callable()

英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance

系统 2019-09-27 17:52:30 2048

Python

Python代码展示Numpy和Scipy的子库的描述信息

前言学习一个库的最好的方式是了解这个库的源码和组成原理,有时候源码可能会略显生涩,这时候我们想通过查看文档来了解,所以我们可以通过输出库自带的描述文档来了解一个库。Numpy和Scipy模块numpy提供了数组对象,面向的任何使用者。scipy在numpy的基础上,面向科学家和工程师,提供了更为精准和广泛的函数。scipy几乎实现numpy的所有函数,一般而言,如果scipy和numpy都有这个函数的话,应该用scipy中的版本,因为scipy中的版本往往

系统 2019-09-27 17:52:27 2048

Python

推荐经典算法实现之BPMF(python+MovieLen)

因前一篇https://blog.csdn.net/fjssharpsword/article/details/97000479采样问题未解决,发现如下github上有BPMF代码,采用wishart先验,性能和pymc3一致。参考:https://github.com/LoryPack/BPMF#coding:utf-8'''@author:Jason.F@data:2019.08.01@function:baselineBPMF(BayesianPro

系统 2019-09-27 17:52:22 2048

Python

python代码 FTP备份交换机配置脚本实例解析

代码如下#!/bin/python#coding=utf-8#python-version=2.75#使用python2fromftplibimportFTP#引用ftplib库中的FTP功能模块,进行ftp下载使用importtime#引用time模块importos#引用os模块"""使用字典,定义交换机主机,一个字典包含多个键,一个键使用一个列表,包含多个主机地址按照实际情况定义"""dic={'tongjiju':['XXXX.XXXX.XXXX.

系统 2019-09-27 17:52:21 2048