Python

Python爬虫利用cookie实现模拟登陆实例详解

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。举个例子,某些网站是需要登录后才能得到你想要的信息的,不登陆只能是游客模式,那么我们可以利用Urllib2库保存我们以前登录过的Cookie,之后载入cookie获取我们想要的页面,然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取,这仅仅只是一个简单的Py

系统 2019-09-27 17:56:06 2074

Python

python爬虫(4)——scrapy框架

安装urllib库更适合写爬虫文件,scrapy更适合做爬虫项目。步骤:先更改pip源,国外的太慢了,参考:https://www.jb51.net/article/159167.htm升级pip:python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目:scrapystartprojectmcq运行独立的

系统 2019-09-27 17:55:57 2074

Python

一篇文章讲清楚Python虚拟环境

Virtualenv我们都知道Python开发项目很容易,项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目,但是由于我们每个项目情况都有些不一样。比如今天可能用的是Django1.8,明天可能用的是Django2.1。如果不进行环境隔离全局安装就会导致包的冲突,依赖不同,出现问题。这个时候每个应用都需要一套「独立」的Python运行环境。而Virtualenv就是拿来为应用创建这一套「隔离」的Python运行环境。首先用pip安装pipi

系统 2019-09-27 17:55:33 2074

Python

python——uBuntu中pip执行import main失败问题

一、ubuntu中使用pip3安装gevent时,提示:cannotimportname'main'问题;二、问题解决:解决pip3使用异常,在python3中可以使用__main__,修改如下:报错中已经提示pip文件路径:/usr/bin/pip3,cd进去,进行修改(需要管理员身份保存修改后文件,sudo执行)源文件出错内容:frompipimportmainif__name__=='__main__':sys.exit(main())修改为:fro

系统 2019-09-27 17:55:31 2074

Python

Python原始字符串(raw strings)用法实例

本文实例讲述了Python原始字符串(rawstrings)用法,分享给大家供大家参考。具体如下:Python原始字符串的产生正是由于有正则表达式的存在。原因是ASCII字符和正则表达式特殊字符间所产生的冲突。比如,特殊符号“\b”在ASCII字符中代表退格键,但同时“\b”也是一个正则表达式的特殊符号,代表“匹配一个单词边界”。为了让RE编译器把两个字符“\b”当成你想要表达的字符串,而不是一个退格键,你需要用另一个反斜线对它进行转义,即可以这样写:“\

系统 2019-09-27 17:55:21 2074

Python

Python3 数据结构与算法

目录├─第1节数据结构和算法基础│├─01.算法引入││1-算法引入│││├─02.时间复杂度和大O表示法││01-时间复杂度与大O表示法││02-最坏时间复杂度与计算规则││03-常见时间复杂度与大小关系│││├─03.Python列表和字典││01-代码执行时间测量模块timeit││02-Python列表类型不同操作的时间效率││03-Python列表与字典操作的时间复杂度│││└─04.数据结构引入│01-数据结构引入│├─第2节顺序表│├─01.

系统 2019-09-27 17:55:12 2074

Python

老生常谈Python startswith()函数与endswith函数

函数:startswith()作用:判断字符串是否以指定字符或子字符串开头一、函数说明语法:string.startswith(str,beg=0,end=len(string))或string[beg:end].startswith(str)参数说明:string:被检测的字符串str:指定的字符或者子字符串。(可以使用元组,会逐一匹配)beg:设置字符串检测的起始位置(可选)end:设置字符串检测的结束位置(可选)如果存在参数beg和end,则在指定范

系统 2019-09-27 17:53:46 2074

Python

python脚本开机自启的实现方法

问题描述:将python脚本设置成开机自启。环境:windows764位前段时间,一直想把文件打包成exe文件,然后设置成开机自启,虽然感觉很装逼,但是使用pyinstaller打包成exe文件的历程却是非常坎坷,一改脚本或者导入一个新的库,打包就出现各种报错,各种问题,最后博主实在找不到解决办法之后放弃了,谁知突然间却看到有博客说能直接把py程序设成开机自启,真是开心,下面说明一下操作步骤:(1)首先,需要新建一个.bat文件(用来运行脚本),格式如下,

系统 2019-09-27 17:53:41 2074

Python

Python reduce()函数的用法小结

reduce()函数也是Python内置的一个高阶函数。reduce()格式:reduce(func,seq[,init()])reduce()函数即为化简函数,它的执行过程为:每一次迭代,都将上一次的迭代结果(注:第一次为init元素,如果没有指定init则为seq的第一个元素)与下一个元素一同传入二元func函数中去执行。在reduce()函数中,init是可选的,如果指定,则作为第一次迭代的第一个元素使用,如果没有指定,就取seq中的第一个元素。re

系统 2019-09-27 17:53:19 2074

Python

Python读取MRI并显示为灰度图像实例代码

本文实例主要关于Python实现读取MRI(核磁共振成像)为numpy数组,使用imshow显示为灰度。代码如下:importmatplotlib.pyplotaspltimportmatplotlib.cbookascbookimportmatplotlib.cmascmimportnumpyasnp#Dataare256x25616bitintegerswithcbook.get_sample_data('s1045.ima.gz')asdfile:i

系统 2019-09-27 17:52:46 2074

Python

使用python将mysql数据库的数据转换为json数据的方法

由于产品运营部需要采用第三方个推平台,来推送消息。如果手动一个个键入字段和字段值,容易出错,且非常繁琐,需要将mysql的数据转换为json数据,直接复制即可。本文将涉及到如何使用Python访问Mysql数据库及读取获取数据(前提需要安装MySQLdb第三方库哦),以及如何将数据转换为json数据,最后保存成文件输出。代码如下:注释比较详细了。#coding=utf-8'''Createdon2016-10-26@author:JenniferProje

系统 2019-09-27 17:52:21 2074

Python

python入门前的第一课 python怎样入门

人工智能时代的到来,很多文章说这么一句:“不会python,就不要说自己是程序员”,这说的有点夸张了,但确实觉得目前python这个语言值得学习,而且会python是高薪程序员的必备技能。很多初学Python的同学都面临着很多的疑问,Python学习步骤应该如何安排?多长时间可以达到精通呢?Python学习步骤应该怎样安排:首先,学习Python编程技术,自学或者参加培训学习都适用,每个人都有自己的学习方式和方法。一、明确自己的学习目标不管我们学习什么样的

系统 2019-09-27 17:51:57 2074

Python

Python字符串中查找子串小技巧

惭愧啊,今天写了个查找子串的Python程序被BS了…如果让你写一个程序检查字符串s2中是不是包含有s1。也许你会很直观的写下下面的代码:复制代码代码如下:#determinewhethers1isasubstringofs2defisSubstring1(s1,s2):tag=Falselen1=len(s1)len2=len(s2)foriinrange(0,len2):ifs2[i]==s1[0]:forjinrange(0,len1):ifs2[i

系统 2019-09-27 17:50:23 2074

Python

Python3 import tensorflow 出现

问题描述心血来潮想要学习TensorFlow,兴致勃勃的pipinstalltensorflow,想要跟着教程走的时候,却发现importtensorflow时报错,报错信息为FutureWarning:Passing(type,1)or'1type'asasynonymoftypeisdeprecated;inafutureversionofnumpy,itwillbeunderstoodas(type,(1,))/'(1,)type'.解决方法网上查阅

系统 2019-09-27 17:50:15 2074

Python

python读取图片的方式,以及将图片以三维数组的形式输出方法

近期做个小项目需要用到python读取图片,自己整理了一下两种读取图片的方式,其中一种用到了TensorFlow,(TensorFlow是基于python3的)。代码及运行结果如下所示:importnumpyasnpfromPILimportImageimportmatplotlib.pyplotaspltimage=Image.open(r'C:\Users\Administrator\Desktop\data\train\forest_001.jpg'

系统 2019-09-27 17:49:53 2074