接下来准备用糗百做一个爬虫的小例子。但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。一、正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。它拥有自己独特的语法以及一个独立的处理引擎，在提供了正则表达式的语言里，正则表达
系统 2019-09-27 17:54:47 1834
前言我们知道，每个独立的进程有一个程序运行的入口、顺序执行序列和程序的出口。进程里面的任务由线程执行，线程必须依存在应用程序中，多个线程执行能够提高应用程序的执行效率，多个线程之间共用进程的寄存器数据和堆栈等等。python多线程类似于同时执行多个不同程序，具有以下特点：1、用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度程序的运行速度可能加快2、在一些等待的任务实现上如用户输入、文件读写和网络收发
系统 2019-09-27 17:54:39 1834
环境：编辑工具：浏览器：有问题可以联系qq：1776376537安装xlrd安装DDT一分析1目录结构2导入包二代码importxlrdclassExcelUtil():def__init__(self,excelPath,sheetName="Sheet1"):self.data=xlrd.open_workbook(excelPath)self.table=self.data.sheet_by_name(sheetName)#获取第一行作为key值se
系统 2019-09-27 17:54:09 1834
例子：classFileTool:def__init__(self,filepath):self.filepath=filepathdefwrite_to_file(self,line):f=open(self.filepath,'a')f.write(line)f.close()defread_to_file(self):f=open(self.filepath,'r')lines=f.readlines()f.close()returnlines
系统 2019-09-27 17:53:57 1834
个人想到的解决方法有两种,一种是.replace('old','new')第一个参数是需要换掉的内容比如空格,第二个是替换成的内容,可以把字符串中的空格全部替换掉.第二种方法是像这样str_1_data='abc'str_2_list=str_1_data.split()str_1=''foriinrange(len(str_2_list)):#这里可以直接用str_1.join(str2_list)str_1+=str_2_list[i]print(st
系统 2019-09-27 17:51:45 1834
MSPython插件。这是微软官方的Python插件，已经自带很多功能。下面是插件功能描述，其中部分内容我做了翻译。a)Linting(Prospector,Pylint,pycodestyle,Flake8,pylama,pydocstyle,mypywithconfigfilesandplugins)静态代码扫描（可以理解为代码语法和格式错误提示，支持多种linter）b)Intellisense(autocompletionwithsupportfo
系统 2019-09-27 17:51:41 1834
学了下beautifulsoup后,做个个网络爬虫,爬取读者杂志并用reportlab制作成pdf..crawler.py复制代码代码如下:#!/usr/bin/envpython#coding=utf-8"""Author:AnemoneFilename:getmain.pyLastmodified:2015-02-1916:47E-mail:anemone@82flex.com"""importurllib2frombs4importBeautiful
系统 2019-09-27 17:51:35 1834
如下所示：importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler，用于写入日志文件fh=logging.FileHandler('test.log')fh.setLevel(logging.DEBUG)#再创建一个handler，用于输出到控制台ch=logging.StreamHandler()ch.set
系统 2019-09-27 17:51:25 1834
无论哪种编程语言，时间肯定都是非常重要的部分，今天来看一下python如何来处理时间和python定时任务，注意咯：本篇所讲是python3版本的实现，在python2版本中的实现略有不同，有时间会再写一篇以便大家区分。1.计算明天和昨天的日期#!/usr/bin/envpython#coding=utf-8#获取今天、昨天和明天的日期#引入datetime模块importdatetime#计算今天的时间today=datetime.date.today(
系统 2019-09-27 17:50:43 1834
上一小节老袁给晓白介绍了python-web开发工程师主要做什么，并从初中高级三个层次分析了这个岗位的具体需求。本节继续介绍python爬虫工程师的一些具体要求。python爬虫工程师该岗位做什么？python爬虫工程师主要是从网上爬取各种数据，然后对数据做整理和简单的存储。具体的职责如下：设计并实现公司的爬虫软件设计并实现网络数据的抓取规则，可以定期爬取指定的网站设计爬虫策略和防屏蔽规则，提高网页抓取效率和质量实现数据提取，清洗，结构化，数据库存储和统计
系统 2019-09-27 17:50:32 1834
