搜索到与相关的文章
Python

25、Python快速开发分布式搜索引擎Scrapy精讲—Requests请求

【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】Requests请求Requests请求就是我们在爬虫文件写的Requests()方法,也就是提交一个请求地址,Requests请求是我们自定义的**Requests()方法提交一个请求参数:url=字符串类型url地址callback=回调函数名称method=字符串类型请求方式,如果GET,POSTheaders=字典类型

系统 2019-09-27 17:54:11 2175

Python

python添加模块搜索路径方法

1.函数添加importsyssys.pathsys.path.append("c:\\")2.修改pythonpath(试不通)windows:PYTHONPATH3.增加.pth文件(可以)site-packages或者python安装目录添加xx.pth,文件内容为模块目录。linux(ubuntu)/usr/local/lib/python2.7/dist-packageslinux(redhat)/usr/lib/python2.7/site-p

系统 2019-09-27 17:53:45 2175

Python

python xlwt如何设置单元格的自定义背景颜色

问题我使用python2.7和xlwt模块进行excel导出我想设置我知道可以使用的单元格的背景颜色style1=xlwt.easyxf('pattern:patternsolid,fore_colourred;')但我想设置自定义颜色smth。比如#8a8eef或者是否有可能颜色的调色板,因为浅蓝色不起作用:)解决方案如果你没有使用easyxf()而是XFStyle逐步构建对象,这是使用用户友好颜色名称的另一种方法:importxlwtstyle=xlw

系统 2019-09-27 17:53:30 2175

Python

python爬取全国公交线路---bs4方法

这里主要讲了bs4解析方法和json方法,以8684网页为例子,爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.

系统 2019-09-27 17:53:12 2175

Python

python 气象设备UDP传输数据解析——笔记

文章目录一、背景二、总结内容2.1UDP通信服务端创建方式**DUP采用的是无连接的套接字**2.216进制数据解析2.3文件创建与数据储存分析一、背景最近在处理公司的一设备,内置的DTU通过UDP向服务器发送16进制的数据报文,由于第一次接触此类数据解析方式,在这里做总结与反省,避免大家走弯路二、总结内容2.1UDP通信服务端创建方式步骤创建UDP的socket通信方式。绑定具体的端口。设置端口复用等待(这一步可以省略)获取数据。向客户端发送数据。解析储

系统 2019-09-27 17:53:08 2175

Python

Python使用Pandas对csv文件进行数据处理的方法

今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛

系统 2019-09-27 17:52:33 2175

Python

Spark学习实例(Python):RDD、DataFrame、DataSet

在学习转换之前先了解以下它们的基本概念RDD:弹性分布式数据集,是一个只读分区集合DataFrame:以命名列方式组织的分布式数据集,概念上和关系型数据库的一张表一样DataSet:分布式数据集合,Python暂时不支持了解了基本的概念之后,接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\

系统 2019-09-27 17:52:31 2175

Python

用Python3写一个简单的爬小说的爬虫(上)

#下载一个网页importrequestsimportreurl='https://www.biquge5200.cc/14_14621/'#模拟浏览器发送http请求response=requests.get(url)#编码方式response.encoding='utf-8',如果下载下来的网页内容有中文乱码现象就需要加上这一句话#网页源码html=response.text#[0]取列表下第0个元素.#eg:title的输出结果为:['斗神狂飙无弹窗

系统 2019-09-27 17:52:18 2175

Python

Python3快速入门(七)——Python3正则表达式

Python3快速入门(七)——Python3正则表达式1、re模块简介re模块提供Perl风格的正则表达式模式,使Python语言拥有全部的正则表达式功能。2、正则表达式模式模式字符串使用特殊的语法来表示一个正则表达式:正则表达式模式中的字母和数字匹配同样的字符串;多数字母和数字前加一个反斜杠时会有不同的含义;标点符号通常有特殊的含义,只有被转义时才匹配自身;反斜杠本身需要使用反斜杠转义。^匹配字符串的开头$匹配字符串的末尾.匹配任意字符,除了换行符,当

系统 2019-09-27 17:51:33 2175

Python

python笔记2

阅读更多操作列表#列表循环for循环(for**in**)1.注意使用for循环时print前要缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)#可在for循环中执行更多操作#2.不使用for循环时,切记print能缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)print("theyaresocute")#在

系统 2019-09-27 17:51:30 2175