搜索到与相关的文章
Python

Python爬取Coursera课程资源的详细过程

有时候我们需要把一些经典的东西收藏起来,时时回味,而Coursera上的一些课程无疑就是经典之作。Coursera中的大部分完结课程都提供了完整的配套教学资源,包括ppt,视频以及字幕等,离线下来后会非常便于学习。很明显,我们不会去一个文件一个文件的下载,只有傻子才那么干,程序员都是聪明人!那我们聪明人准备怎么办呢?当然是写一个脚本来批量下载了。首先我们需要分析一下手工下载的流程:登录自己的Coursera账户(有的课程需要我们登录并选课后才能看到相应的资

系统 2019-09-27 17:54:49 2307

Python

在VS2017中用C#调用python脚本的实现

情景是这样的:在C#中调用python脚本进行post请求,python脚本中使用了requests包。Python的开发环境我们有比较多的选择,pycharm、sublimetext等等。但是作为.net平台的Python语言ironPython,可以和C#交互,让编程更活泛。ironPython本身其实就是一个python的开发环境,我的电脑上还装有python2.7和pycharm,开始的时候使用pycharm写的,本来的想法是用VS直接调用就可以了

系统 2019-09-27 17:53:18 2307

Python

Python实现抓取百度搜索结果页的网站标题信息

比如,你想采集标题中包含“58同城”的SERP结果,并过滤包含有“北京”或“厦门”等结果数据。该Python脚本主要是实现以上功能。其中,使用BeautifulSoup来解析HTML,可以参考我的另外一篇文章:Windows8下安装BeautifulSoup代码如下:复制代码代码如下:__author__='曾是土木人'#-*-coding:utf-8-*-#采集SERP搜索结果标题importurllib2frombs4importBeautifulSo

系统 2019-09-27 17:52:51 2307

Python

Python多线程爬虫实现

1.Python多线程爬虫在批量去爬取数据的时候,往往效率会很低,这个时候我们可以用到多线程的技术。python是支持多线程的,主要是通过thread和threading这两个模块来实现的。单线程爬虫效率相对来说会低很多,例如:importrequestsfrombs4importBeautifulSoupimporttimestart_time=time.time()defmain():headers={'User-Agent':'Mozilla/5.0

系统 2019-09-27 17:51:48 2307

Python

重磅!Python又第一了!网友:为什么找不到好工作?真相让人脸红…

根据第19届KDnuggets调查显示,Python成数据分析、数据科学与机器学习的第一大语言。图片来源于第19届KDnuggets软件大调查Python在机器学习中的地位日益扩大,2017年,机器学习中Python的使用率超过50%,今年则直接上升到66%。与之相对应的是,R的使用率终于跌破了50%。Python获得众多开发者的喜爱,不仅是应用在机器学习上,还体现在其“多才多艺”上。Python可以做Web应用开发、桌面软件、游戏……甚至YouTube、

系统 2019-09-27 17:51:20 2307

Python

Python使用itchat 功能分析微信好友性别和位置

这样就将你所有微信好友的信息都返回了,我们并不需要这么多的信息,我们选取一些信息存储到csv文件中注意:返回的信息是一个list,其中第一个是我自己的信息,所以要从第二项开始存储的文件2:女性,1:男性,0:其他接下来,我们分析csv文件中的数据首先我们看看微信好友性别的分布:我这里是用的Echarts图表,偷了一个小懒我的微信里还是男性占比多,比较正常接下来分析微信好友的位置Echarts展示这个柱状图很直观的向我们展示了微信朋友的分布。这篇文章只是用到

系统 2019-09-27 17:50:46 2307

Python

python批量json文件转xml文件脚本(附代码)

场景:在使用了maskrcnn跑实验后标注了大量地json格式文件,现在打算使用yolo和fasterrcnn跑实验所以需要将之前地json文件转为xml但是找了很久,没发现有批量处理的代码,所以自己写了一个,经测可用。使用方法:将我代码拷贝入一个python文件中;修改34和35行对应参数json_path和xml_path,分别代表要转的json文件主目录(有json文件的上一级目录)和xml文件存放目录ps:前面加r是表示取消转义符下附代码====1

系统 2019-09-27 17:50:27 2307

Python

收藏整理的一些Python常用方法和技巧

1.逆转字符串的三种方法1.1.模拟C++中方法,定义一个空字符串来实现通过设置一个空字符串,然后讲参数中的字符串从后往前遍历,使用字符串的加法合并为新的字符串复制代码代码如下:defreverse(text):str=''index=len(text)-1whileindex>=0:str+=text[index]index-=1returnstr1.2.使用切片法这个是Python中的一个特性,切片可以取负值,这是采用切片的方法,设置步长为-1,这样就

系统 2019-09-27 17:46:56 2307

Python

Python画图实现同一结点多个柱状图的示例

如下所示:importnumpyasnpx=[1,2]#横坐标y=[3,4]#第一个纵坐标y1=[5,6]#第二个纵坐标x=np.arange(len(x))#首先用第一个的长度作为横坐标width=0.05#设置柱与柱之间的宽度fig,ax=plt.subplots()ax.bar(x,y,width,alpha=0.9)ax.bar(x+width,y1,width,alpha=0.9,color='red')ax.set_xticks(x+width

系统 2019-09-27 17:46:13 2307

Python

Python logging设置和logger解析

一、logging模块讲解1.函数:logging.basicConfig()参数讲解:(1)level代表高于或者等于这个值时,那么我们才会记录这条日志(2)filename代表日志会写在这个文件之中,如果没有这个字段则会显示在控制台上(3)format代表我们的日志显示的格式自定义,如果字段为空,那么默认格式为:level:log_name:contentimportloggingLOG_FORMAT="%(asctime)s======%(level

系统 2019-09-27 17:45:46 2307