前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1987
前提：python3.4windows作用：通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章，并将标题及相关链接导入Excel表格中说明：需xlsxwriter模块，另程序编写时间为2017/7/11，以免之后程序无法使用可能是网站做过相关改变，程序较为简单，除去注释40多行。正题：思路：打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作
系统 2019-09-27 17:54:31 1987
我们有时候会需要在网上查找并下载图片，当数量比较少的时候，点击右键保存，很轻松就可以实现图片的下载，但是有些图片进行了特殊设置，点击右键没有显示保存选项，或者需要下载很多图片，这样的情况，写一段Python爬虫代码就可以轻松解决!一、页面抓取#coding=utf-8importurllibdefgetHtml(url):page=urllib.urlopen(url)html=page.read()returnhtmlhtml=getHtml("http
系统 2019-09-27 17:54:24 1987
python具体强大的库文件，很多功能都有相应的库文件，所以很有必要进行学习一下，其中有一个ftp相应的库文件ftplib，我们只需要其中的登录功能，然后利用多线程调用相应字典里面的字段进行登录，还能根据自己的需要，根据自身的情况编写需要的程序，让程序代替我们去做一些枯燥的重复工作。下面直接上代码，下面是主文件复制代码代码如下:importosimporttimeimportthreadingclassmythread(threading.Thread):
系统 2019-09-27 17:54:23 1987
Python日期的加减等操作经常会用的，总结一下。1.日期输出格式化所有日期、时间的api都在datetime模块内。datetime=>stringnow=datetime.datetime.now()now.strftime('%Y-%m-%d%H:%M:%S')#输出2012-03-0516:26:23.870105strftime是datetime类的实例方法。2.string=>datetimet_str='2012-03-0516:26:23'
系统 2019-09-27 17:54:18 1987
getpwname只能得到gid一个username。importpwdmyGroupId=pwd.getpwnam(username).pw_gidgetgroups只能获取groups脚本用户。importosmyGroupIds=os.getgroups()我怎么能得到所有groups的任意一个username，比如id-Gn命令？id-Gn`whoami`解决方案#!/usr/bin/envpythonimportgrp,pwduser="myna
系统 2019-09-27 17:53:36 1987
python入门之语句，包括if语句、while语句、for语句，供python初学者参考。//if语句例子name='peirong';ifname=='peirong':print'thisispeirong';elifname=='maojun':print'thisismaojun';else:print'others';//while语句i=0;a=range(10);whilei
系统 2019-09-27 17:52:55 1987
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 1987
尽管内容可能有些老，但是没有关系，对于想深入Python开发的工作者，在选择GUI开发包，乃至可视化IDE方面都还有相当的借鉴意义。Python最大的特点就在于她的快速开发功能。作为一种胶水型语言，python几乎可以渗透在我们编程过程中的各个领域。这里我简单介绍一下用python进行gui开发的一些选择。1、TkinterTkinter似乎是与tcl语言同时发展起来的一种界面库。tkinter是python的配备的标准gui库，也是opensource的
系统 2019-09-27 17:52:05 1987
最近在工作中遇到一个问题，就是有一个功能希望在各种服务器上实现，而服务器上的系统版本可能都不一样，有的是CentOS6.x，有的是CentOS7.x。需要说明的一点是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，这意味着我要实现的功能要适配这两种版本的系统。你可能会说，这有什么的，自己写的时候，注意一下就好了。事情其实没有那么容易，我要实现的功能是基于一个框架进行定制，需要修改不少的框架代码
系统 2019-09-27 17:51:50 1987
