小白入门级爬虫创建Scrapy框架:使用PyCharmIDE可以快速的创建python项目集成了大量的插件供我们一键式使用快速添加依赖库例子:快速创建Scrapy项目安装PyCharm这个安装不是本文重点我就直接跳过了!!!!!!创建项目:PycharmIDE给我们集成了Virtualenv插件来创建项目的虚拟目录venv目录使用PycharmIDE创建的项目都会含有venv这个虚拟项目就像项目的依赖库一样项目创建完成后:使用PyCharmIDE快速安装库
系统 2019-09-27 17:51:52 1992
阅读更多操作列表#列表循环for循环(for**in**)1.注意使用for循环时print前要缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)#可在for循环中执行更多操作#2.不使用for循环时,切记print能缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)print("theyaresocute")#在
系统 2019-09-27 17:51:31 1992
python解析网页,无出BeautifulSoup左右,此是序言安装BeautifulSoup4以后的安装需要用eazy_install,如果不需要最新的功能,安装版本3就够了,千万别以为老版本就怎么怎么不好,想当初也是千万人在用的啊。安装很简单复制代码代码如下:$wget"http://www.crummy.com/software/BeautifulSoup/download/3.x/BeautifulSoup-3.2.1.tar.gz"$tarzx
系统 2019-09-27 17:51:29 1992
解决print()中文的乱码问题!!!#-*-coding:utf-8-*-importioimportsys#改变标准输出的默认编码(改变中文输出的乱码问题)sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')selenium+chrome浏览器进行爬虫下载chrome的浏览器驱动(http://chromedriver.storage.googleapis.com/index.ht
系统 2019-09-27 17:49:57 1992
由于客户提供的是excel文件,在使用时期望使用csv文件格式,且对某些字段内容需要做一些处理,如从某个字段中固定的几位抽取出来,独立作为一个字段等,下面记录下使用acaconda处理的过程;importpandasdf=pandas.read_excel("/***/***.xlsx")df.columns=[内部为你给你的excel每一列自定义的名称](比如我给我的excel自定义列表为:["url","productName","***",。。。,"
系统 2019-09-27 17:49:31 1992
一段时间没有使用python来写代码,就发现以前学习的很多语法都忘了。看来还是当初这方面的项目做的好不够多,没有系统性的运用和学习,导致了很多语法不能顺手拈来。在接下来的这个项目中,一定要把遇到的一些python知识不熟悉的地方还有遗忘的重新梳理一下,对python要达到灵活运用的境界,不能单纯是能敲代码,要达到学,做,教的三者合一。就是在做中学,学中做,做中教,教中学的境界。全局变量的作用域:一般在函数体外定义的变量成为全局变量,在函数内部定义的变量称为
系统 2019-09-27 17:49:09 1992
如果你花费了很多的时间去进行Django数据库事务处理的话,你将会了解到这是让人晕头转向的。在过去,只是提供了简单的基础文档,要想清楚知道它是怎么使用的,还必须要通过创建和执行Django的事务处理。这里有众多的Django事务处理的名词,例如:commit_on_success,commit_manually,commit_unless_maneged,rollback_unless_managed,enter_transaction_managemen
系统 2019-09-27 17:49:03 1992
使用socket实现tcp通信,需导入socket模块1、服务端主要步骤:(1)创建socket:socket.socket(family=AF_INET,type=SOCK_STREAM,proto=0,fileno=None)family:AF_INET,AF_INET6,AF_UNIX,AF_CAN,AF_PACKET,AF_RDStype:SOCK_STREAM,SOCK_DGRAM,SOCK_RAW,或者其他SOCK_*proto:一般使用默认值
系统 2019-09-27 17:48:40 1992
离线批量下载,首先可以使用:pipfreeze>requirements.txt可以将其中的==改成>=,批量修改即可使用命令,把下载的库放入dependency文件夹下:中途可能因为网络原因下载失败,再次执行该命令即可,已经下载好的包不会重复下载pipdownload-ddependency-rrequirements.txt批量离线安装:pipinstall--no-index--find-links=安装包路径-rrequirements.txt下载
系统 2019-09-27 17:47:58 1992
list是Python中使用最频繁的数据类型,标准库里面有丰富的函数可以使用。不过,如果把多维列表转换成一维列表(不知道这种需求多不多),还真不容易找到好用的函数,要知道Ruby、Mathematica、Groovy中可是有flatten的啊。如果列表是维度少的、规则的,还算好办例如:li=[[1,2],[3,4],[5,6]]print[jforiinliforjini]#orfromitertoolsimportchainprintlist(chain
系统 2019-09-27 17:38:27 1992