编程技术 - 军军小站|张军博客
Python

Python使用Selenium爬取淘宝异步加载的数据方法

淘宝的页面很复杂,如果使用分析ajax或者js的方式,很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:utf8importrefromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.ui

系统 2019-09-27 17:50:09 1806

Python

Python -- pycurl, mysqlclient, Django

前言本不想多说什么,年后在公司亲历一段别样经验,不想吐槽,只因吐槽不能改变任何现状。小姐心态,寡妇待遇,妇联追求,一份技术工作做出弯腰,低头,下跪,也是醉了。今年大环境不好,大厂裁员,人才过盛,好在自己还是去了符合自己意愿的公司。新工作快一个月,主要工作技术内容是一个Django的小东西,首先是需要从Python2迁移至Python3,简单带点重构。Python2迁移Python3运行环境服务run在docker里,启动方式里面没有嵌入太多环境变量,基本基

系统 2019-09-27 17:50:00 1806

Python

python原类、类的创建过程与方法详解

今天为大家介绍一下python中与class相关的知识……获取对象的类名python是一门面向对象的语言,对于一切接对象的python来说,咱们有必要深入的学习与了解一些知识首先大家都知道,要获取一个对象所对应的类,需要使用class来进行检索。但如果我们只是一个简单的赋值语句,能这么使用么?让我们看下下面的代码:num=10string='abc'classMainClass:passp=MainClass()print(num.__class__)#o

系统 2019-09-27 17:48:42 1806

Python

python中调试或排错的五种方法示例

前言本文主要给大家介绍了关于python中调试或排错的五种方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的的介绍吧python调试或排错的五种方法1、print,直接打印,比较简单而且粗暴在代码中直接输入print+需要输出的结果,根据打印的内容判断即可2、assert断言,很方便,测试人员常常在写自动化用例的时候用的比较多如下,直接将预期结果和实际结果做判断deftrue_code():x=3y=2z=x+yassert(5==z),"z不

系统 2019-09-27 17:48:41 1806

Python

Python数据类型 — 集合

集合是一个无序的,不重复的数据组合,它的主要作用如下:去重,把一个列表变成集合,就自动去重了关系测试,测试两组数据之前的交集、差集、并集等关系s=set([3,5,9,10])#创建一个数值集合t=set("Hello")#创建一个唯一字符的集合a=t|s#t和s的并集b=t&s#t和s的交集c=t-s#求差集(项在t中,但不在s中)d=t^s#对称差集(项在t或s中,但不会同时出现在二者中)基础功能List=[1,2,5,6,8]List=set(lis

系统 2019-09-27 17:48:36 1806

Python

“学了半年后,我要揭开Python 3宗罪!”

有人曾说,未来只有2种人,会Python的人和....不懂Python的小学生,虽有夸张,这也意味着Python越来越重要了,究竟这门语言厉害在哪里?以下为你总结了Python3宗“罪”!Python凭啥这么优秀?作为一个计算机初级爱好者,据笔者这些年敲过的代码所反馈(是的,我的代码是有灵魂的),他们还是比较喜欢Python,因为Python干净利索,简单直接。Python代码简洁易懂,同样的内容按照代码量计算,C++:Java:Python=1000:1

系统 2019-09-27 17:48:26 1806

Python

python数据结构和GIL及多进程

一数据结构和GIL1queue标准库queue模块,提供FIFO的queue、LIFO的队列,优先队列Queue类是线程安全的,适用于多线程间安全的交换数据,内部使用了Lock和Condition为什么说容器的大小不准确,其原因是如果不加锁,是不可能获取到准确的大小的,因为你刚读取了一个大小,还没取走,有可能被就被其他线程修改了,queue类的size虽然加了锁,但是依然不能保证立即get,put就能成功,因为读取大小和get,put方法是分来的。2GIL

系统 2019-09-27 17:48:10 1806

Python

Python包、模块、类以及遇到的问题

最近敲代码的时候主要遇到两大问题,第一个是构造自己包的时候找不到package。构造自己package谈两条经验,有助于解决这个问题。1自己构造包的名称尽量不要和Python自带的包重名,起的名字个性化一点。要不然出的bug都不知道错在哪2只要打算把这个文件夹当成一个包,就一定要在这个文件夹同一目录下新建一个__init__.py文件(内容可以为空)一般来说注意这两点,构建包就不成问题。在包的文件夹里面的.py文件称之为模块(文件名就是模块名),当然包里也

系统 2019-09-27 17:48:06 1806

Python

python学习笔记——递归与迭代详解

递归和迭代从本质上看都是循环的一种,递归通过在循环中调用自身,而迭代则通过某段代码实现循环一般来说:迭代的思想会使问题简单化,但计算过程会十分繁琐,因为参数要通过传递的形式先到达递归条件值,然后再一层一层返回,会占用大量内存,只适用于小型的问题求解。一、递归:它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解,递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算,大大地减少了程序的代码量注意:递归就是在过程或函数里面调用自身

系统 2019-09-27 17:47:18 1806

Python

Python函数参数类型*、**的区别

刚开始学习python,python相对于java确实要简洁易用得多。内存回收类似hotspot的可达性分析,不可变对象也如同java得Integer类型,with函数类似新版本C++的特性,总体来说理解起来比较轻松。只是函数部分参数的"*"与"**",闭包等问题,着实令人迷糊了一把,弄清概念后写下此文记录下来,也希望本文能够帮助其他初学者。所以本文是一篇学习笔记,着重于使用的细节和理解上,首先分别介绍了函数各种参数类型在调用和声明时的区别,及其在混用时需

系统 2019-09-27 17:47:08 1806

Python

python学习笔记——循环退出的几种方式

在这里主要讨论的是while循环,for循环通过迭代对象退出。由于while循环通常不知道循环的次数,所以对于while循环,它的几种应用场景导致退出条件设置的不同。一、让用户选择何时退出:定义退出变量可使用while循环让程序在用户在愿意的时不断运行,在其中定义一个退出值,只要用户输入的不是这个,程序就接着运行。我们小时候玩游戏的经常会遇到,当人物死亡的时候,界面会跳出重新开始游戏or结束游戏,结束游戏就相当于我们设置的退出值。形式如下:active=T

系统 2019-09-27 17:46:45 1806

Python

Python需要用什么开发工具 如何开始Python学习

刚开始学习Python就开始遇到难题了,对于PythonIDE都比较纠结,希望找到一些适合自己的、Python开发工具。本篇给大家分享几款Python开发工具,供正在纠结用哪种开发工具的小伙伴们参考~对于学习Python的小伙伴,首推的Pycharm。首先,PyCharm用于一般IDE具备的功能,比如,调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制另外,PyCharm还提供了一些很好的功能用于Django开发,同时支持

系统 2019-09-27 17:46:35 1806

Python

Python深入学习之对象的属性

Python一切皆对象(object),每个对象都可能有多个属性(attribute)。Python的属性有一套统一的管理方案。属性的__dict__系统对象的属性可能来自于其类定义,叫做类属性(classattribute)。类属性可能来自类定义自身,也可能根据类定义继承来的。一个对象的属性还可能是该对象实例定义的,叫做对象属性(objectattribute)。对象的属性储存在对象的__dict__属性中。__dict__为一个词典,键为属性名,对应的

系统 2019-09-27 17:45:47 1806

Python

安装ElasticSearch搜索工具并配置Python驱动的方法

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。我们建立一个网站或应用程序,并要添加搜索功能,令我们受打击的是:搜索工作是很难的。我们希望我们的搜索解决方案要快,我们希望有一个零配置和一个

系统 2019-09-27 17:45:44 1806

Python

Python多进程入门、分布式进程数据共享实例详解

本文实例讲述了Python多进程入门、分布式进程数据共享。分享给大家供大家参考,具体如下:python多进程入门https://docs.python.org/3/library/multiprocessing.html1、先来个简单的#coding:utf-8frommultiprocessingimportProcess#定义函数defaddUser():print("addUser")if__name__=="__main__":p1=Process

系统 2019-09-27 17:45:24 1806