从容器、可迭代对象谈起所有的容器都是可迭代的（iterable）,迭代器提供了一个next方法。iter()返回一个迭代器，通过next()函数可以实现遍历。defis_iterable(param):try:iter(param)returnTrueexceptTypeError:returnFalseparams=[1234,'1234',[1,2,3,4],set([1,2,3,4]),{1:1,2:2,3:3,4:4},(1,2,3,4)]forp
系统 2019-09-27 17:53:09 2125
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2125
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2125
工厂模式，类似实际的制造车间中，根据订单的需求来生成/创建某个实例。1.应用场景：需要创建的实例不确定，由输入的数据决定；2.实现方法：实现一个独立的类，接收传入的需要创建实例的名称，在该类中实现创建某个具体实例。3.代码：#coding:utf-8classPerson(object):def__init__(self):self.name=Noneself.gender=NonedefgetName(self):returnself.namedefge
系统 2019-09-27 17:52:30 2125
1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:
系统 2019-09-27 17:52:18 2125
本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考，具体如下：爬取的目标网页：http://www.qianlima.com/zb/area_305/这是一个招投标网站，我们使用python脚本爬取红框中的信息，包括链接网址、链接名称、时间等三项内容。使用到的Python库：BeautifulSoup、requests代码如下：#-*-coding:utf-8-*-importrequestsfr
系统 2019-09-27 17:52:10 2125
经典的汉诺塔问题：这里我们可以利用递归的思想去做，递归中重要的三步，我们逐条来实现：1、函数+分支结构2、递归链条3、递归基例函数+分支结构：defhanoi(n,start,end,mid):globalcountif:else:这里我们可以定义一个函数，里面的参数有：一共有n个圆盘，从start柱子移到end柱子，中间柱子为mid。这里定义一个全局变量来计算移动的步骤数，若为局部变量，会在函数内部不断初始化，所以需要定义全局变量。递归基例：ifn==1
系统 2019-09-27 17:52:07 2125
目录1.分支结构1.1初步介绍1.2使用案例1.3练习2.循环结构1.1初步介绍1.2使用案例1.分支结构1.1初步介绍至今，我们所写的Python代码都是顺序执行，但是有时候在代码中是需要进行逻辑判断的，比如用户输入用户名和密码，输入正确则验证通过，否则即验证失败。这个时候就会产生两个分支，而且两个分支只会有一条分支会走下去。当然，还有很多类似的场景，我们将这种结果称为"分支结构"或“选择结构”。语法格式：ifxxx1:事情1elifxxx2:事情2el
系统 2019-09-27 17:51:46 2125
一、新建云端notebook打开https://colab.research.google.com网站，我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码，过去都是使用邮箱，繁琐费事。现在一键分享，这里我是给自己的邮箱里转发然后大邓打开自己的邮箱，wow，6666三、团队成员可以评论代码比如在一个团队中，有的人写错了代码，我们可以在远隔十万八千的另外一台电脑上做评论，提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 2125
json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax，所以一
系统 2019-09-27 17:51:28 2125
平时见到的url参数都是key-value,一般vlaue都是字符串类型的如果有幸和我一样遇到字典，列表等参数，那么就幸运了python2代码importjsonfromurllibimporturlencode#1.直接将url编码params={"name":"Tom","hobby":["ball","swimming"],"books":[{"name":"语文","pages":20}]}print(urlencode(params))"""ho
系统 2019-09-27 17:51:13 2125
继上一篇文章使用xlrd来读Excel之后，这一篇文章就来介绍下，如何来写Excel，写Excel我们需要使用第三方库xlwt，和xlrd一样，xlrd表示readxls，xlwt表示writexls，同样目前版本只支持97-03版本的Excel。xlwt下载：xlwt0.7.4安装xlwt安装方式一样是pythonsetup.pyinstall就可以了，或者直接解压到你的工程目录中。API介绍获取一个xls实例复制代码代码如下:xls=ExcelWrit
系统 2019-09-27 17:51:03 2125
原文链接：https://www.cnblogs.com/Eva-J/articles/7228075.html什么是正则？假如现在你用python写一段代码，类似：phone_number=input('pleaseinputyourphonenumber：')你怎么判断这个phone_number是合法的呢？根据手机号码一共11位并且是只以13、14、15、16、17、18、19开头的数字这些特点，用python写如下代码：判断手机号码是否合法：#方法
系统 2019-09-27 17:50:16 2125
Pandas类似R语言中的数据框(DataFrame),Pandas基于Numpy,但是对于数据框结构的处理比Numpy要来的容易。1.Pandas的基本数据结构和使用Pandas有两个主要的数据结构：Series和DataFrame。Series类似Numpy中的一维数组，DataFrame则是使用较多的多维表格数据结构。Series的创建>>>importnumpyasnp>>>importpandasaspd>>>s=pd.Series([1,2,3
系统 2019-09-27 17:50:11 2125
客户要求将微信的带参二维码增加log,首次生成的时候log直接是个没颜色的，客户想要给点颜色看看，第一次生成图片如下生成的客户需要的原因是因为底图的数据通道和log的数据通道不同为L8像素黑白，log为RGB3x8位像素真彩通道一个图片可以包含一到多个数据通道，如果这些通道具有相同的维数和深度，Pil允许将这些通道进行叠加模式11位像素，黑和白，存成8位的像素L8位像素，黑白P8位像素，使用调色板映射到任何其他模式RGB3×8位像素，真彩RGBA4×8位像
系统 2019-09-27 17:48:30 2125
