说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1965
今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛
系统 2019-09-27 17:52:33 1965
通过可变参数计算n个数的乘积：代码如下：list=[]defthe_input(count=eval(input("输入乘数的总个数:"))):foriinrange(count):N=eval(input("依次输入乘数:"))list.append(N)print("一共有",count,"个要相乘的数")print("把这些乘放在列表里面:",list)the_input()defget_mul(*num):sum=1forninnum:sum=su
系统 2019-09-27 17:52:31 1965
1、数字普通除法print(7/3)2.3333333333333335地板除print(7//3)2取余print(7%3)1乘法print(7*3)21乘方print(3**3)27四则运算print((3*2)+5-(5*3))-42、字符串单引号和双引号作用一样print(‘hello’)print(“hello”)print("‘hello’")hellohello‘hello’将转义符原样输出print(r"hello\nworld")hell
系统 2019-09-27 17:51:24 1965
全民学python的热潮已经开启，然而，对于这种情况，还是有很多小伙伴私信我python到底该怎么入门？没接触过编程能学会吗？现在网上学习资料一搜一大把，正因为资料多了导致我们不知道如何是好！一个朋友问我：有个朋友要学习python，她属于那种特别能啃书的，让我推荐。我学python都是无师自通的，没有看过什么书，因此无法给她推荐，问我有什么意见？他那个朋友是零基础的，ctrl+c、ctrl+v用的贼溜。除此之外，计算机算是零基础了。对此我就感觉有点头疼了
系统 2019-09-27 17:51:19 1965
walker经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。相对时间>>>importtime#相对时间>>>startTime=time.time()>>>'%.2fs'%(time.time()-startTime)'24.51s'格式化当前时间#格式化当前时间>>>time.strftime('%Y-%m-%d%H:%M:%S',time.localtime())'2016-01-0510:34:06'时间戳与时间的转换
系统 2019-09-27 17:50:52 1965
Python中定义函数有两种方法，一种是用常规方式def定义，函数要指定名字，第二种是用lambda定义，不需要指定名字，称为Lambda函数。Lambda函数又称匿名函数，匿名函数就是没有名字的函数，函数没有名字也行？当然可以啦。有些函数如果只是临时一用，而且它的业务逻辑也很简单时，就没必要非给它取个名字不可。好比电影里面的群众演员，往往他们的戏份很少，最多是衬托主演，跑跑龙套，他们需要名字吗？不需要，因为他们仅仅只是临时出镜，下次可能就用不着了，所以犯
系统 2019-09-27 17:50:41 1965
阅读更多Python调用hanlp的方法此前有分享过，本篇文章分享自“逍遥自在017”的博客，个别处有修改，阅读时请注意！1.首先安装jpype首先各种坑，jdk和python版本位数必须一致，我用的是JPype1-py3版本号0.5.5.2、1.6jdk和Python3.5，win764位下亲测没问题。否则死翘翘，有可能虚拟机都无法启动：出错调试，原因已说；测试成功会有输出。下面启动虚拟机跑hanlp2.下载各种安装包使用自定义的HanLP——HanLP
系统 2019-09-27 17:50:23 1965
第四章，了不起的分支和循环4.1分支和循环Python主要依靠缩进来区分代码块4.2快速上手成绩按照分数来划分等级，90分以上为A，80~90为B，60~80为C，60以下为Dp4_1.pyscore=int(input("请输入一个分数："))if100>=score>=90:print("A")if90>score>=80:print("B")if80>score>=60:print("C")if60>score>=0:print("D")ifscor
系统 2019-09-27 17:50:06 1965
python自动化批量生成前端的HTML可以大大减轻工作量下面演示两种生成HTML的方法方法一：使用webbrowser#coding:utf-8importwebbrowser#命名生成的htmlGEN_HTML="test.html"#打开文件，准备写入f=open(GEN_HTML,'w')#准备相关变量str1='mynameis:'str2='--MichaelAn--'#写入HTML界面中message="""%s%s"""%(str1,str
系统 2019-09-27 17:49:58 1965
