在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 1988
在写程序时，我们经常需要定义一些路径常量，为了逻辑和代码的清晰，可以新建一个config.ini文件,然后调用其中的信息即可。config.ini文件格式如下：[section1]model_dir=/home/user/nlp-data/trained-model;注释save_input=./profiling/inputsave_state=./profiling/state......[section2]save_output=./profilin
系统 2019-09-27 17:51:24 1988
如下所示：#!/usr/bin/envpython#-*-coding:utf-8-*importserialimportserial.tools.list_portsport_list=list(serial.tools.list_ports.comports())iflen(port_list)<=0:print"TheSerialportcan'tfind!"else:port_list_0=list(port_list[0])port_serial
系统 2019-09-27 17:50:57 1988
python项目如何在另一个环境上重新构建项目所需要的运行环境依赖包？使用的时候边记载是个很麻烦的事情，总会出现遗漏的包的问题，这个时候手动安装也很麻烦，不能确定代码报错的需要安装的包是什么版本。这些问题，requirements.txt都可以解决！生成requirements.txt，有两种方式：第一种适用于单虚拟环境的情况：：pipfreeze>requirements.txt为什么只适用于单虚拟环境？因为这种方式，会将环境中的依赖包全都加入，如果使用
系统 2019-09-27 17:50:13 1988
目录logging模块利用配置加载logger方式一模板：logging.config.dictConfig(config_dict)logging模块利用配置加载loggerlogging.config模块提供了从配置加载创建logger等相关对象，并放入manager对象中进行缓存待用。所以记录下一般几种方式配置的范本模式，方便项目中copy直接修改使用。dictconfigreferences官档关于logging配置字典说明方式一模板：loggin
系统 2019-09-27 17:49:12 1988
withopen("1.txt")asf:whileTrue:line=f.readline()ifnotline:break;print(line.rstrip())
系统 2019-09-27 17:48:48 1988
本面试题题库，由公号：非本科程序员整理发布第1题：如何理解Django被称为MTV模式？这个题就是面向对象设计和设计模式的开始。你可能比较熟悉的模式叫做:MVC。说是ModelViewController，而在Django中因为Template来处理视图展现，所以称为:MTV。接下里会问到的就是分层的概念，有句话叫：“没有什么问题是不能通过增加一层解决的，如果有，那就再加一层。”当然还会有设计模式的一些原则等着你，比如开-闭原则、单一职责原则等。第2题：解
系统 2019-09-27 17:48:19 1988
Python下一切皆对象，每个对象都有多个属性(attribute)，Python对属性有一套统一的管理方案。__dict__与dir()的区别：dir()是一个函数，返回的是list；__dict__是一个字典，键为属性名，值为属性值；dir()用来寻找一个对象的所有属性，包括__dict__中的属性，__dict__是dir()的子集；并不是所有对象都拥有__dict__属性。许多内建类型就没有__dict__属性，如list，此时就需要用dir()来
系统 2019-09-27 17:48:14 1988
有很久没有更新我的博客了，在学习flask去了，别人都说flask不难，其实现在我也这么觉得，但是在刚接触的时候还是有点吃力的。在学习的过程中查阅了不少，也了解了许多，今天想做个总结。。。以免觉得学了那么久什么都没学到，还有防止以后忘记。一.关于装饰器，路由最开始接触的时候觉得好神奇，只会照着敲不知道怎么自己用起来@app.route（‘/'）defhello：print（‘hello'）注意：1.只有@这个东西是固定的，app是可以换的，这与蓝本中的定义
系统 2019-09-27 17:48:05 1988
2019中国好声音火热开播，作为一名“假粉丝”，这一季每一期都刷过了，尤其刚播出的第六期开始正式的battle。视频视频看完了，那看下大家都是怎样评论的。1.网页分析部分本文爬取的是腾讯视频评论，第六期的评论地址是：http://coral.qq.com/4093121984每页有10条评论，点击“查看更多评论”，可将新的评论加载进来，通过多次加载，可以发现我们要找的评论就在以v2开头的js类型的响应中。请求为GET请求，地址是http://coral.q
系统 2019-09-27 17:48:03 1988
