一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据，我们的愿望是尽量让pandas继续发挥其优势，而不是换用其他工具。本文我们
系统 2019-09-27 17:49:29 1710
常见的排序算法：冒泡排序，选择排序，插入排序，希尔排序，快速排序，堆排序，归并排序。冒泡排序原理：两两元素进行比较，每一趟能够确定最大元素的位置，稳定算法defbubble_sort(alist):'''冒泡排序'''#[5,4,3,2,1][4,5,3,2,1][4,3,5,2,1][4,3,2,5,1][4,3,2,1,5]n=len(alist)foriinrange(n):#count=0forjinrange(0,n-1):ifalist[j]>
系统 2019-09-27 17:49:28 1710
1动机greenlet包是Stackless的副产品，其将微线程称为“tasklet”。tasklet运行在伪并发中，使用channel进行同步数据交换。一个”greenlet”，是一个更加原始的微线程的概念，但是没有调度，或者叫做协程。这在你需要控制你的代码时很有用。你可以自己构造微线程的调度器；也可以使用”greenlet”实现高级的控制流。例如可以重新创建构造器；不同于Python的构造器，我们的构造器可以嵌套的调用函数，而被嵌套的函数也可以yiel
系统 2019-09-27 17:49:28 1710
循环结构的应用场景如果在程序中我们需要重复的执行某条或某些指令，例如用程序控制机器人踢足球，如果机器人持球而且还没有进入射门范围，那么我们就要一直发出让机器人向球门方向奔跑的指令。当然你可能已经注意到了，刚才的描述中其实不仅仅有需要重复的动作，还有我们上一个章节讲到的分支结构。再举一个简单的例子，比如在我们的程序中要实现每隔1秒中在屏幕上打印一个"hello,world"这样的字符串并持续一个小时，我们肯定不能够将print('hello,world')这
系统 2019-09-27 17:49:22 1710
具体代码如下所示：importsmtplib,email,os,timefromemail.mime.multipartimportMIMEMultipartfromemail.mime.textimportMIMETextfromemail.headerimportHeader#设置smtplib所需的参数smtpserver='smtp.qq.com'#SMTP服务器地址username='xxx@qq.com'#发件人地址，通过控制台创建的发件人地址
系统 2019-09-27 17:49:18 1710
本文实例讲述了Python文件的读写操作。分享给大家供大家参考，具体如下：读写文件读取文件f=open('my_path/my_file.txt','r')#open方法会返回文件对象file_data=f.read()#通过read方法获取数据f.close()#关闭该文件首先使用内置函数open打开文件。需要文件路径字符串。open函数会返回文件对象，它是一个Python对象，Python通过该对象与文件本身交互。在此示例中，我们将此对象赋值给变量f。
系统 2019-09-27 17:49:16 1710
目录logging模块利用配置加载logger方式一模板：logging.config.dictConfig(config_dict)logging模块利用配置加载loggerlogging.config模块提供了从配置加载创建logger等相关对象，并放入manager对象中进行缓存待用。所以记录下一般几种方式配置的范本模式，方便项目中copy直接修改使用。dictconfigreferences官档关于logging配置字典说明方式一模板：loggin
系统 2019-09-27 17:49:12 1710
本文实例讲述了python+numpy实现的基本矩阵操作。分享给大家供大家参考，具体如下：#!usr/bin/envpython#coding:utf-8#学习numpy中矩阵的代码笔记#2018年05月29日15:43:40#参考网站：http://cs231n.github.io/python-numpy-tutorial/importnumpyasnp#==================矩阵的创建，增删查改，索引，运算===============
系统 2019-09-27 17:49:00 1710
1.1安装模块pipinstallpykafka1.2基本使用#-*coding:utf8*-frompykafkaimportKafkaClienthost='IP:9092,IP:9092,IP:9092'client=KafkaClient(hosts=host)#生产者topicdocu=client.topics['my-topic']producer=topicdocu.get_producer()foriinrange(100):printi
系统 2019-09-27 17:48:56 1710
python基础学习笔记（二）2013-02-2416:25虫师阅读(...)评论(...)编辑收藏继续第一篇的内容，讲解，python的一些基本的东西。注释为了让别人能够更容易理解程序，使用注释是非常有效的，即使是自己回头再看旧代码也是一样。>>>#获得用户名：>>>user_name=raw_input("whatisyourname?")在python中用井号（#）表示注释。井号（#）右边的内存将不被程序执行。即使没有注释，也应该让代码本身易于理解。
系统 2019-09-27 17:48:56 1710
