最近正在进行ETL后台系统数据的日志分析,查看运行耗时长的TASK,并找出耗时长的JOB,进行逻辑层面和数据库层面的优化.本文仅从数据库层面上的优化着手(包括SQL语句的调整以及greenplumtabledk的调整).查看一个耗时30分钟左右的JOB,找到相应的源表,进行如下分析:dw=#selectgp_segment_id,count(*)fromtb_namegroupbygp_segment_idorderbycount(*)descgp_seg
系统 2019-08-12 01:54:28 2200
http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemCode=3602省赛的C题，方法是hash每个节点定义的状态。关键貌似要直接DFS递归会爆栈，所以我手写了一个栈模拟。下面还是贴没有模拟栈之前的代码，提交会sf，不过看起来会好理解很多，模拟部分可以自己去写。ViewCode1#include2#include3#include4#inclu
系统 2019-08-12 01:54:26 2200
sql日期函数1.一个月第一天的SelectDATEADD(mm,DATEDIFF(mm,0,getdate()),0)2.本周的星期一SelectDATEADD(wk,DATEDIFF(wk,0,getdate()),0)3.一年的第一天SelectDATEADD(yy,DATEDIFF(yy,0,getdate()),0)4.季度的第一天SelectDATEADD(qq,DATEDIFF(qq,0,getdate()),0)5.当天的半夜SelectD
系统 2019-08-12 01:54:18 2200
数据库结构仍然同我之前发的为同一个
大家都在讨论关于数据库优化方面的东东，刚好参与开发了一个数据仓库方面的项目，以下的一点东西算是数据库优化方面的学习+实战的一些心得体会了，拿出来大家共享。欢迎批评指正阿！SQL语句：是对数据库(数据)进行操作的惟一途径；消耗了70%~90%的数据库资源；独立于程序设计逻辑，相对于对程序源代码的优化，对SQL语句的优化在时间成本和风险上的代价都很低；可以有不同的写法；易学，难精通。SQL优化：固定的SQL书写习惯，相同的查询尽量保持相同，存储过程的效率较高。
系统 2019-08-12 01:52:18 2200
常用终端命令(python虚拟环境+git)基础新建文件夹mkdir[文件夹名]新建文件touch[文件名]编辑文件vi[文件名]查看当前文件夹位置中的所有文件ls(-a/-all)-a:显示隐藏文件；-all:显示隐藏文件和属性python虚拟环境jupyternotebook添加虚拟环境变量（需要在该变量中）python-mipykernelinstall(--user)--name[环境名称]--display-name"[显示的名称]"#####查
系统 2019-09-27 17:56:37 2199
python字符串和日期之间转换StringAndDate这里给出实现代码，直接可以使用。大家可以看下。实例代码：'''''Createdon2013-7-25@author:Administrator'''fromdatetimeimportdatetimeclassStringAndDate(object):'''''StringtoDate(datetime)ordatetostring'''defstringToDate(self,string):
系统 2019-09-27 17:55:46 2199
函数也是对象要理解Python装饰器，首先要明白在Python中，函数也是一种对象，因此可以把定义函数时的函数名看作是函数对象的一个引用。既然是引用，因此可以将函数赋值给一个变量，也可以把函数作为一个参数传递或返回。同时，函数体中也可以再定义函数。装饰器本质可以通过编写一个纯函数的例子来还原装饰器所要做的事。defdecorator(func):defwrap():print("Doingsometingbeforeexecutingfunc()")fun
系统 2019-09-27 17:55:37 2199
作者|喵叔责编|胡巍巍出品|CSDN（ID：CSDNnews）爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。智能爬虫目前有三种：1.基于网页内容的爬虫当网页含有大量需要提取的信息时，我们就需要用到基于网页内容的爬虫。该爬虫会将HTML视为文本并利用NLP技术进行处理。虽然说这种基于网页内容的爬虫可以
系统 2019-09-27 17:55:06 2199
阅读更多注：笔记2已补全#首字母大写.title()#.append()方法：可在列表或元组末尾添加元素主要在for循环中常用#在提列表元素是的索引是从0开始，负数表示倒数，没有索引则默认是第一个元素或者最后一个元素#列表排序详细在笔记1中###for循环##可参考笔记2#for**in**：下的代码缩进则表示要循环，没缩进则不循环#“：”一定要带上#创建不同类型的数值列表a=list(range(2,5,1))#(A,B,c)指的是从A开始数（包括A）往
系统 2019-09-27 17:54:53 2199
