编程技术

淘宝数据魔方技术架构解析

淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。为此,我们进行了一系列数据产品的研发,比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲,数据产品的研发难度并不高;但在“海量”的限定下,数据产品的计算、存储和检索难度陡

系统 2019-08-12 09:30:09 2187

编程技术

23种设计模式(5):原型模式

文章来源:http://blog.csdn.net/zhengzhb/article/details/7393528定义:用原型实例指定创建对象的种类,并通过拷贝这些原型创建新的对象。类型:创建类模式类图:原型模式主要用于对象的复制,它的核心是就是类图中的原型类Prototype。Prototype类需要具备以下两个条件:实现Cloneable接口。在java语言有一个Cloneable接口,它的作用只有一个,就是在运行时通知虚拟机可以安全地在实现了此接口

系统 2019-08-12 09:29:31 2187

编程技术

利用freemarker做html页面静态化

背景:对实时性要求不高的网站需要静态化操作,那么我们基于freemarker做静态化处理环境:org.freemarkerfreemarker2.3.20commons-loggingcommons

系统 2019-08-12 09:29:27 2187

Python

python跳出双层for循环的解决方法

一.问题描述在二维数组的遍历中,我们经常使用双层for循环。在某些时候,我们并不需要遍历整个二维数组。当条件满足时就应该终止for循环。但是,直接在内层循环中break并不会让外层循环也终止。二.解决方案使用for...else...语法解决。foriinrange(5):forjinrange(5):print(i,j)ifi==3andj==3:breakelse:continuebreak当次循环正常结束的时候才会执行else中的语句(如果当次循环执

系统 2019-09-27 17:57:26 2186

Python

python多进程和多线程究竟谁更快(详解)

python3.6threading和multiprocessing四核+三星250G-850-SSD自从用多进程和多线程进行编程,一致没搞懂到底谁更快。网上很多都说python多进程更快,因为GIL(全局解释器锁)。但是我在写代码的时候,测试时间却是多线程更快,所以这到底是怎么回事?最近再做分词工作,原来的代码速度太慢,想提速,所以来探求一下有效方法(文末有代码和效果图)这里先来一张程序的结果图,说明线程和进程谁更快一些定义并行是指两个或者多个事件在同一

系统 2019-09-27 17:54:48 2186

Python

Python中的高阶函数(内置高阶函数map()、reduce

一、什么是高阶函数在计算机编程语言中,高阶函数指的是接受函数作为输入或输出的函数。二、高阶函数的特性函数本身也可以赋值给变量变量可以指向函数f=abs#abs()取绝对值函数,将函数赋给变量fprint(f(-10))#输出结果-10的绝对值三、内置高阶函数map()map():接收两个参数,一个是函数一个是序列map()将传入的函数依次作用到序列的每个元素,并且把结果作为新的序列返回例:对一个序列[-1,3,-4,-5]的每一个元素求绝对值代码:结果:例

系统 2019-09-27 17:54:46 2186

Python

【python】Mac在Pycharm中导入python3.6(简单易行)

整理一下配置的过程。mac自带python2.7,但是python3.6和python2.7在很多地方上还是有一些差别的,还是使用目前比较主流的3.6吧。官网下载python3.6https://www.python.org/downloads/mac-osx/选一个你喜欢的版本下载,我下的是3.6.8按照提示一步步安装就好,最终会出现:用IDLE写代码太boring了,我比较喜欢用Pycharm在终端Installpython3如果电脑里没有Homebr

系统 2019-09-27 17:54:32 2186

Python

Python自动化构建工具scons使用入门笔记

这段时间用到了scons,这里总结下,也方便我以后查阅。一、安装sconsLinux环境(以CentOS为例)1、yum安装yuminstallscons2、源码安装下载scons:http://http://jaist.dl.sourceforge.net/project/scons/scons/2.3.0/scons-2.3.0.zip安装scons:pythonsetup.pyinstall二、scons常用命令scons-c:可以清除生成的临时文件

系统 2019-09-27 17:51:49 2186

Python

Python集训营45天—Day04 (函数)

目录1.函数介绍2.函数的参数3.模块与函数4.递归函数5.匿名函数6.多返回值python的学习已经进入到第四天,前面几章我们已经学会了基本的变量操作,以及分支结构和循环结构,那么本章,我们来说说python中的函数1.函数介绍在开发程序中,如果需要调用某段代码多次,但是为了提高编写的效率以及代码的可重用性,所以把具有独立功能的代码块组织成一个独立的小模块,这就是函数。在Python中可以使用def关键字来定义函数,和变量一样每个函数也需要声明一个符合命

系统 2019-09-27 17:50:11 2186

Python

Python3 中的循环语句有 for 和 while。

while循环Python中while语句的一般形式while判断条件:语句while有限循环n=100sum=0counter=1whilecounter<=n:sum=sum+countercounter+=1print("1到%d之和为:%d"%(n,sum))while无限循环我们可以通过设置条件表达式永远不为false来实现无限循环,实例如下:var=1whilevar==1:#表达式永远为truenum=int(input("输入一个数字:")

系统 2019-09-27 17:49:30 2186

Python

【python】Leetcode(Map)

文章目录785.判断二分图(图DFS,染色)207.课程表(拓扑排序,有向无环图)684.冗余连接(并查集)695.岛屿的最大面积(DFS)200.岛屿数量(DFS)463.岛屿的周长785.判断二分图(图DFS,染色)给定一个无向图graph,当这个图为二分图时返回true。如果我们能将一个图的节点集合分割成两个独立的子集A和B,并使图中的每一条边的两个节点一个来自A集合,一个来自B集合,我们就将这个图称为二分图。graph将会以邻接表方式给出,grap

系统 2019-09-27 17:49:17 2186

Python

python读出当前时间精度到秒的代码

导入time这个包就可以通过它获取是时间#-*-coding:UTF-8-*-importtimeprint(time.time())#输出:1562304217.5744529通过执行上面代码后我们发现我们得到的是一个时间戳,这个时间戳是根据1970年到现在的秒数据但是很多人需求并不要一个时间戳,而是要所有人都看的懂的(年月日,时分秒)所以我们需要将这个时间戳进行计算,一分钟是60秒,所以我们就要算分钟,这些是可以通过模运算来解决这个问题的。不过已经有人

系统 2019-09-27 17:48:52 2186

Python

Python实现计算文件夹下.h和.cpp文件的总行数

平时自己写了很多代码,但从没好好计算总共写了多少行,面试时被问起来,就傻了。。。闲来无事,写个python程序来统计下importos################################################################################defcalcLine(baseDir):lineCount=0try:forfileNameinos.listdir(baseDir):fullPath=baseD

系统 2019-09-27 17:48:48 2186

Python

一行python实现树形结构的方法

定义使用内置的defaultdict我们可以很容易的定义一个树形数据结构deftree():returndefaultdict(tree)example:json风格users=tree()users['harold']['username']='bell'users['handler']['username']='master'我们可以使用print(json.dumps(users))以json的形式输出,于是我们看到{'harold':{'usern

系统 2019-09-27 17:47:35 2186

Python

Python正则表达式匹配HTML页面编码

html页面一般都会指定一个编码,如何获取到是处理html页面的第一步,因为错误的编码必然带来后面处理的问题。这里我用python的正则表达式写了个:importrea=["",'','','','','','']b="

系统 2019-09-27 17:47:13 2186