编程技术

Twitter系统运维经验

最近看到的另外一个介绍Twitter技术的视频[Slides][Video(GFWed)],这是Twitter的JohnAdams在Velocity2009的一个演讲,主要介绍了Twitter在系统运维方面一些经验。本文大部分整理的观点都在Twitter(@xmpp)上发过,这里全部整理出来并补充完整。Twitter没有自己的硬件,都是由NTTA来提供,同时NTTA负责硬件相关的网络、带宽、负载均衡等业务,Twitteroperationsteam只关注核

系统 2019-08-29 22:12:49 2388

编程技术

【Lucene3.0 初窥】数据源内存组织结构—Docume

在检索数据的时候,我们很希望可以检索出数据源的各种信息。就比如检索磁盘文件,可以检索出文件的路径,名字,内容,修改时间等等。再比如检索图书的书号、书名、作者、出版时间....Lucene是如何组织这些数据源的不同属性信息呢?Lucene数据源组织结构org.apache.lucene.document包中有两个很重要的类:Document和Field。这两个类将杂乱无章的数据形式组织成可以被Lucene使用的内存数据结构。Field类的作用主要是用来表示当

系统 2019-08-29 21:59:48 2388

编程技术

红寺堡(两首)

红寺堡镇漠漠平林一望中,参差新瓦绿映红。古今画手知多少,除却松嵒无此工。注:松嵒,即钱松嵒(1899.9-1985.9),当代画家。是当代中国山水画主要代表人之一。红寺堡农村所见家家新房少妇姑,户户微香无瓦炉。又是一年春事了,葡园麦地笑相呼。红寺堡(两首)

系统 2019-08-12 01:32:47 2388

Python

Windows 中 Python 多版本共存问题

Windows中Python多版本共存问题(Windows10)很多时候,一个版本的python无法满足需求,就需要在一台机器上面安装多个版本的python在Linux系统中安装多版本很容易,今天在此记录一下在Windows中进行多版本Python安装首先需要去到Python官网下载两个版本的Python由于我经常使用的是Python3版本,所以我先安装的是Python3版本,正常安装过后,将Python3安装路径加入到PATH环境变量中分别为:(每个人的

系统 2019-09-27 17:56:31 2387

Python

Python写的一个定时重跑获取数据库数据

做大数据的童鞋经常会写定时任务跑数据,由于任务之间的依赖(一般都是下游依赖上游的数据产出),所以经常会导致数据获取失败,因为很多人发现数据失败后都会去查看日志,然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数,如果失败后自动重新去获取,直到把数据获取到。建数据表:CREATETABLE`testtable`(2`id`int(11)unsignedNOTNULLAUTO_INCREMENT,3`name`varchar(20)NOTNUL

系统 2019-09-27 17:56:10 2387

Python

python分割列表(list)的方法示例

前言在日常开发中,有些API接口会限制请求的元素个数,这时就需要把一个大列表分割为固定的小列表,再进行相关处理,本文搜集了几个简单的方法,分享出来供大家参考学习,下面来看看详细的介绍:方法示例#1.分割大列表为三个元素的小列表,不够三个元素的亦当成一个列表输出In[17]:lstOut[17]:[0,1,2,3,4,5,6,7,8,9]In[18]:foriinrange(0,len(lst),3):...:printlst[i:i+3]...:[0,1,

系统 2019-09-27 17:55:42 2387

Python

六行python代码的爱心曲线详解

前些日子在做绩效体系的时候,遇到了一件�迨拢�居然忘记怎样在Excel上拟合正态分布了,尽管在第二天重新拾起了Excel中那几个常见的函数和图像的做法,还是十分的惭愧。实际上,当时有效偏颇了,忽略了问题的本质,解决数据分析和可视化问题,其实也是Python的拿手好戏。例如,画出指定区间的一个多项式函数:Python代码如下:importnumpyasnpimportmatplotlib.pyplotaspltX=np.linspace(-4,4,1024)

系统 2019-09-27 17:54:54 2387

Python

python数据可视化_Matplotlib

说明:本文为博主原创文章,未经博主允许不得转载。如果代码有不懂的,欢迎与我探讨!邮箱:1103540209@qq.comgithub地址:https://github.com/wstchhwp文章目录1.Matplotlib基本概念2.Matplotlib三层结构容器层辅助显示层图像层总结3.plt的基本用法3.1Figure对象3.2plot的使用3.3如何在同一个figure内部设置多个图片3.4如何调整subplot的间距4.参考可视化是在整个数据挖

系统 2019-09-27 17:54:39 2387

Python

Python 自动补全(vim)

一、vimpython自动补全插件:pydiction可以实现下面python代码的自动补全:1.简单python关键词补全2.python函数补全带括号3.python模块补全4.python模块内函数,变量补全5.frommoduleimportsub-module补全想为vim启动自动补全需要下载插件,地址如下:http://vim.sourceforge.net/scripts/script.php?script_id=850https://git

系统 2019-09-27 17:53:32 2387

Python

python中package使用的几个点子

1、一个python的package文件夹中__init__.py文件是在引用该包时,首先运行的一个文件。正常情况下,我们没有对它进行编辑时,默认为空。2、utils.py文件中存储一些常见的公用的函数、方法。项目不同,里面内容也不一定相同。在调用时,可直接用“fromutilsimport函数名”即可。但有时候公用的函数过多,一个py文件最多放上400~500行的话,一个utils文件根本不够,这种情况下,我们需要将这些函数分放在多个文件中,然后将多个文

系统 2019-09-27 17:50:28 2387

Python

Python实现向钉钉群发送消息通知

一钉钉机器人使用场景钉钉机器人是钉钉群的高级扩展功能,可以简单实现将第三方服务信息聚合到钉钉群中,实现信息的自动同步,常用场景如下:聚合Github、Gitlab等源码管理服务,实现源码更新同步;聚合Trello、JIRA等项目协调服务,实现项目信息同步;支持Webhook自定义接入,实现更多可能性,例如:运维报警、自动化测试结果报告、工作&生活日程安排(上班打卡、下班吃饭、健身、读书、生日、纪念日...)的提醒;二获取自定义机器人的hook地址1.Web

系统 2019-09-27 17:48:56 2387

Python

Python操作json数据的一个简单例子

更多的信息,可以参考python内部的json文档:python>>>help(json)或者官方文档:http://docs.python.org/library/json.html#module-json.下面给出一个使用python解析json的简单例子:复制代码代码如下:#!/usr/bin/pythonimportjson#Function:Analyzejsonscript#Jsonisascriptcandescriptdatastructu

系统 2019-09-27 17:48:31 2387

Python

使用 Python 获取 Linux 系统信息的代码

哪个Python版本?当我提及Python,所指的就是CPython2(准确的是2.7).我会显式提醒那些相同的代码在CPython3(3.3)上是不工作的,以及提供一份解释不同之处的备选代码。请确保你已经安装了CPython,在终端上输入python或者python3回车,然后你在终端上应该能看到python的提示符(prompt)。请注意,所有的程序在它们第一行都是#!/usr/bin/env/python,也就是说,我们想要Python的解释器来执行

系统 2019-09-27 17:47:31 2387