查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

zjcjack的博客

 
 
 
 
 
 
AshishiThusoo是Qubole联合创始人兼CEO。Qubole是一个建设云平台进行数据分析和处理的创业企业。在创办Qubole之前,ASHISH负责Facebook数据基础设施团队。在他...

作者  | 2012-7-28 22:21:54 | 阅读(287) |评论(0) | 阅读全文>>

前Facebook“大数据”主管的6条心得

2012-7-28 22:18:22 阅读123 评论0 282012/07 July28


阿施什·图苏尔(Ashish Thusoo)非常了解“大数据”(Big Data)。他在2007年加入Facebook,当时该公司只有5,000万用户。他离开公司的时候,该数字已经达到约8亿。在此期间,他管理Facebook的内部数据分析团队。

Facebook的分析团队管理这些数据及其分析,从而用于广告定位、客户增长以及提高用户参与度。现在图苏尔拥有一家新公司Qubole,该公司现在正打造云计算的“大数据”平台。

图苏尔的各项心得其实有一个统一的主题,那就是数据的民主化。对此,他的意思是向组织内所有用户开放数据分析,无论是数据科学家、产品工程师还是商业分析师。

作者  | 2012-7-28 22:18:22 | 阅读(123) |评论(0) | 阅读全文>>

前Facebook“大数据”主管的6条心得

2012-7-28 22:18:21 阅读109 评论0 282012/07 July28


阿施什·图苏尔(Ashish Thusoo)非常了解“大数据”(Big Data)。他在2007年加入Facebook,当时该公司只有5,000万用户。他离开公司的时候,该数字已经达到约8亿。在此期间,他管理Facebook的内部数据分析团队。

Facebook的分析团队管理这些数据及其分析,从而用于广告定位、客户增长以及提高用户参与度。现在图苏尔拥有一家新公司Qubole,该公司现在正打造云计算的“大数据”平台。

图苏尔的各项心得其实有一个统一的主题,那就是数据的民主化。对此,他的意思是向组织内所有用户开放数据分析,无论是数据科学家、产品工程师还是商业分析师。

作者  | 2012-7-28 22:18:21 | 阅读(109) |评论(0) | 阅读全文>>

scribe thrift编译scribe客户端

2012-7-5 22:43:33 阅读380 评论0 52012/07 July5

简单说一下,Scribe是Facebook开源的分布式日志搜集系统,架构简单,日志格式灵活,且支持异步发送消息和队列。非常适合用于用户行为分析的基础数据收集,支持hadoop。配合thrift,可以跨语言和平台进行数据收集,非常优秀,性能也非常卓越。

Scribe提供两种不同的架构可供选择,单Server,或C/S。从系统调用上说,Scribe之所以性能卓越,是因为采用了epoll方式,这个就不解释了。简单描述一下Scribe可以设置的几种架构方式。

作者  | 2012-7-5 22:43:33 | 阅读(380) |评论(0) | 阅读全文>>

Scribe核心分析

2012-7-5 22:35:38 阅读389 评论0 52012/07 July5

Facebook Scribe日志聚合系统有三个核心内容:Configurarion(配置)Running Scribe Server(运行服务器)Logging messages(记录日志)。

Logging Messages(记录日志)

Scribe 执行下面thrift接口:

作者  | 2012-7-5 22:35:38 | 阅读(389) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

福建省 福州市

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
博友列表加载中...
 
 
 
 
 

发现好博客

 
 
列表加载中...
 
 
 
 
 
 
 
列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注