hadoop平台使用以及hive命令

本篇文章记录了自己来公司之后的一些操作，因为公司有保密要求，故所以涉及到密码之类的都会屏蔽掉。我们团队在公司负责的业务就是推荐广告，计算广告的ctr和cvr。处理的数据主要是服务器端生成的日志，按照类别主要有六个日志，ct_show,action，click，down，land，inview，其中ct_show包含了我们所有的信息。由于log的数据量很大，所以我们的操作都是在hadoop平台上进行的。我们在自己的电脑先登录到hadoop的开发机上，然后用开发机进行数据处理工作，目前有两种方式可以远程登录另一终端，在windows上面可以用ssh，在linux上面，自己配置脚本，输入终端机的ip，mima，端口或者是终端名字和密码。连接上终端之后就可以进行数据处理工作了。本篇文章记录了自己来公司之后的一些操作，因为公司有保密要求，故所以涉及到密码之类的都会屏蔽掉。