189 8069 5689

hive中任意相邻时间段数据获取

通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
hive中任意相邻时间段数据获取
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
hive中任意相邻时间段数据获取
其中 b.rn_b = a.rn - 1
4.两张表进行关联,获取进港、出港标签port_flag

创新互联基于成都重庆香港及美国等地区分布式IDC机房数据中心构建的电信大带宽,联通大带宽,移动大带宽,多线BGP大带宽租用,是为众多客户提供专业服务器托管报价,主机托管价格性价比高,为金融证券行业服务器托管,ai人工智能服务器托管提供bgp线路100M独享,G口带宽及机柜租用的专业成都idc公司。

select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flag
from  a
inner join  b on (a.bid = b.bid and a.rn = b.rn_b)

当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。

入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。


本文题目:hive中任意相邻时间段数据获取
文章来源:http://jkwzsj.com/article/gcppgd.html

其他资讯