大数据开发之Yarn和Spark UI界面获取的方法
一、Yarn
以获取Yarn界面队列信息为例:
1. 接口(HTTP Request)
http://ip:port/ws/v1/cluster/scheduler
ip和port:Yarn ResourceManager active节点的ip地址和端口号
2. 请求方式
GET
3. Response Header
: : : ()
4. Response Body
Yarn web ui显示的队列信息:
请求http://bigdatalearnshare01:8088/ws/v1/cluster/scheduler:
{ :{ :{ :, :, :, :, :, :{ :[ { :, :, :, :, :, :, :, :, :, :, :{:,:}, :, :[], :, :, :, :{ :[ {:,:,:,:, :,:, :,:} ] }, :{ :[ { :, :{:,:}, :{:,:}, :{:,:}, :{:,:}, :{:,:} } ] }, :, :, :, :, :, :, :{ :[ { :, :{ :, : }, :, :, :{ :, : }, :{ :, : }, . .
二、Spark UI
以获取Spark UI界面executors指标信息为例:
以bigdatalearnshare01:8088的Yarn上的Spark应用大数据培训实例为例,对应的Spark UI界面Executors主要信息如下:
Spark提供了很多接口去获取这些信息,比如:
赞 (0)