HADOOP伪分布式运行启动后,会有一个主节点(Master)和一个或多个从节点(Slave)。在伪分布式模式下,主节点负责管理整个集群的运行,而从节点则负责执行任务。
在HADOOP中,进程主要分为以下几类:
1. 用户进程(User Process):这是用户在本地运行的程序,它们与Hadoop集群进行交互,如提交作业、查看作业状态等。用户进程通常使用Java编写,并连接到Hadoop的RPC接口。
2. YARN进程(YARN Process):这是YARN(Yet Another Resource Negotiator)进程,它负责管理Hadoop集群的资源分配和调度。YARN进程使用Java编写,并连接到Hadoop的RPC接口。
3. Hadoop守护进程(Hadoop Daemon Process):这是Hadoop的核心组件,负责维护集群的状态和资源。Hadoop守护进程使用C++编写,并连接到Hadoop的RPC接口。
4. 数据流处理进程(Data Stream Process):这是用于处理HDFS中的文件系统的数据流。数据流处理进程使用Java编写,并连接到Hadoop的RPC接口。
5. 网络通信进程(Network Communication Process):这是负责处理集群之间的网络通信。网络通信进程使用Java编写,并连接到Hadoop的RPC接口。
6. 日志处理进程(Log Process):这是用于处理集群的日志信息。日志处理进程使用Java编写,并连接到Hadoop的RPC接口。
7. 安全相关进程(Security-related Process):这是负责处理集群的安全相关的任务。安全相关进程使用Java编写,并连接到Hadoop的RPC接口。
8. 其他辅助进程(Other Helper Processes):这些进程主要用于辅助其他进程的运行,如监控、调试等。这些进程使用Java编写,并连接到Hadoop的RPC接口。
总之,HADOOP伪分布式运行启动后,会有多个进程参与其中,共同完成集群的管理和任务的执行。这些进程通过Hadoop的RPC接口进行通信,确保集群的稳定运行。