[26일차] hadoop eco system/hive 설치/HiveQL사용하기

💙2022-07-26💙

 

하둡 에코 시스템 

hadoop eco system

 

개념상 맨 하단에 하둡파일 시스템 위에 얀이 올라감. yarn이 올라가서 수많은 애플리케이션이 탄생함.
HDFS를 사용한 noSQL 대용량 hdfs 를 사용 hbase.. HDFS를 머신러닝에 입력으로 사용
PIG 자바를 모르는 사람들을 위한 파이썬 비슷한 스크립트 언어 mapreduce할 수 있게.. 거의 안씀 사라졌다고 봐도 됨
이유가 다른 애플리케이션 SQL로  SQL 하둡  mapreduce 작업을 해서 결과를 나타냄.. 
cloudera .. HIVE 완벽한 ANSI표준 지원 X .. TAJO 고려대 대학교 DB팀이 만들어냈다. 쿼리문을 이용
각종 프로세스들 통신//  통신이 필요할 경우 재구성 zookeeper 동물원 관리 
주키퍼 여러가지 통신을 관리 spark는 toolSQL을 지원  데이터를 적재한 상태에서 mapreduce spark가 제공하는 데이터를 이용해서 조작할 수 있다. 가공까지 침범.. 

 

FLUME

얘만 뜬금없이 동물이 아닌 이유,,,? 통나무 모양

트렌잭션 처리에는 힘드니깐 어떤 장비를 소프트웨어 설치 수많은 로그들을 쏟아내니깐 모든 로그를 분석

HDFS 배치성 처리 자동화할 수 없을까 ? 실시간으로 나온 로그를 쌓아주는 것.. 플룸으로 연결

로그를 수집해서 HDFS 쌓아두는 것 

 

 

HIVE가 mapreduce를 대신 해준다.

hadoop Cluster가 hdfs... CLI command line interface 직접 때린거

HIVEQL SQL 직접적으로 쓰진 않음

hadoop Cluster의 데이터 = 메타데이터 메타데이터에 대한 정보가 필요하다 . 관리해야함.

RDB에 다가 메타데이터를 때려박는다. RDB에서 뒤지다가 필요한 데이터 수집

아파치에 Derby.. 1인용 DB 멀티 유저 감당 못함.

MySQL을 RDB로 사용한다.

 

---

update . upgrade

 

mysql 설치

3306/tcp를 mysql 대신 써도 됨 

 

시스템 명령어 보는 방법 

q 나감 

 

터미널로 외부접속을 하기 위해 #으로 막아줌 

 

우분투에서 mysql 

우분투 루트 계정과 연동되어 있음

루트로 치고 들어감.

---

 

 

하이브가 사용할 데이터베이스 만들기

 

 

 

유저 만들기

 

내부 접속

외부 접속 사용자 계정 만들기

권한 주기 

---

 

정상적으로 돌아감 .. 

 

빠져 나와서 하이브 설치하기

https://dlcdn.apache.org/hive/hive-3.1.3/

 

두번째꺼 링크주소복사한다.

 

 

Index of /hive/hive-3.1.3

 

 

wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz 설치

(링크주소복사해서 복붙)

 

tar zxvf apache-hive-3.1.3-bin.tar.gz

tar 압축풀기 

 

apache-hive 압축 삭제하기 rm 

 

간략하게 바꾸기 

mv apache-hive-3.1.3을 hive-3.1.3으로 바꾸기 

cli = command line interface 

헤더를 보여주는거 명령어 직접때린거 

하이브 쉘에 대한 명령행 인터페이스며 기본 서비스 

 

 

 

vi hive-env.sh 수정하기 

/HADOOP_HOME해서 N.. 찾아서 수정하기 

 

hive-site.xml 

18번째 줄 ~ 6923째 줄 까지 모두 지우고 새로 입력

 

이렇게 4yy -> p 해서 전체 수정하기!

 

 

 

하이브는 하둡과 같이 xml 설정 파일을 사용하여 환경설정을 한다.

hive-site.xml이고 하이브의 conf의 파일에 위치한다.

hive-site.xml은 클러스터 연결을 위한 세부사항을 정의한 파일 

 

클러스터 : 여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합

 

 

https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.29

링크 주소 복사 

 

 

 

루트 계정 들어가기 /tmp/gyuwon

 

 

schematool 초기화

 

./schematool -initSchema -dbType mysql 최초 한번만 실행한다. 

 

 

 

 

하둡이 갖고 있는 구아바와 하이브가 갖고있는 구아바가

버전이 서로 다르다 그래서 에러가 남..

 

 

 

이거 나오면 성공 

 

hive 실행하기

 

 

 

---

slack 에서 주신 쿼리 붙여넣기

 

 

 

파일 저장한거 확인하기 

 

 

show tables; 로 확인 

ALTER TABLE airline_delay DROP PARTITION(delayYear='2008');

데이터 날리는 것.. 하지는 말 것..

---

hdfs dfs -ls air-input 데이터 사용 

---

 

hdfs dfs -ls air-input

 

hdfs dfs -ls /tmp/gyuwon

hdfs dfs -ls /tmp/hive

 

hdfs dfs -ls /user/hive/warehouse/airline_delay/delayyear=1999

 

hdfs dfs -ls air-input

 

load data inpath '/user/gyuwon/air-input/airOT199904.csv'

 

partition으로 분류하기... 계속 분류~

 

 

---

 

 

2. HiveQL

 

● 하이브는 HiveQL 이라는 SQL문과 매우 유사한 언어를 제공
● 대부분의 기능은 SQL과 유사하지만 다음과 같은 차이점이 있음

a. 하이브에서 사용하는 데이터가 HDFS에 저장되는데, HDFS가 한 번 저장한 파일은 수정할 수 없기 때문에                 UPDATE와 DELETE를 사용할 수 없다.
b. 같은 이유로 INSERT도 비어 있는 데이블에 입력하거나, 이미 입력된 데이터를 overwrite 하는 경우만 가능하다.  그래서 하이브는 INSERT OVERWRITE 라는 키워드를 사용한다.
c. SQL은 어떠한 절에서도 서브쿼리를 사용할 수 있지만 HIveQL 은 FROM 절에서만 서브 쿼리를 사용할 수 있다.
d. SQL의 뷰는 업데이트할 수 있고, 구체화된 뷰 또는 인라인 뷰를 지원한다. 
    하지만 HiveQL의 뷰는 읽기 전용이며 인라인 뷰는 지원하지 않는다.
e. SELECT 문을 사용할 때 HAVING 절을 사용할 수 없다.f. 저장 프로시저를 지원하지 않는다.
    대신 맵리듀스 스크립트를 실행할 수 있다. 

    

 

#1 

 

---

#2

 

---

#3

 

 

---

 

#4

 

 

---

#5

 

---

#6

 

---

---

#7