본문 바로가기

IT120

[23일차] Hadoop WordCount . DepartureDelayCount 🚀2022-07-20 🚀 하둡파일 시스템 루트 밑에 tmp.. ls 하면 no such file이 나오는 이유는 ls 하면 없는 이유는 사용자계정이 없어서 루트로 접근하니깐,, ls가 사용자 계정으로 접근하게 되어서 계정을 직접 만들어줘야한다. 기본적으로 하둡이랑 linux명령어가 비슷.. 유사하다 ubuntu22 로그인 mapred historyserver start& 서버 실행 2번째 창으로 들어가기 jps제외한 7개 뜨는 거 확인 linux-> firefox -> localhost:50070 jps 개수확인 start-yarn.sh 시작 vi . ~/.bashrc 수정 hdfs dfs -ls / -> 안나오니깐 hdfs dfs -mkdir /user 유저를 따로 만들어서 설정해준다. hdfs dfs.. 2022. 7. 20.
[22일차] Hadoop 하둡 개념정리, 설치 하둡 Big Data 1. physical => 수십 Terabyte~ Petabyte 데이터를 갖고 있는 것 2. 소프트웨어 측면에서 보면, 본체 하나의 데이터를 빅데이터를 처리하는 프로세스를 의미 결국 데이터를 수집하는 것 규모가 크니 가공이 필요하다. 가공을 해서 어느 정도 집계를 하는데, 그 다음에 분석이 들어간다. 분석을 해서 시각화 이러한 일련의 과정을 빅데이터라고 한다. 수집 => 가공 => 분석(통계,AI) => 시각화 하둡 수업은 가공을 하는 것이다. 서기 2000년에 인터넷 사용이 활발하게 이용 여러가지 플랫폼이 많아지는데 위기 의식을 느낀 ... 처음에는 좋았는데 수집하는 데이터양이 어마어마한 통계를 내어도 예측이 불가능한 시점.. 급한 사람이 우물판다 => 구글 입장에서 제일 급함... 2022. 7. 19.
알아두면 좋을 블로그 https://inpa.tistory.com/entry/LINUX-%F0%9F%93%9A-%ED%95%98%EB%93%9C-%EB%A7%81%ED%81%AChard-link-%EC%8B%AC%EB%B3%BC%EB%A6%AD-%EB%A7%81%ED%81%ACsymbolic-link-%EC%95%84%EC%9D%B4%EB%85%B8%EB%93%9Cinode 2022. 7. 19.
[21일차] LINUX 🌞2022-07-18 MON🌞 네트워크 로컬 Local Area Network(LAN) s Internet TCP/ IP IP 32bit 0~255 이론상으로 2**32 개의 IP 부족 -> IPv6로 발전 네트워크상에서 하나의 서버로 접근할 때 Server - WEB 요청 기계하나에 IP ADDRESS 는 하나 PORT포트를 사용 웹 서버는 전세계 공통 80포트 .. 생략이 가능하다.. WEB은 전세계 공통 80을 쓴다 OS 별로 조금씩 차이가 있다. Telnet 을 잘 안씀 . 보안때문에 해킹에 엄청 취약하다. 요즘은 SSH를 쓴다. SSH(Secure SHell) 암호 또는 키파일을 통해서 서로 통신이 가능하다. 원거리 접속 가능 SSH 설치 22번 port 방화벽으로 부터 open 방화벽 upda.. 2022. 7. 18.
[20일차] LINUX 🌟2022-07-15 🌟 https://distrowatch.com/ DistroWatch.com: Put the fun back into computing. Use Linux, BSD. Rate this project René Rebe has announced the release of a new version of T2 SDE, an open-source system development environment that allows the creation of custom Linux distributions. It is available for 24 processor architectures, with integrated support distrowatch.com https://futurist.se/g.. 2022. 7. 15.
[19일차] JAVA 😃2022-07-14😃 JDBC https://mvnrepository.com/artifact/mysql/mysql-connector-java https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.29 mysql 버전 확인하고 설치 Maven Repository: mysql » mysql-connector-java » 8.0.29 JDBC Type 4 driver for MySQL mysql mysql-connector-java 8.0.29 // https://mvnrepository.com/artifact/mysql/mysql-connector-java implementation group: 'mysql', name: 'mysql-conn.. 2022. 7. 14.
[18일차] JAVA 알고리즘 문제풀이 2 /*- 지질학자는 토양샘플 분석을 도와주는 프로그램을 원함 - 이 프로그램은 샘플내 성분 종류와 각 성분의 함량을 실행인자로 받음 - 첫 번째 인자는 토양내 성분 이름이며 "," 로 구분되어 있음 - 두 번째 인자는 각 성분의 함량 정보이며 2차원 정보로 구성됨 - 각 열은 "" 로 구분되어 있으며, 각 행은 "," 로 구분되어 있음 - 실행 시 입력인자는 다음과 같음 carbon-dioxide,magnesium,sodium,potassium,chloride,water //성분 종류 8.3,4.5,6.7,2.3,12.5,4.5 3.9,1.8,34.7,23.5,1.2,14.3 6.7,7.4,1.5,18.4,7.2,23.7 23.4,5.6,2.9,18.5,39.5,18.2 15.4,5.3,27.4,9.8,3.. 2022. 7. 13.
[18일차] JAVA 알고리즘 문제풀이 1 package com.gyuone.homework; /* findAverage 메서드를 작성하시오 - 2차원 배열(double)을 입력으로 받음(사이즈 제한 없음) 배열의 각 항목을 조사하면서 0값을 발견하면 해당 위치의 Row들 값 평균과 Column 들 값 평균 중 큰 값으로 대체함 */ public class Homework { public static void main(String[] args) { double[][] findAvgInput = { { 5, 4.5, 6.8 }, { 6, 0, 3.4 }, { 7, 8.4, 2.3 } }; // 버블타입의 2차원 배열 findAverage(findAvgInput); } public static void findAverage(double[][] arr.. 2022. 7. 13.
[18일차] JAVA 컬렉션 프레임워크 🚀 lambda 이어서 컬렉션 프레임워크 컬렉션 프레임워크 1. list 컬렉션 : 파이썬에서는 리스트 2. map 컬럭션 : 파이썬에서는 딕셔너리 - 순서를 유지, 중복저장 가능 - 구현클래스 : ArrayList, Vector, LinkedList Vector는 멀티 스레드가 가능하다. 인터페이스 list ArrayList 리스트에서 제공하는 추상메서드를 다 갖고있다. package com.gyuone.collection; import java.util.ArrayList; import java.util.Arrays; import java.util.Iterator; import java.util.List; // 추가하자 public class ArrayListExam01 { public static v.. 2022. 7. 13.

티스토리툴바