ETL/Nifi (3) 썸네일형 리스트형 TailFile To PutFile 패턴 개발 SAM 파일에 추가되는 내용을 다른 파일로 생성해 보는 패턴을 개발해보자. FileToFile TailFile To PutFile ## 패턴 /var/log/messages 파일에 추가되는 내용을 /data/001_putfile/ 폴더에 생성 /var/log/messages 파일은 OS 및 OS에서 구동되는 application 의 이벤트/경고성 메세지를 기록하는 파일이다. OS에 특정한 문제가 없는한 계속 존재하고 logger 명령어를 이용하여 쉽게 내용을 추가 할 수 있다. ## Nifi 설치 및 구동 방법은 포스팅 참고 2020/12/25 - [ETL/Nifi] - Nifi 설치 및 구동 Nifi 설치 및 구동 Nifi 를 설치하고 구동해 보도록하자. Nifi 설치 파일과 접속할 브라우져만 있으면 .. Nifi 설치 및 구동 Nifi 를 설치하고 구동해 보도록하자. Nifi 설치 파일과 접속할 브라우져만 있으면 설치를 할 수 있다. ssh tool 은 당연히 필요하다.!! ## Nifi 설치환경 CentOS 7.6 OpenJDK 1.8 1. Nifi 설치파일 다운로드 https//nifi.apache.org/download.html 에 접속하여 nifi-1.12.1-bin.zip 파일(약1.5GB)을 다운로드 한다. 2020년 12월 25일 기준으로 Nifi 최신버전은 1.21.1이다. (치명적인 버그만 없다면 최신버전으로 해보자. ㅎㅎ) 다운로드 한 nifi-1.12.1-bin.zip 파일을 /opt 폴더에 업로드한다. 2. jdk 설치는 다른 포스팅을 확인 Nifi는 자바로 개발되어 있기 때문에 jdk 설치가 되어 있어야.. Nifi 는 무엇인가?? Apache NiFi - https://nifi.apache.org ETL Tool 의 하나이며 가지고 오고 싶은 데이터를 직관적인 UI 로 쉽게 가져오고 쉽게 가공하며 쉽게 저장해 주는 기본 구조로 구성되어 있다. JAVA 1.8 로 개발되어 있으며 요즘에는 DataFlow 엔진이라고도 표현을 하고 있기도 하다. (요즘에 무슨 무슨 Flow 프로젝트라고 많이 들어본 거 같은데.. ㅎㅎ) JAVA 하위호완성 기능으로 JAVA 1.9/10/11 에서 구동될줄 알았는데 이슈로 등록되어 있고 상태가 아직 미해결(2020.12.11 기준)인거 보니 상위버전에서는 실행이 안되는 것 같다. JIRA - https://issues.apache.org/jira/browse/NIFI-5174 더 자세한 설명은 위키참조 .. 이전 1 다음
