본문 바로가기

전체 글

 (167)
Greenplum PXF 란? Greenplum PXF(Platform Extension Framework) Greenplum이 아닌 외부시스템에서 가지고 있는 DATA 를 Greenplum 으로 Load 할 수 있는 프레임워크이다. 외부시스템 DATA는 ORACLE, Maraidb 처럼 RDBMS의 테이블이 될 수 있으며 하둡의 HDFS, 파일시스템의 SAM File, XML, JSON 등이 될 수 있다. PXF 는 Greenplum 5.x 때부터 사용되었으며 6.x 에서부터는 완전 권장하는 느낌(?)이다. ## PXF 장점 많은 유형의 DataSource를 Load 할 수 있다. 병렬로 데이터를 처리하여 속도가 빠르다. 기본 제공 모듈로써 추가비용을 낼 필요없이 자유롭게 사용할 수 있다. ## Greenplum 버전별로 DATA ..
Greenplum minor 업그레이드하기(6.3.0->6.11.1) 소프트웨어는 항상 버그가 있고 성능개선이 있어 업그레이드가 꼭 필요하다. Greenplum 도 6.10.x. 이하 버전에서 확인된 버그가 발견되어 6.11.0 이상으로 업그레이드를 권장하고 있다. 그래서 Greenplum 6.3.0 에서 6.11.1 로 업그레이드를 해보도록 하자. ## 업그레이드시 유의사항 Greenplum DB의 downtime 이 발생한다. (어플리케이션, ETL 프로그램등을 잠시 중단하여야 한다.) ## 업그레이드 가이드 greenplum.docs.pivotal.io/6-11/install_guide/upgrading.html Upgrading from an Earlier Greenplum 6 Release | Pivotal Greenplum Docs Upgrading from a..
CentOS 7.9에 mariadb 10.3.27를 바이너리 tar.gz 파일로 설치하기 ## mariadb 에 대한 설명은 위키를 참고 https://ko.wikipedia.org/wiki/MariaDB MariaDB - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. MariaDB는 오픈 소스의 관계형 데이터베이스 관리 시스템(RDBMS)이다. MySQL과 동일한 소스 코드를 기반으로 하며, GPL v2 라이선스를 따른다. 오라클 소유의 현재 불 ko.wikipedia.org ## 10.3.x 변경 및 개선사항 mariadb.com/kb/en/changes-improvements-in-mariadb-103/ Changes & Improvements in MariaDB 10.3 Current Version: 10.3.27 | Status: Stable (GA) | Rele..
Nifi 는 무엇인가?? Apache NiFi - https://nifi.apache.org ETL Tool 의 하나이며 가지고 오고 싶은 데이터를 직관적인 UI 로 쉽게 가져오고 쉽게 가공하며 쉽게 저장해 주는 기본 구조로 구성되어 있다. JAVA 1.8 로 개발되어 있으며 요즘에는 DataFlow 엔진이라고도 표현을 하고 있기도 하다. (요즘에 무슨 무슨 Flow 프로젝트라고 많이 들어본 거 같은데.. ㅎㅎ) JAVA 하위호완성 기능으로 JAVA 1.9/10/11 에서 구동될줄 알았는데 이슈로 등록되어 있고 상태가 아직 미해결(2020.12.11 기준)인거 보니 상위버전에서는 실행이 안되는 것 같다. JIRA - https://issues.apache.org/jira/browse/NIFI-5174 더 자세한 설명은 위키참조 ..
statement_timeout 속성에 대해서 ETL 이나 배치프로그램에서 쿼리를 실행할때 시간제한을 두고 싶은 쿼리가 있을 것이다. 무거운 쿼리를 시간제한없이 실행하면 서버에 부하를 많이 줄 수도 있고 Lock이 발생해서 장애의 원인이 될 수 있을 것이다. 이때 사용하는 옵션이 이때 사용하는 옵션이 statement_timeout 이다. 실제 운영환경에서는 2시간(2h) 설정을 많이 사용하고 있으며 Role 별로 설정할 수 있어 유연하게 사용할 수 있다. 다만 0 으로 설정하면 무제한으로 쿼리가 실행될 수 있다. (!!!주의가 필요!!!) statement_timeout 설정값 확인방법 [root@mdw ~]# su - gpadmin [gpadmin@mdw ~]$ gpconfig -s statement_timeout Values on all seg..
STS 다운로드 및 설치 Spring Tool Suite * 스프링 프레임워크 개발을 쉽게 해주는 개발도구(IDE) - 일명 STS * 이클립스IDE 기반 * SpringBoot 를 이용하여 공부/프로젝트를 진행할때는 STS 를 꼭 쓰는 것을 추천!!! 1. 환경 * Windows 10 * JAVA 8 또는 11 설치 2. STS 다운로드 * https://spring.io/tools 로 접속하여 OS 에 맞는 STS 파일 다운로드 * 이제는 vscode 에서도 sts 를 지원!!! 3. STS 설치 * 2020년 8월 7일(금) 기준으로는 STS 마지막 버전이 4.7.1 - spring-tool-suite-4-4.7.1.RELEASE-e4.16.0-win32.win32.x86_64.self-extracting.jar * 기존 ..
vscode 설치 및 익스텐션 추천 드림코딩by엘리 님의 유튜브!! https://www.youtube.com/watch?v=bS9yTI2fC0w 우연치 않게 들어간 채널인데 엄청 좋음!! vscode 설치 https://code.visualstudio.com/download OS 맞는 파일을 다운로드 후 설치 vscode 익스텐션 Material Theme 머테리얼 뗌(?) 이쁜 테마, 눈이 편하는 자기에 맞는 테마를 선택하는 것을 추천 Setting > Color Theme : Ctrl + K, T 나는 Material Theme Darker High Contrast 가 맞는듯!! Material Icon Theme 이쁜 아이콘 테마 필수인듯 Prettier - Code formatter 코드 포맷팅 설정 변경이 필요(Format On..

티스토리툴바