Database (47) 썸네일형 리스트형 Uber가 Postgres에서 MySQL로 전환한 이유 유튜브에서 외국 IT기술채널을 몇개만 봤을 뿐인데 알고리즘이 자꾸 추천해서 보게된 영상 영상은 업로드한지 몇 달 안된것 같지만 DB변환은 이미 5년전에 완료된듯하다. www.youtube.com/watch?v=_E43l5EbNI4 구글링해보니 우버 기술블로그 발견 eng.uber.com/postgres-to-mysql-migration/ Why Uber Engineering Switched from Postgres to MySQL Uber Engineering explains the technical reasoning behind its switch in database technologies, from Postgres to MySQL. eng.uber.com Uber 에서는 약5년전 기존 Postgre.. Greenplum biopython-1.76 모듈 설치 Greenplum 에 바이오파이썬 모듈을 설치하여 pl/python function 에서 바이오파이썬을 사용해 보도록 하자. 바이오파이썬 공식홈페이지 - http://biopython.org Biopython · Biopython Biopython See also our News feed and Twitter. Introduction Biopython is a set of freely available tools for biological computation written in Python by an international team of developers. It is a distributed collaborative effort to develop Python librarie biopython.or.. Greenplum - Procedural Languages 란? Greenplum Function 을 SQL만 이용하여 개발하는 것이아니고 Java, Python 등 언어를 선택하여 개발할 수 있게끔 해주는 기능이 Procedural Languages 이다. SQL의 한계를 넘어서 자바의 특정 패키지/라이브러리, 파이썬의 모듈을 이용할 수 있으니 엄청나게 좋은 기능이라고 할 수 있는 것이다. 요즘에는 파이썬의 모듈을 추가로 설치하여 데이터를 분석하는 것이 트렌드인 것 같다. (파이썬의 강력한 분석함수들이 오픈소스로 제공되어 있고 사용하기가 편리하다. 하지만 모듈 설치는 어렵다.;;;) 현재 Greeplum 6 에서 지원하는 Procedural Languages 는 총 6가지 이며 pgSQL/Python 은 따로 설치를 하지 않아도 사용할 수 있다. (Greenplum.. Greenplum PXF 란? Greenplum PXF(Platform Extension Framework) Greenplum이 아닌 외부시스템에서 가지고 있는 DATA 를 Greenplum 으로 Load 할 수 있는 프레임워크이다. 외부시스템 DATA는 ORACLE, Maraidb 처럼 RDBMS의 테이블이 될 수 있으며 하둡의 HDFS, 파일시스템의 SAM File, XML, JSON 등이 될 수 있다. PXF 는 Greenplum 5.x 때부터 사용되었으며 6.x 에서부터는 완전 권장하는 느낌(?)이다. ## PXF 장점 많은 유형의 DataSource를 Load 할 수 있다. 병렬로 데이터를 처리하여 속도가 빠르다. 기본 제공 모듈로써 추가비용을 낼 필요없이 자유롭게 사용할 수 있다. ## Greenplum 버전별로 DATA .. Greenplum minor 업그레이드하기(6.3.0->6.11.1) 소프트웨어는 항상 버그가 있고 성능개선이 있어 업그레이드가 꼭 필요하다. Greenplum 도 6.10.x. 이하 버전에서 확인된 버그가 발견되어 6.11.0 이상으로 업그레이드를 권장하고 있다. 그래서 Greenplum 6.3.0 에서 6.11.1 로 업그레이드를 해보도록 하자. ## 업그레이드시 유의사항 Greenplum DB의 downtime 이 발생한다. (어플리케이션, ETL 프로그램등을 잠시 중단하여야 한다.) ## 업그레이드 가이드 greenplum.docs.pivotal.io/6-11/install_guide/upgrading.html Upgrading from an Earlier Greenplum 6 Release | Pivotal Greenplum Docs Upgrading from a.. CentOS 7.9에 mariadb 10.3.27를 바이너리 tar.gz 파일로 설치하기 ## mariadb 에 대한 설명은 위키를 참고 https://ko.wikipedia.org/wiki/MariaDB MariaDB - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. MariaDB는 오픈 소스의 관계형 데이터베이스 관리 시스템(RDBMS)이다. MySQL과 동일한 소스 코드를 기반으로 하며, GPL v2 라이선스를 따른다. 오라클 소유의 현재 불 ko.wikipedia.org ## 10.3.x 변경 및 개선사항 mariadb.com/kb/en/changes-improvements-in-mariadb-103/ Changes & Improvements in MariaDB 10.3 Current Version: 10.3.27 | Status: Stable (GA) | Rele.. statement_timeout 속성에 대해서 ETL 이나 배치프로그램에서 쿼리를 실행할때 시간제한을 두고 싶은 쿼리가 있을 것이다. 무거운 쿼리를 시간제한없이 실행하면 서버에 부하를 많이 줄 수도 있고 Lock이 발생해서 장애의 원인이 될 수 있을 것이다. 이때 사용하는 옵션이 이때 사용하는 옵션이 statement_timeout 이다. 실제 운영환경에서는 2시간(2h) 설정을 많이 사용하고 있으며 Role 별로 설정할 수 있어 유연하게 사용할 수 있다. 다만 0 으로 설정하면 무제한으로 쿼리가 실행될 수 있다. (!!!주의가 필요!!!) statement_timeout 설정값 확인방법 [root@mdw ~]# su - gpadmin [gpadmin@mdw ~]$ gpconfig -s statement_timeout Values on all seg.. 이전 1 ··· 3 4 5 6 다음
