본문 바로가기

DB

(24)
Aurora MySQL - alter table modify column 에러 운영중인 DB의 컬럼의 크기가 늘어나야 하는 요구사항이 생겼다. 기존에 VARCHAR(50)이었는데 이제 128 바이트를 넣어야 한다. 단순히 아래와 같은 SQL을 생각하고 개발 환경에서 실행을 했는데,,, ALTER TABLE MY_HISTORY MODIFY MY_ID VARCHAR(128) 아래와 같은 에러가 난다. [HY000][1025] Error on rename of './my/MY_HISTORY' to './my/#sql2-1f71-742fba' (errno: 155 - The table does not exist in engine). AWS상에서 돌아가는 Aurora MySQL 엔진이라 들었던 생각은 아래와 같다. 1. Aurora MySQL은 MySQL과 SQL이 다른가? 2. 혹시 읽기..
[MySQL] docker에 CLI로 접속하기 Docker 설정설치방법리포지토리(Repository): https://hub.docker.com/_/mysql/사실 설치방법은 위의 리포지토리에 잘 적혀지 않습니다. 버전은 latest가 아닌 5.6을 기준으로 합니다.이미지 가져오기$ docker pull mysql:5.65.6: Pulling from library/mysqlf17d81b4b692: Already existsc691115e6ae9: Pull complete41544cb19235: Pull complete254d04f5f66d: Pull complete4fe240edfdc9: Pull completeb79c3b745cc6: Pull completec6ebcbee59b1: Pull completee9bb65297d95: Pull comp..
[BI] Tableau 게시시에 통합문서명은 영문으로... Tableau Desktop으로 작업하면 태블로 작업의 끝은 Tableau Server에 올리는 게시(publish)일 것이다. 게시를 하다보니 이름 지정시에 영어로 해야 하는 것이 좋을 경우를 발견했다. 한글명으로 통합문서 명을 지정했더니 아래와 같이 URL 상에 문서명을 _1 과 같이 업데이트 하는 것을 확인했다. http://tableau. mycompany.com/#/site/review/views/_1/sheet1?:iid=10 영어로 하니 아래와 같이 URL에 문서명이 들어간다. http://tableau.mycompany.com/#/site/review/views/DailyConversionRate/sheet1?:iid=1 만약 통합 문서명에 공백이 들어가 있으면 알아서 공백은 없애서 주소를..
[Tableau] 날짜 필드 변환하기 hive상 데이터는 20170725 와 같은 문자열이다.문자열로만으로 열로 이용할 수 있지만 문제는 분기나 월 같은 단위로 그룹핑을 할 때 제한이 생긴다.그래서 필드를 열로 변환을 할 필요가 있다. 왼쪽의 dt 라는 컬럼이 원래 있는 값인데 Abc 즉 문자열로 인식되고 있다. 그 옆에는 계산이라고 되어 있어서 dt를 기반으로 날짜로 변환을 해주었다. 계산식은 아래와 같다.DATEPARSE("yyyyMMdd",[dt])dt의 형식대로 앞에 써주고 두 번째 파라메터에는 적용할 열을 써주었다.포맷이 다를 경우 아래 링크를 참고하면 된다. https://onlinehelp.tableau.com/current/pro/desktop/ko-kr/dates_custom_date_formats.html 만약 증분 데이터..
[BI] Tableau Desktop 10.3.1 Mac OS X용 Step by step 사실은 다음 단계로만 넘어가면 되는데, 나중을 위해 스텝별로 캡쳐를 해두었다. 1) dmg 파일을 마운트 하고2) 인트로 화면3) 라이센스 고지4) 라이센스 동의5) 설치 위치 지정6) 설치, 이 단계에서 설치 권한 요청 한다. (Mac OS X 암호 입력 필요함) 7 ) 설치 완료 애플리케이션을 실행하면 라이센스 키가 있다면 아래와 activation으로 이동하면 된다.라이센스 키를 입력하면 등록하는 과정이 나오는데 별로 중요하지 않다고 한다. 이제부터 시작이다. 튜토리얼시작하기- https://www.tableau.com/ko-kr/learn/tutorials/on-demand/getting-started?edition=pro&version=10.3.1&__full-version=10300.17.06..
[빅데이터] 우지 링크 http://blog.naver.com/gyrbsdl18/203011954 우지 워크플로우를 만들어서 코디네이터로 실행을 시킨다.코디네이터에서 파라메터를 지정할 수 있는데 전날 날짜를 넣어야 해서... 당일:${coord:formatTime(coord:dateTzOffset(coord:nominalTime(), "Asia/Seoul"), 'yyyyMMdd')}전날:${coord:formatTime(coord:dateTzOffset(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), "Asia/Seoul"), 'yyyyMMdd')}
[BI] Hive Tips Hadoop and Hive : How to create table/partition in Hive (어떻게 Hive에서 테이블과 파티션을 만드는가?) Cron : 리눅스 반복 예약작업 cron, crond, crontab (배치 작업에 대한 형식) 파티션특정 파티션 제거ALTER TABLE daily_conversion_managed DROP IF EXISTS PARTITION(dt=20170715) 지원하는 내장함수 목록 보기SHOW FUNCTIONS;https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
[MySQL] 피벗 - 로우 데이터를 컬럼으로 옮기기 날마다 로그에서 데이터를 가져와서 DB에 넣어야 하는 배치성 쿼리를 짜고 있었다.group by를 하는 쿼리가 있다보니 데이터가 row 단위로 나오는데, 문제는 일자별 조회를 하려면 row별로 있는 데이터가 컬럼으로 가야 하는 문제가 발생했다. 문제를 쉽게 하기 위해 예를 들면,+------------+-----------+---------+| baseDt | page | value |+------------+-----------+---------+| 2017-04-13 | A | 10 |+------------+-----------+---------+| 2017-04-13 | B | 20 |+------------+-----------+---------+| 2017-04-13 | C | 30 |+---..