서버 운영을 하면서 자주 쓰이거나 자주 까먹는 명령어를 정리해봤다. 계속해서 업데이트 할 예정이다. LINUX # 용량 확인 서버전체: df -h 특정폴더: du -sh /경로 iNode: df -i # 파일 분할 용량기준: split -b 100M original.dat new_file.dat 라인기준: split -l 100000 origi...

Python 으로 Kafka 데이터를 연동하는 프로젝트를 진행했다. 개발환경 서버에 설치되어 있는 파이썬이 구버전이었는데 버전을 올려서 하기가 어려운 상황이라 그냥 진행했다. Python: 2.7 Kafka-python: 2.0.2 Elasticsearch: 6.8.2 프로세스 프로세스는 심플하다. 데이터를 가져와서 가공한 후에 각...

파이썬의 Gensim 라이브러리를 이용해서 토픽을 추출하는 프로젝트를 진행했다. 처음으로 파이썬으로 개발을 진행한 프로젝트라 기록을 남겨둔다. 데이터 1. 상품 및 유형 데이터 (2x3) 2. 하루 치 상담 데이터 (상품 및 유형 정보 포함) 3. 중복제거 된 상담사 데이터 4. 한국 지역 및 장소,지명 데이터 위의 데이터로 각 상품 &am...

PyHive 파이썬에서 hive로 접속해서 쿼리를 할 수 있게 도와주는 라이브러리다. pyhive 라이브러리는 Kerberos 프로토콜을 이용해서 python <-> hive 통신을 하기 때문에, 이와 관련된 라이브러리를 설치해줘야 한다. 설치 pip install sasl (인증 및 데이터보안) pip install thrift (...

«Tistory 블로그에서 작성했던 글» 이전에 만든 Rest 연습 프로젝트에 Swagger2를 적용해보았다. Swagger 는 프로젝트에 정의되어 있는 URL 매핑 정보를 브라우저로 한눈에 볼 수 있게 해주는 자동화 라이브러리이다. 또한, Postman 처럼 URL 호출 테스트도 지원한다. 그럼 이제 Swagger 적용을 해보자. 라이브러리...

«Tistory 블로그에서 작성했던 글» 새로 시작한 프로젝트에서 Spring Boot 와 Spring Data Rest 를 이용해서 기존 시스템들의 API 서비스를 구축하고자 한다고 하여, 미리 예습도 해보고 경험도 할 겸 프로젝트를 만들어보았다. 기존에 만들어둔 프로젝트 기반으로 Rest API만 적용 해볼까 생각도 해봤지만, 동일한 환경에서 ...

«Tistory 블로그에서 작성했던 글» 지난 프로젝트에서 적용했던 Apache Tiles 에 대해 정리해본다. 진행했던 프로젝트의 화면 구성이 헤더, 좌측 메뉴, footer, 그리고 본문. 이런식으로 구성이 되어 있다보니 반복되는 부분들이 많아서  Apache Tiles를 적용해서 Layout 관리를 했다. 대충 그림으로 보자면 아래와 같...

«Tistory 블로그에서 작성했던 글» 이번에는 저번 포스팅의 번외편으로, Hibernate가 아닌 MyBatis로 개발환경을 구축 해보자. Hibernate 관련 포스팅은 아래로.. ::: Hibernate 관련 포스팅 ::: [JAVA] Java9 + Spring5 + Gradle + Hibernate 개발환경 만들기 ...

«Tistory 블로그에서 작성했던 글» 이 포스팅은 지난 포스팅과 연결된 포스팅 입니다. 지난 포스팅 1. [JAVA] Java9 + Spring5 + Gradle 개발환경 만들기 2. [JAVA] Java9 + Spring5 + Gradle 개발환경 만들기 (2) Hibernate 포스팅을 시작하기에 앞서 Hibernate에...

«Tistory 블로그에서 작성했던 글» 이전 포스팅에서 만든 프로젝트를 Spring 프로젝트로 바꾸는 작업을 해보자. [JAVA] Java9 + Spring5 + Gradle 개발환경 만들기 일단 내가 알던 Spring 환경설정법 하고는 확연히 바뀐 점이 있다. 내가 알던 스프링은 별도의 xml을 이용해서 설정들을 관리 했었는데, 이게 Ser...