Lightsail 에 Django Crawler 배포하기 (23.08.02)

AWS LightSail 에 Crawler 를 배포할 일이 생겨서, 배포했던 경험을 공유합니다.

(Crawler 는 Python 으로 이미 개발되어서 Repository 에 올라가있다고 가정한다.)

 

1. AWS 계정 생성 후 카드 연결하고 Lightsail 인스턴스를 생성한다.

Create an instance | Lightsail (amazon.com)

https://lightsail.aws.amazon.com/ls/webapp/create/instance?region=ap-northeast-2

 

요금제를 선택하고 인스턴스의 이름을 정한다.

 

네트워크 탭에서 고정 IP 를 추가한다.

 

- Django 의 경우 8000 번 포트를 열어준다.

 

 

MobaXterm 을 설치한다. (필수는 아님)

 

MobaXterm free Xserver and tabbed SSH client for Windows (mobatek.net)

MobaXterm free Xserver and tabbed SSH client for Windows

 

LightSail Account 로 들어가서 SSH Key를 다운 받는다.

 

 

 

MobaXterm 을 실행하고 Session 버튼을 클릭

고정 IP 및 username, 그리고 다운받은 SSH 를 Use private Key 에 넣어준다.

 

접속한다.

 

 

- 시간대 한국으로 바꾸기

 

sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

 

- Ubuntu 업데이트 하기

sudo apt update
sudo apt upgrade

 

이 화면 나오면 그냥 Enter

- build-essential 설치

sudo apt-get install build-essential

- unzip 설치

sudo apt-get install unzip

 

- Chrome 설치하기 (명령어 4개 순서대로 실행, 마지막은 Chrome 버전 확인)

 

 $ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add -
 $ sudo sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' 
 $ sudo apt-get update
 $ sudo apt-get install google-chrome-stable

 $ google-chrome --version
 Google Chrome 115.0.5790.110

 

- 설치된 Chrome 버전 확인

 

https://sites.google.com/chromium.org/driver/downloads?authuser=0 

ChromeDriver - WebDriver for Chrome - Downloads

아쉽게도 여기에는 115 버전 드라이버가 없다.

 

https://googlechromelabs.github.io/chrome-for-testing/

Chrome for Testing availability

 

자신의 버전에 맞는 chromedriver 주소를 복사한다.

https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/115.0.5790.110/linux64/chromedriver-linux64.zip

 

- bin 으로 이동해서 chromeDriver 를 받아서 압축을 푼다.

 

cd /bin
sudo wget -N https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/115.0.5790.110/linux64/chromedriver-linux64.zip
sudo unzip chromedriver-linux64.zip
cd chromedriver-linux64/
sudo mv chromedriver ../chromedriver

 

 

- 가상환경 설치

sudo apt install python3-venv

 

- 프로젝트 폴더와 가상환경 폴더 생성

mkdir projects
mkdir venvs

 

- 가상환경 생성

cd venvs
python3 -m venv mysite

 

- 가상환경으로 진입

cd mysite/bin
. activate

 

벗어나려면
deactivate 명령 수행

 

- wheel 패키지 설치하기

pip install wheel

 

git 이랑 프로젝트 연결하기

 

- ssh key 생성하기 ( Github에서 Private Repository 를 다운받기 위해 필요한 절차)

ssh-keygen -t rsa

$ cd ~/.ssh
$ cat id_rsa.pub

cat 해서 출력되는 결과 복사하기

 

Github, Profile 에서 Settings 로 이동

 

 

좌측에 SSH and GPG keys 로 이동

 

New SSH Key

 

Key 아까 복사한 내용 붙여넣고 Add SSH Key 클릭

 

Github Repository 에서 <> Code 클릭 후 SSH 주소 복사

 

 

- AWS Lightsail 에 git clone 받기

 

- 프로젝트에 필요한 라이브러리 설치하기

 

pip install -r requirements.txt

 

- mysqlclient 설치시에 오류가 나면 아래 명령어 실행 후 다시 pip install -r requirements.txt 실행

sudo apt install default-libmysqlclient-dev pkg-config -y
apt-get -y install python3.8-dev

 

 

실행한 코드를 실행하여 크롤러가 정상적으로 동작하는지 확인한다.

 

 

네이버 쇼핑의 경우 현재 115 버전을 쓰면 비정상적인 요청으로 차단을 하는 이슈가 있음

다음에는 114 버전을 설치하는 방법에 대해서 포스팅 하겠습니다.

 

참고자료

 

https://product.kyobobook.co.kr/detail/S000001817996

Do it! 점프 투 장고 | 박응용 - 교보문고

 

https://somjang.tistory.com/entry/Ubuntu-Ubuntu-%EC%84%9C%EB%B2%84%EC%97%90-Selenium-%EC%84%A4%EC%B9%98%ED%95%98%EA%B3%A0-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0

[Ubuntu] Ubuntu 서버에 Selenium 설치하고 사용하기

https://www.sysnet.pe.kr/2/0/13377

오류 유형: 867. 파이썬 mysqlclient 2.2.x 설치 시 "Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGS env vars manually

 

https://heehehe-ds.tistory.com/164

[Python] 패키지 설치 시 PEP 오류 해결 방법

https://vhrehfdl.tistory.com/152

error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

 

https://taesun.medium.com/amazon-aws-lightsail-instance%EB%A5%BC-rds-%EC%84%9C%EB%B9%84%EC%8A%A4%EC%99%80-%EC%97%B0%EA%B2%B0%ED%95%98%EA%B8%B0-2a24c8c0c791

Amazon(AWS) Lightsail Instance를 RDS 서비스와 연결하기