Dork's port

Database 서버를 교체하고 기존 코드를 돌려보니, 크롤링을 하던 도중 ERROR 2006 (HY000): MySQL server has gone away 에러가 심심찮게 발생했다. 그래서 해결법을 찾아보았고 잘 되는것 같아 공유한다. 원인으로는 DB 서버측, 클라이언트 측이 있을 수 있다. # 서버 설정 보통 클라이언트에서 네트워킹이 장시간 없으면 서버 측에서 설정한 설정 값에 따라 연결을 끊거나, 서버에서 지정한 버퍼 (데이터 양)을 초과하면 서버에서 RST 패킷을 보내 연결을 끊는 것 같다. 대표적으로 관련된 설정 값은 아래와 같다. connect_timeout max_allowed_packet net_buffer_length max_allowed_packet wait_timeout mysql에..

Draft Version. (연구하면서 틈틈히 업데이트할 것, 시간이 난다면 TEST DB의 테이블 구조 및 이름을 명시화 해서 코드를 작성하도록 하자) Python에서 database 사용을 위해 SQL Alchemy를 사용하고자 한다. # Connection Connection examples - http://docs.sqlalchemy.org/en/latest/core/engines.html#postgresql Engine Configuration — SQLAlchemy 1.3 Documentation The create_engine() function produces an Engine object based on a URL. These URLs follow RFC-1738, and usually ..