크롤러: 호스팅 서버에 연결할 수 없음 - 애드센스 광고 오류 해결

「크롤러: 호스팅 서버에 연결할 수 없음」이라는 문제를 시기의 문제이지 반드시 겪게 됩니다. 이때 해결 방법을 애드센스 도움말을 통해 확인해보고, 검색을 통해서 여러 가지 방법으로 찾아서 해결하기 위해 노력을 하게 되는데요. 의외로 간단하고 쉽게 해결이 가능합니다.

크롤러: 호스팅 서버에 연결할 수 없음

 

1. 크롤러: 호스팅 서버에 연결할 수 없음 - 왜 발생하는 걸까요??

우리가 블로그에 글을 쓰면 구글과 애드센스의 크롤러가 우리의 사이트에 방문해서 크롤링을 합니다. 그렇게 우리의 글의 정보를 파악한 다음 검색 결과로 나타내기도 하고, 광고를 송출시켜주기도 하는 거죠.

 

아주 쉽게 우리가 블로그에 방을 하나 만들어 놓으면 크롤러라는 친구가 우리 집에 와서 그 방문을 살펴본 후 안으로 들어와서 방안에 가구도 살펴보고, 벽지도 확인하고, 방 넓이와 높이고 확인을 한 후 돌아갑니다. 그러고 나서 누군가가 검색을 하거나 광고를 송출하려고 하면, 그 방안의 모습을 기억했다가 검색 결과에 우리의 방을 보여주거나 우리 방 벽에 광고를 달아 주기도 하는 거죠.

 

그래서 우리가 처음 구글서치콘솔이나 애드센드를 가입할 때 가입하던 시기에 따라 다르지만, 몇 가지 방법과 절차를 통해서 내가 소유한 사이트임을 확인시켜주고, 구글과 애드센스가 내 사이트를 크롤링할 수 있는 권한을 주게 됩니다. 그럼 그 권한을 바탕으로 지속적으로 우리 사이트에 방문을 해서 크롤링이라는 행위를 하게 되는 겁니다.

 

 

그럼 「크롤러: 호스팅 서버에 연결할 수 없음」 이라는 문제는 아주 간단하게 크롤러가 우리 사이트에 방문을 했을 때, 호스팅 서버에 접근을 하지 못했다는 이야기입니다. 제가 애드센스가 아니기 때문에, 크롤러가 우리 사이트에 방문했을 때 서버에 접근을 하지 못하는 경우가 발생했을 때 즉각적으로 광고 게재 제한이 되는 건지, 아니면 여러 차례 방문을 했음에도 지속적으로 서버에 접근을 하지 못하는 경우가 발생했을 때 광고 게재 제한이 이루어지는지 까지는 알 수 없습니다. 다만 정확히 우리가 알 수 있는 것은, 에드센스 크롤러가 사이트에 정상적으로 접속할 수 없었기 때문에 이와 같은 문제가 발생하게 됩니다.

 

이 문제의 원인은 에드센스나 블로거의 문제가 아니라 사이트의 서버의 문제입니다. 광고 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 사이트가 다운되거나, 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생하는 문제입니다. 결론은 우리 같은 블로거의 문제가 아니라 호스팅 업체, 즉, 티스토리 측의 문제입니다.

 

2. 크롤러: 호스팅 서버에 연결할 수 없음 - 인터넷에 존재하는 대표적인 해결 방법들

검색결과 약 7,280개

구글에 크롤러: 호스팅 서버에 연결할 수 없음을 검색하면 7,200개가 넘는 글이 나옵니다. 많은 숫자는 할 수 있는건 아니지만 저 글들을 하나씩 살펴보면 대부분 전부 모두 똑같은 글들입니다. 가장 많이 나오는 2가지의 해결 방법이 있는데요. 첫째는 구글 서치 콘솔을 이용하는 방법이고, 두 번째는 애드센스를 이용하는 방법입니다.

 

2. 1. 구글서치콘솔 활용

구글 서치 콘솔을 이용해서 블로거라면 당연히 알고 있는 URL 검사를 통해서 색인 요청을 해버리는 방법입니다. 이미 색인이 등록되어 있는 경우도 있는데 색인 생성 요청을 다시 하는 방법입니다. 크롤러가 크롤링을 못했으니 크롤링을 요청한다는 아주 단순한 방법입니다.

 

 

 

근데 과연 효과가 있을까요?? 크롤링에 과한 구글서치콘솔과구글 서치 콘솔과 애드센스의 도움말을 찾아보면 구글 서치 콘솔과 애드센스의 크롤러는 별도로 작용을 한다고 되어 있습니다. 다만 캐시를 공유한다라고 되어는 있는데요. 저는 이 캐시를 공유한다 라는 부분이 과연 크롤링 정보를 온전히 두 크롤러가 공유를 한다는 것인지에 대한 확정적인 답은 찾지 못했습니다. 우리에게 발생한 문제는 애드센스의 크롤러가 호스팅 서버에 연결할 수 없었던 문제인데, 구글의 크롤러가 우리의 사이트에 온전하게 접속을 했다고 해서, 즉각적으로 조치가 이루어지는 걸까요?? 두 크롤로 사이에서는 매우 빠른 조치가 이루어진다고 하더라도 애초에 구글 서치 콘솔의 색인이 우리가 요청을 한다고 해서 즉각적으로 이루어지지 않는데, 큰 의미가 있을까요??

 

예를 들어 여러 개의 블로그를 운영 중인 분들은 모두 알고 계시겠지만, 트래픽이 높고, 구글 검색 상위에 많이 노출이 되는 블로그의 경우에는 굳이 이 색인 요청을 하지 않아도 글을 쓰고 조금 지나면 검색에 노출이 되는 걸 경험했을 겁니다. 반대로 트래픽이 낮고, 구글 검색 상위에 노출이 많이 된 적이 없는 블로그의 경우에는 색인 요청을 했을 때, 한참이 지나도 구글에 등록이 안되는 걸 경험했을 겁니다.

 

이 말은 애시당초에 색인 요청을 해도 색인 요청이 빨리 이루어지지 않는 블로그는 이 방법으로 빠르게 문제에서 벗어날 수가 없다는 거죠. 반대의 경우에는 굳이 하지 않아도 자연스레 금방 해결이 됩니다. 실제로 제 경우에는 자다가 새벽에 정책 센터에 문제가 생긴 문자를 확인하고 짜증 내며 다시 잠들었다가, 점심 먹을 때쯤에 해결이 된 경우도 많습니다. 반대로 막 시작한 블로그의 경우에는 구글 서치 콘솔에 색인 요청을 해놓고도 일주일까지도 간 적이 있습니다.

 

2. 2. 애드센스 크롤러 액세스 활용

애드센스를 이용하는 방법인데요. 애드센스 「계정」에서 「엑세스 및 승인」에 있는 「크롤러 액세스」 메뉴를 이용하는 건데요. 해당 메뉴로 들어가서 로그인 추가 버튼을 누르면 아래와 같은 화면이 나옵니다. 

로그인 정보 추가

첫 번째 크롤링 문제가 발생한 URL을 입력하고, 두 번째에는 로그인하는 페이지를 넣으면 됩니다.. 두 번째 로그인하는 페이지에 대한 설명이 대부분 글에서 정확하지 않고, 여러 가지를 알려주는데 「https://www.tistory.com/auth/login」를 사용해도 되고, 티스토리에서 로그아웃을 하면 길게 나오는 주소를 사용해도 됩니다. 실제로 다 테스트를 해보았습니다. 

 

세 번째 칸인 로그인 방식은 POST로 맞추고, 마지막 2줄은 각각 아이디를 두 번, 비밀번호를 두 번 입력하면 우측 하단에 있는 로그인 추가를 누르면 아래 사진과 같은 상태가 됩니다.

완료한 화면

글씨가 작아서 잘 안보일수가 있는데, 크롤링 안 함이라고 적혀 있습니다. 많은 블로거들이 말하는 이 방법은 이렇게 하면 애드센스 크롤러가 해당 페이지를 시간이 지나면 크롤링하기 때문에 문제가 해결이 된다는 내용입니다. 많은 글들을 보면 하루 이틀 지나면 됩니다.라는 내용들이 많습니다. 

 

여기까지가 애드센스에 있는 크롤러 엑세스를 이용해 해결하는 방법인데요. 아래 사진을 일단 봐주시기 바랍니다.

크롤러 엑세스를 이용해서 실제로 해보았는데요. 저 같은 경우에는 하루 이틀이 아니라 30분도 채 안돼서 크롤링 상태로 변경됐습니다. 그럼 보통 구글 서치 콘솔이든, 애드센스든 뭔가 설정을 바꾸면 반영되는데 1시간은 기다려야 한다 이런 문구들을 늘 보았을 텐데요. 크롤링이 되고 하루가 지났는데 아직 광고  게재 제한은 풀리지 않았습니다. 게재 제한은 이틀이 지나서 결국 풀렸습니다.

 

 

 

크롤러 엑세스를 이용하는 방법의 과정이나 원리가 맞는지 틀린지는 제가 100% 알 수가 없지만 적어도 제가 내린 결론은 이렇습니다. 이 방법은 해결이 되는 건 아니다. 해결이 된다고 하더라도 즉각적으로 해결에 도움이 되는 방법은 아니다.

 

문제의 처음으로 돌아가서, 정책센터에서 우측의 수정을 누르면 문제 세부정보를 볼 수 있습니다. 여기서 문제가 되는 크롤러: 호스팅 서버에 연결할 수 없음을 클릭하면 아래 같은 팝업창이 뜹니다. 팝업창에는 「서버가 다운되거나 응답을 보내기 전에 서버가 연결을 닫는 등 여러가지 이유로 서버에 연결할 수 없습니다.」라고 나옵니다. 전 이해가 안 가는 게 애당초에 이건 서버가 연결이 안 되는 문제인데, 로그인 정보를 입력하고 안 하고 가 도대체 무슨 문제가 있을까요?? 로그인 정보를 애드센스에 알려주고 로그인을 하고 싶어도 서버가 연결이 안 되는데 그게 해결이 됩니까??

문제 설명

위의 사진에 자세히 알아보기를 눌러보면 아래 링크와 같은 내용들이 길게 나옵니다.

애드센스 크롤러 문제 해결 - Google 애드센스 고객센터

애드센스 크롤러 문제 해결 - Google 애드센스 고객센터

 

그리고 호스팅 문제로 연결이 됩니다. 「네임서버가 올바르게 설정되어 있나요? 요청의 출처에 대한 제한이 있나요? 사이트의 서버가 정상적으로 운영 중인가요?」 이런 내용들을 확인하라고 나오는데 여기서 우리 블로거가 할 수 있는건 robots.txt 설정에서 혹시 애드센스 크롤러의 접속을 막고 있는 게 아닌가 하는 의심을 해보는 정도 아닌가요?? 근데 티스토리의 경우는 robots.txt 파일은 티스토리에서 생성하고 관리를 하는 영역입니다.

 

 

위의 링크에서 가장 위로 올라가면 엑세스 애드센스 크롤러 문제 해결 방법 중 액세스 문제 해결 방법이 나옵니다. 거기에 가장 먼저 나오는 해결방법이 「크롤러 로그인을 설정하여 로그인이 필요한 페이지에 광고를 게재하세요.」 입니다. 그래서 링크를 타고 로그인이 필요한 페이지에 광고 게제하기로 이동하면 아래 링크가 나오는데요. 아래 링크의 내용이 방금 우리가 두 번째로 사용했던 방법입니다. 애초에 우리가 글을 쓰고 공개로 포스팅을 하는데, 누구라도 볼 수 있게 글을 등록하는 로그인과 관련된 이야기를 더 길게 이야기할 필요가 있나요??

 

로그인이 필요한 페이지에 광고 게재하기 - Google 애드센스 고객센터

로그인이 필요한 페이지에 광고 게재하기 - Google 애드센스 고객센터

 

3. 크롤러: 호스팅 서버에 연결할 수 없음 - 진짜 해결 방법

사실 이런 글을 쓸 필요가 없습니다. 왜냐면 서두에도 말했지만 이 문제는 블로거라면 누구든 겪게 되는 문제이고, 자연스럽게 해결방법을 알게 됩니다. 해결방법은 블로거가 할 수 있는 건 없고, 블로그마다 다르지만 시간이 지나면 다 해결이 됩니다.

 

이 글을 보는 분들은 거의 대부분 초보 블로거들일꺼라고 생각합니다. 어느 정도 블로거로써 여러 가지 문제를 겪어 본 사람들은 알고 있으니깐요. 이런저런 방법을 한다고 해결되는 게 아니라는 걸 말입니다. 근데 초보때 생각해보면, 블로그를 처음 막 시작했을 때 생각해보면 말이죠. 어떤 문제가 하나 생기면 그거 때문에 블로그를 새로 해야만 하는 게 아닌가 하는 걱정을 하기도 하고, 이런 방법 저런 방법 다 찾아보면서, 심지어 그 방법들이 맞는지 확실한지도 모르는 상황에서 시간을 뺏기게 됩니다. 그리고 지치게 되죠. 

 

블로그는 사실 대단한 스킬이나 요령과 키워드들 보다 꾸준히 포기하지 않고 하는데 있습니다. 초보분들이 저런 잘못된 정보 때문에 시간을 뺏기는 게 너무나 안타깝습니다. 차라리 그 시간에 글 하나라도 더 쓰는 게 도움이 되는데 말이죠.

 

크롤러: 호스팅 서버에 연결할 수 없음 이라는 문제가 생기면 절대 큰 걱정하지 마시고 일단 천천히 하루 이틀 기다리세요. 그래도 안되면 광고를 너무 많이 겹치게 무리하게 설정해둔 게 아닌지 확인하시고 줄여보세요. 그래도 안되면 티스토리에 문의를 하세요. 이게 가장 현실적인 방법입니다. 광고 게재를 기다리면서 글을 그냥 하나하나 계속 써 나가시길 바라고, 며칠 광고가 안 붙는다고 해서 길고 길게 가져가야 하는 블로거의 삶에 아무런 영향을 미치지 않습니다.

 

2022.08.17 - [티스토리-애드센스] - 티스토리 크롤러 : 호스팅 서버에 연결할 수 없음 - 현실적 해결방법

티스토리 크롤러 : 호스팅 서버에 연결할 수 없음 - 현실적 해결방법