티스토리 크롤러 : 호스팅 서버에 연결할 수 없음 - 현실적 해결방법

티스토리를 운영하면서 애드센스 승인 이후 광고가 나오기 시작하는데, 크롤러: 호스팅 서버에 연결할 수 없음이라는 문제에 직면하게 됩니다. 그리고 여러 가지 방법들을 찾아보고 실행에 옮기게 됩니다. 이때 현실적인 해결방법을 소개합니다.

 

크롤러 : 호스트 서버에 연결할 수 없음에 대한 이해

크롤러 문제가 발생하는 경험은 블로거라면 누구든지 반드시 겪게 되는 문제입니다. 그리고 그 문제를 해결하기 위해서 대부분의 블로거들이 하는 행위는 구글에 해결하는 방법을 검색합니다. 그리고 여러 가지 방법들을 다 따라 해보고 실망합니다. 무엇하나 속 시원하게 해결이 되는 게 없기 때문입니다. 간혹 해당 몇 가지 방법으로 해결이 되는 경우가 있습니다. 하지만, 대부분은 내가 찾은 해결방법 때문에 해결이 된 것이 아니라 해결될 때가 돼서 해결이 된 것입니다.

 

크롤러 문제가 발생했을때, 많은 블로거들이 위에서 말한 것처럼 검색을 통해서 해답을 찾으려고 하는데 이때 놓치고 있는 부분이 있습니다. 해결하는 것이 문제가 아니라 왜 이런 문제가 생겼는지를 알아야 합니다. 그럼에도 불구하고 대부분의 블로거들은 해결 방법을 찾다가 포기하거나, 얻어걸려 해결이 되고 그것이 해결 방법이라고 착각하고, 똑같은 상황이 반복되는 겁니다. 그러다가 반복되는 문제에 지치고, 그런 문제 때문에 애드센스 수익이 나지 않는 건가 하고 절망하면서 포기하게 됩니다. 극히 일부의 블로거들이 겪는 문제가 아니고 대다수의 블로거들이 이 문제를 겪게 되고, 특히 초반에 많이 겪게 되며, 이런 문제가 발생하면 애드센스 수익이 줄어든다고 이야기합니다. 그런데 물어보고 싶네요. 직접 수익이 줄어드는 걸 확인하셨나요?? 확인하셨다면 얼마나 데이터화 해서 확인해보셨나요??

 

 

 

아래 사진을  하나 보여드릴텐데, 제 애드센스 계정에 상황입니다. 총 15 페이지에서 크롤러 : 호스트 서버에 연결할 수 없음이라는 문제가 발생했습니다. 이 페이지들은 제가 강제로 크롤러 오류가 나오도록 만든 겁니다. 강제로 뜨게 만들 수 있다고요?? 네, 가능합니다. 크롤러 오류에 대한 정확한 개념을 가지고 있기 때문에 가능합니다. 그리고 여러분들이 생각하는 게 맞다면 강제로 돈이 안 들어오게 만들었는데, 고작 글 하나 쓰기 위해서 일부러 이런 짓을 했을까요?? 제가 제 사이트에 이렇게 실제로 크롤러 오류가 발생하는 행위를 할 수 있는 이유가 있습니다. 결론부터 말씀드리면, 크롤러 오류가 나와도 광고수익이 줄지 않기 때문에 이렇게 할 수 있습니다.

크롤러 오류가 발생한 모습

 

크롤러 오류가 발생하는 원인과 확인해야 하는 것

크롤러 오류가 발생했을때 구글 서치 콘솔과 애드센스에서 여러 가지 방법들을 시도해봅니다. 그리고 그 방법들로 해결을 하셨나요?? 천만에요. 만약 그렇게 명확한 방법이 있다면 애드센스에서 해당 방법을 알려주겠죠. 물리적으로 해결이 되지 않기 때문에 애드센스 고객센터에도 명확한 답변이 없습니다. 

 

애드센스 크롤러 문제 해결 - Google 애드센스 고객센터

애드센스 크롤러 문제 해결 - Google 애드센스 고객센터

 

위의 고객센터를 자세히 한번 읽어보세요. 대충대충 읽지 마시고 자세하게 한번 읽어보시고, 크롤러 오류를 해결하는 방법이라는 수많은 방법들을 크롤러 오류가 발생하는 원인에 대입해보세요. 천천히 생각해보시면 모든 방법들이 거의 대부분은 논리적으로 맞지 않습니다. 또한 티스토리라는 플랫폼을 단순히 무료로 이용하고 있는 입장에서 우리가 할 수 있는 건 딱 한 가지가 남습니다. 「바로 사이트에 새로 게시된 콘텐츠가 있습니다.」 라는 원인을 해결하는 것이죠. 현실적으로 우리가 관여할 수 있는 부분은 이 원인을 제외하고는 뭔가를 해볼 방법이 없기 때문에, 생각을 하지 않으셔도 됩니다. 생각을 하지 않아도 되는 이유는 위에서 말씀드린 것처럼 수익에 영향을 미치지 않기 때문입니다.

 

애드센스 고객센터에 있는 내용

 

위에 얘기를 드린 게 초반에 이런 문제가 많이 발생한다고 했는데요, 초반에 의욕에 차서 하루에 많은 글들을 발행하면 이런 문제에 바로 직면하게 되는 겁니다. 만약 크롤러 오류가 발생했다면, 자신이 블로그에 글을 너무 빠르게 반복적으로 발행하고 있는지 확인을 해야 합니다. 내가 새 글을 발행했는데, 그 글은 애드센스도, 구글 서치 콘솔도 어디에서도 크롤링이 되지 않은 상태에서 해당 글을 직접유입으로 사람들이 보게 되면 당연히 광고 송출 요청이 들어가게 되고 그렇게 되면 애드센스가 크롤링을 하는 과정에서 오류가 발생하게 되는 겁니다. 시간이 지나서 블로거를 계속 하게 되는 분들은 이런 문제가 대부분 발생하지도 않고, 발생해도 크게 신경을 쓰지 않게 됩니다. 애초에 크롤러 오류는 초보 블로거들의 영역에서 발생하는 문제입니다. 물론 광고위치와 같은 부분 때문에 발생하기도 하지만, 오늘 포스팅에서는 그 내용까지는 담지 않겠습니다.

 

 

초보 블로거분들 기준으로 설명을 드릴께요. 새 글을 작성해서 포스팅을 합니다. 그리고 초보 블로거분들은 당연히 서치 콘솔에 색인 요청을 하게 됩니다. 그리고 또 다른 글을 쓰고 또 색인 요청을 합니다. 10개의 글을 작성하고 10개의 글을 색인 요청하지만, 실제로 색인에 반영이 된 글은 아마 하나도 없을 겁니다. 오늘 작성한 10개의 글 말고 다른 글을 통해서 내 블로그에 들어온 사람이 오늘 작성한 글을 사이트 내에서 클릭해 보게 됩니다. 그러면 그 오늘 작성한 그 새 글에는 광고 송출이 될 수도 있고 안될 수도 있습니다. 만약에 오늘 작성한 그 글이 제목을 잘 뽑아서 유입이 많았다고 칩시다. 아직 애드센스는 내 글의 존재를 모르는데, 내 글에서 광고 송출을 계속해서 요청을 하는 거죠. 그러면 애드센스는 광고를 보내기 위해 내 글을 확인하려고 할 겁니다. 이게 크롤링이죠. 근데 확인하러 왔더니 새 글이 여러 개가 있는 겁니다. 도대체 어디지?? 어느 카테고리에 어디에 위치해있는 어떤 글인지?? 애드센스는 제대로 파악을 하지 못하는 거죠. 근데 애드센스라는 아이는 엄청 바쁜 아이인 거죠. 그래서 내 사이트에만 시간을 할애할 수 없으니, 나중에 확인해야겠다고 생각하고 돌아가버립니다. 이때 크롤러 오류가 발생합니다.

 

이해가 아직 안되셨나요?? 우체부가 우편물을 배달하려고 하는데, 이 우체부가 배달해야 하는 우편물은 정말 많은 겁니다. 그래서 우편물을 배달하려고 왔는데 주소가 명확하지가 않은 거죠. 그래서 그 집은 나중에 배달해야지하고 다른 집으로 가버린다는 겁니다. 

 

그래서 크롤러 오류가 발생했다면, 당장 확인해야 하는 것이 내가 새 글을 발행하는 주기를 확인해야 합니다. 블로거들 사이에는 이래야 된다더라~ 같은 이야기들이 많은데, 「2시간 발행을 해야 된다」 같은 이야기를 들어보셨을 겁니다. 누구는 1시간이라고 이야기하기도 하고 누구는 3시간이라고 이야기하기도 합니다. 이 이야기는 반은 맞고, 반은 틀린 이야기입니다. 이 주기에 대한 이야기는 아래에 계속 설명할 텐데, 중요한 것은 크롤러 오류가 발생했을 때, 내가 얼마 만에 새 글을 계속해서 발행했는지 정확하게 확인하시고, 그 시간보다 30분에서 1시간 정도 틈을 가지고 작성을 해보시기 바랍니다. 그리고 어느 정도 시간에 발행을 했더니 이런 문제가 발생하지 않는구나라는 데이터를 만드시기 바랍니다.

 

크롤러 오류가 발생해도 스트레스 받지말고, 글쓰기를 이어나가세요.

위에서 계속 이야기했던, 크롤러 오류가 발생해도 수익이 줄어들지 않는 이유와 바로 위에서 이야기한 발행 주기에 간해서 설명을 드릴 테니, 이제는 크롤러 오류에 대한 스트레스에서 벗어나셔서 꾸준히 블로그하시고 포기하지 않기를 바랍니다.

 

첫번째, 크롤러 오류가 발생해도 수익이 줄지 않는다는 이유입니다. 아주 명확하게 말하면 수익이 주는 건 맞습니다. 이때까지 계속해서 수익이 줄지 않는다고 해놓고 무슨 소리냐고 화가 나실 수도 있습니다. 제가 수익이 줄지 않는다고 말씀드린 이유는 매우 무의미한 수치이기 때문입니다. 맨 위에 제가 올려놓은 사진을 보시면, 광고게제가 제한된 건은 1%에 지나지 않습니다. 그 말은 크롤러 오류가 발생해도 광고는 나온다는 겁니다. 완전히 100% 광고가 차단이 되는 것이 아니라, 일부 광고 제한이 발생한다는 이야기입니다. 광고가 게 제제한이 되었는데 왜 1%밖에 안 나올까요?? 우선 1%라는 수치를 생각해보세요. 애초에 1%라는 수치 자체는 매우 무의미한 숫자이며, 그 1%에서 나오는 클릭률을 생각해보면 정말 무의미한 수치입니다. 그 1% 때문에 내 광고 수익이 몇십 달러, 몇백 달러가 왔다 갔다 하는 일은 없습니다. 특히나 하루에 10달러 남짓 수익이 나오는 초보 블로거들이라면 말할 필요도 없는 무의미한 수치입니다.

 

제가 왜 수익이 줄지않는다는 건지 이해가 되셨나요?? 그러면 글이 많아지고, 트래픽이 늘고, 수익이 늘어나면 1%도 유의미한 수치가 되는 거 아닌가?? 그러면 크롤러 오류를 더 무시하면 안 되는 거 아닌가?? 하고 반문하실 수 있습니다. 그런데 글이 많아지고, 트래픽이 늪고, 수익이 늘어나면 그때는 또 그때 나름 크롤러 오류가 무의미해집니다.

 

 

크롤러 오류가 발생하면 글 발행 시간을 확인 해보라고 말씀을 드렸는데, 이 시간은 사이트마다 제각각입니다. 정확한 그 메커니즘까지 제가 알아내서 설명을 드릴 순 없지만, 제가 15개의 티스토리를 운영하면서 명확하게 말씀드릴 수 있는 것은 트래픽이 높고, SEO를 잘 맞춰서 쓴 사이트에 글들은 매우 빠르게 크롤링을 해 갑니다. 여기서 크롤링이라 함은 애드센스 크롤러를 말하는 게 아니라 구글 서치 콘솔의 크롤링을 말합니다. 눈치가 빠르시고, 아까 위에 고객센터를 몇 번 읽어보신 분들은 알 수 있으실 텐데요. 구글 서치 콘솔의 크롤러와 애드센스의 크롤러는 별개의 방식으로 작동합니다. 하지만 이 두 크롤러는 서로 공유를 합니다. 제가 그냥 하는 말이 아니라 고객센터에 적혀있는 내용입니다.

 

위에서 설명했던 것처럼 우체부로 설명을 알기 쉽게 단순하게 말씀을 드리겠습니다. 구글 서치 콘솔이라는 우체부는 여러 집들의 주소를 확인하고, 그 집에 실제로 누가 사는지, 건물 몇층에 사는지 등을 확인하고 다니는 우체부라고 칩시다. 이 우체부는 우편물을 배달해주지는 않지만, 위에서 말한 정보를 계속해서 업데이트를 하고 있는 거죠. 근데 A라는 건물 앞에서 이 건물 안에 있는 집들을 확인하러 온 겁니다. 근데 A라는 건물은 몇층에 몇 호가 있는지, 그 층에는 어떤 구조로 되어 있는지 충분히 설명이 잘되어 있는거죠.있는 거죠. 그래서 A라는 건물에 새로운 상가가 들어서면 빠르게 파악을 할 수 있는 거죠. 그리고 이 정보를 애드센스라는 우체부에게 빠르게 공유를 해줍니다. 반대로 B라는 건물은 사람도 많이 살지도 않는데, 심지어 3층은 생선가계라고 적혀있는데 막상 3층에 갔더니 정육점만 가득한 거죠. 만약 구글 서치 콘솔이 진짜 사람 같은 우체부라면 3층엔 없네, 4층을 잘못 쓴 건가 하고 4층에서 생선 가계를 찾는 겁니다. 하지만 구글 서치 콘솔은 AI이기 때문에 3층에서 계속 생선가계를 찾다가 2층에 가봤다가 5층에 가봤다가 나가버리는 겁니다.

 

이게 초보 블로거와 오래 블로거를 잘 유지해온 블로거의 차이입니다. 그래서 아까 말한 크롤링 시간이 차이가 나는 겁니다. 예를들어 초보 블로거가 글을 쓰고, 깜빡하고 색인 등록을 안 해서 친구를 만나고 술도 한잔하고 집에 돌아와서 씻고 자기 전에 색인을 요청해도 아직 색인이 되어 있지 않을 수 있지만, 오래 블로거를 잘 유지한 쪽은 글을 쓰고 내가 굳이 색인 요청을 하지 않았는데도 얼마 안가 색인이 되어서 검색에 노출이 됩니다. 여기서 애드센스 크롤러 오류가 블로거를 SEO에 맞춰서 잘 작성하고, 오래 유지해온 사람들에게 잘 발생하지도 않을뿐더러, 발생했다고 하더라도 구글 서치 콘솔의 크롤러와 공유가 되면서 금방 사라지거나, 정책센터에 남아있더라도 게제제한 되는 광고의 숫자는 늘어나지 않아서 수익에 영향을 미치지 않는 상황이 나타나는 겁니다.

 

정리하면, 크롤러: 호스트 서버에 연결할 수 없음이라는 문제에서 현실적으로 우리가 관여 할 수 있는 부분은 새 글을 발행하는 주기를 조절하는 것이고, 내 티스토리에 글의 질을 올리기만 하면 크롤러 오류는 신경 쓰지 않아도 되는 영역이 되어버립니다. 그 외에 우리가 크롤러 오류에 대해서 추가로 관여할 수 있는 부분은 글의 질과 관련된 SEO나 글의 길이, 광고의 위치 등이 문제만 남는 거죠. 크롤러 오류 해결방법을 찾으면서 스트레스받지 마시고, 그 시간에 조금이라도 더 양질의 글을 작성하시기 바랍니다.