Google Indexing API를 이용하여 블로그스팟,티스토리 빠르고 많이 색인 요청하기!
블로그스팟을 하다보면 서치콘솔님께서 색인을 해주신다. 화가난다. 수동으로 하나하나 하는건 하루 10건인가?밖에 안된다. 정말 너무하지 않은가? 나는 매우 많은 똥(?)글 아니 정보글을 쓰고있는데 색인을 안해주다니 너무 실망적이다(짜집기잖아 어처피...!?) 나는 너무나도 슬픈 나머지 자동 크롤링 요청을 찾아봤지만 역시는 역시 ㅈ밥 호구 블로그스팟은 위대한 워프님과 다르게 지원하는 API친구가 없다 (영문 1~2페이지밖에 확인 안해봤지만 나머지는 파이썬 써야함 하지만 우린 코딩 개 ㅈ밥이잖아? 아마 안될거야, 코딩 잘하는 사람이면 이 글을 찾지도 않았겠지)
고로 우리처럼 문-과 친구들은 돈내고 워프를 가든지 아님 블로그스팟같은 친구들을 하든지 둘중 하나일거다. 고로 2~3분씩 걸리는 색인 요청을 빠-르고 많이(최대 200건)하는 방법을 알아보고자 한다!
먼저 검색사이트에 대해 알아보자!
기본적으로 우리가 알고있는 사이트들은 총 4개 정도이다. 그중 API 지원 여부는 아래 확인
ervice Support API Desc
Bing Y 토큰 발급 헤더에 포함하여 요청
Daum N 수동 등록만 지원
Google Y 키 기반 인증->토큰 발급->헤더에 포함하여 요청
Naver Y 수동 등록만 지원(API가 있지만 제휴 업체만 가능함)
Bing과 Google은 API를 지원하며, 누구나 연동하여 사용할 수 있도록 제공하고 있고 다음과 네이버의 경우 수동만 지원하거나 제휴 기능으로 별도로 제공한다(하루 5만건였나? 5천건 이상 수정 및 생성된 사이트만 가능 ㅎ)
물론 headless browser로 처리하면 뭐… 자동화는 가능하겠지만, 우리같은 문과친구들은 불가능하다! (어처피 하루 50건이야 흥 요청해도 색인도 크롤링도 안해줌 흥)
Bing은 한번 해보시면 굉장히 간단해서 쉬울거고, Google이 약간 복잡한 감이 있어서 Google로 내용 정리하겠다! (빙도 결국 코드다! 으앙!)
쉬운 색인 요청의 시작 Google Indexing API 활용법
Google API는 굉장히 많다. 검색,지도,메일 등 대다수 서비스에 API를 지원하고 있어서, 원하시는 기능을 API를 통해 별도의 앱에서 처리할 수 있도록 만들 수 있습니다.
다만 이러한 과정에서 사용되는 인증이 단순히 계정에 대한 토큰정보가 아니라, GCP에서 IAM통해 생성한 계정과 토큰 정보라서 GCP에서 미리 세팅이 필요합니다. 몰론 기간이 따로 없어서 알아서 쓰면 됩니다.
GCP에서 프로젝트 생성만들기
우선 GCP 들어가서 토큰을 만들어야 합니다!
https://console.cloud.google.com
기존에 사용하셨었다면 프로젝트가 있을거고, 사용한적이 없으시다면 프로젝트를 하나 생성해야 합니다. 혹시나 다른거 사용하시다가 결제 관련해서 나갈까 걱정이시라면, 결제정보를 등록하지 않는게 제일 좋을 것 같아요. (그 구글 뭐 문자? 광학 그건 한달 뒤에 돈빼감 참고)
IAM에서 계정생성
프로젝트 생성이 끝났으면, 각 프로젝트 페이지에 진입 후 IAM 서비스로 이동하세요. IAM은 계정관리 서비스로 AWS, Azure 등 다른 Cloud 서비스 사용해보셨다면 아마 익숙하실텐데요, 내 프로젝트 하위에 별도의 로그인 계정을 만들어준다 라고 생각하면 됩니다. 몰론! 제 블로그를 보시는 독자분이라면! 아마... 문과가 아닐까... 아마두? 흑...
먼저 프로젝트 > IAM 및 관리자 > 서비스 계정 으로 접근합니다.
위 액세스 권한은 무시해도 됩니당 ㅎ
저거 키 눌러서 키추가하세요! 새 키 -> JSON으로 생성! 크 후 키가 나오는데 따로 저장해두세요! (자동으로 다운로드된 파일 있는데 이거 없어지면 안되요! 아주 중요합니다!)
Indexing API Enable하기!
아까 만든 프로젝트 있죠? 거기로 들어가세요!
https://console.cloud.google.com/apis/dashboard?hl=ko&project=프로젝트이름
저게 주소입니다! 저는 blogger로 만들었기에 주소는 아래와 같습니다.(어처피 여러분은 못들어가요 예시에요 예시)
https://console.cloud.google.com/apis/dashboard?hl=ko&project=blogger
그 후 나오는 API 사용하기 클릭!
이제 중간까지 왔뜹니다!
서치 콘솔로 갑시다! https://search.google.com/search-console/welcome?hl=ko
이제 Search console에서 권한을 추가해줘야 하는데요, Step4 까지 진행 후 앱을 만드셔도 되지만, 실제 요청 시 Permission 에러(Permission denied. Failed to verify the URL ownership.)가 발생합니다. 이는 Indexing API를 사용한다고 해도, 허용된 권한의 도메인만 컨트롤 할 수 있도록 구글에서 제한하기 떄문인데요, 아래와 같이 서치 콘솔로 들어갑니다.
아까 생성한 계정의 메일 주소를 넣어줍니다. 권한은 전체 권한이 필요합니다. 계정의 메일 포맷은 계정이름@프로젝트.iam.gserviceaccount.com 이며, 혹시 메모해두시지 않았다면 GCP의 IAM에서 가셔서 다시 확인하셔도 됩니다.
여기까지 진행하고 API 테스트 시 잘 호출된다면 문제없겠지만, Permission 에러가 발생한다면 속성 관리가 추가를 진행하셔야 합니다.
색인 인덱싱 시작!(API Tool)
양키 성님께서 문과충(저포함?)들도 손쉽게 쓸수 있게 만들어주신 툴입니다.
 |
2번은 아까 위에서 저장한 json을 업로드 해주시면 됩니다. 그리고 마지막으로
3번 눌러서 제출 후 끝나면 아래에 로그 나옵니다. 확인 후 재제출 눌러서 초기화 후
반복해주시면 됩니다. (저희의 크롤링 요청은 기본 일일 최대 200건입니다)
이렇게 끝났습니다. 기나긴 과정이였네요 흑 (답은 워프다!) 모두 즐거운 블?로그 하세요~
다음은 음 개 똥망 블로그스팟 에디터 대신 다른걸 활용하는 방법을 알아볼게요!