안녕하세요. 엔지엠소프트웨어입니다. 엔지엠 에디터(Enterprise)에는 여러가지 유용한 유틸리티가 기본 제공되고 있습니다. 엔지엠 에디터를 실행하고, 메뉴의 유틸리티 > 이미지 크롤러를 클릭하세요. 이 유틸리티는 특정 사이트에서 이미지를 크롤링할 수 있도록 도와줍니다. 이 기능을 잘 이용하면 이미지를 분류할 수 있는 딥러닝 소스를 쉽고 빠르게 수집할 수 있습니다. 물론, 후처리는 필요하지만요^^;

 

 

검색어에 "고양이"를 입력하고 "크롤링 시작" 버튼을 클릭하세요. 가로, 세로 크기는 설정한 크기보다 작은 이미지는 저장하지 않습니다.

 

 

크롤링 작업이 완료되면 폴더를 확인할 수 있습니다. 이미지는 "내문서 > NGM6 > Crawling" 폴더에 저장됩니다.

 

 

구글에서 "카리나 움짤 모음"을 검색합니다. 많은 사이트들이 표시되는데요. 저는 아래 사이트를 테스트 해보겠습니다. 카테고리를 "직접입력 (Custom)"으로 선택하고 주소를 입력하세요. 그리고, 주소를 넣고 "크롤링 시작"을 클릭합니다. 크롤링이 완료되면 저장된 폴더를 자동으로 열어줍니다.

[ https://kpopidol.fun/1027 ]

 

 

이미지가 잘 저장된 것을 알 수 있습니다.

 

 

일부 사이트는 정상 동작하지 않을수도 있습니다. 자바스크립트를 이용해서 동적으로 로딩하는 경우인데요. 이런 경우에는 자바스크립트를 미리 실행할 수 있도록 처리 후 동적으로 로딩된 HTML을 가져와서 파싱해야 합니다. 이렇게 만들어진 사이트의 이미지들은 크롤러로 수집 할 수 없고, 웹 API를 이용하거나 커스텀으로 WebRequest를 이용해야 합니다.

 

개발자에게 후원하기

 

추천, 구독, 홍보 꼭~ 부탁드립니다.

여러분의 후원이 빠른 귀농을 가능하게 해줍니다~ 답답한 도시를 벗어나 귀농하고 싶은 개발자~

감사합니다~

추천0 비추천0