안녕하세요. 엔지엠소프트웨어입니다. 엔지엠 매크로에는 다양한 방식의 딥러닝(기계 학습) 기능이 포함되어 있습니다. 대표적으로 [ 욜로 매치 ]를 이용해서 캡챠를 풀거나 난독화된 암호를 풀 수 있습니다. 이외에도 윈도우 화면에서 글자와 숫자를 인식할 수 있습니다. 하지만, [ 욜로 매치 ]는 러닝 커브가 높아서 접근성이 떨어지는 단점이 있습니다. 이를 보완하기 위해 [ 비전 AI ] 액션을 사용하는데요. 일부 특화된 이미지 분석 및 글자, 숫자 인식은 여전히 [ 욜로 매치 ]를 사용해야 합니다.

 

간단한 테스트를 위해 엔지엠 매크로를 실행하고, 새로운 스크립트를 하나 추가하세요.

 

 

비전 AI 액션을 사용하려면 아래 글을 참고하셔서 윈도우에 인증키를 미리 등록해야 합니다.

[ 외부 API - 구글 API - 비전 AI. (External API, Google API, Vision AI) ]

 

비전 AI 인증키를 등록했으면 외부 API의 구글 API 카테고리에서 비전 AI 액션을 스크립트에 추가하세요.

 

 

비전 AI 액션의 속성창에서 이미지 영역을 아래 그림처럼 설정하세요. 비전 AI 결과 값에 Td4e va와 같이 텍스트를 인식했습니다. 비전 AI 좌표에는 텍스트의 위치가 표시됩니다.

 

 

결과 값에서 띄어쓰기(스페이스: Space)를 제거하려면 [ 문자열 치환 ] 액션을 사용하면 됩니다. 아마도 대부분의 글자 또는 숫자를 인식하는데는 문제가 없을겁니다. 좀 더 복잡하고 많은 문자를 테스트 해볼께요. 이번에는 한글, 영어, 숫자가 모두 포함된 텍스트입니다. OCR 체크 액션과는 비교할 수 없을정도의 정확도를 보여줍니다.

 

 

이번에는 오브젝트를 인식하는 테스트입니다. 자동차의 바퀴 또는 휠 2개와 사람 3명, 그리고 차 한대가 인식되었습니다.

 

 

어디를 인식했는지 확인하기 위해 비전 AI 좌표 목록을 변수에 저장하고, [ Foreach 반복 ] 액션으로 좌표를 하나씩 [ 클릭 ]할 수 있습니다. 아래와 같이 스크립트를 구성하세요.

 

 

매크로를 실행하면 아래 동영상처럼 윈도우 화면에서 오브젝트들을 모두 찾아서 클릭할 수 있습니다.

 

 

만약, 사람만 클릭하고 싶다면 아래와 같이 필터를 설정할수도 있습니다. 필터는 여러개 설정이 가능합니다. 한줄에 하나씩 입력하면 됩니다.

 

 

이번에는 사람 3명만 찾았습니다. 비전 AI 액션의 속성창에서 비전 AI 결과 목록을 열어보면 확인할 수 있습니다.

 

 

감지 옵션을 Labels로 변경하세요.

 

 

결과를 확인 해보면 이미지안에 모든 오브젝트의 래이블을 확인할 수 있습니다. 오브젝트보다 더 넓은 범위의 객체 탐지가 가능합니다. 하지만, 오브젝트와 다르게 좌표는 알 수 없습니다.

 

 

마지막으로 SafeSearch 옵션이 있는데요. 이 옵션은 이미지 영역안에 성인용 콘텐츠가 있는지 판단할 때 사용할 수 있습니다. 성인용 이미지를 선택해서 실행하면 아래와 같이 결과를 확인할 수 있습니다. 매치율의 점수는 최고 5점부터 최저 1점까지의 범위를 가집니다.

 

 

다양하게 비전 AI 액션의 기능을 테스트 해봤습니다. 주로 윈도우의 글자나 숫자 인식에 많이 이용될듯 합니다. 다만, 월 5,000건은 무료고 이후부터 건당 요금이 발생합니다. 요금 관련해서는 구글의 정책이 변경될 수 있으니 먼저 확인 후 진행하시기 바랍니다.

 

개발자에게 후원하기

 

추천, 구독, 홍보 꼭~ 부탁드립니다.

여러분의 후원이 빠른 귀농을 가능하게 해줍니다~ 답답한 도시를 벗어나 귀농하고 싶은 개발자~

감사합니다~

 

추천0 비추천0