안녕하세요. 엔지엠소프트웨어입니다. 오늘은~ 엔지엠 RPA의 막강한 기능중에 하나인 욜로 매치(딥러닝)로 찾은 모든 이미지들을 순차적으로 클릭하는 방법에 대해 알아보도록 하겠습니다. 우선, 다크넷의 욜로로 학습한 모델(weight)과 콘피그(cfg) 그리고 라벨(names) 파일이 필요합니다. 우선 [ 욜로 매치 ]에 대해 학습하고 오시면 이 글을 읽는데 좀 더 편할겁니다^^; 필요하다면 [ 딥러닝 셋팅 가이드 ]를 읽어보세요. 여러분들도~ 딥러닝을 할 수 있게됩니다! 딥러닝이 정상적으로 동작하는지 먼지 테스트 해볼까요? 엔지엠 에디터를 실행 후 새로운 스크립트(Ctrl+N)를 만들고, 도구 상자의 조건에 있는 욜로 매치 액션을 추가 해줍니다.

 

 

이미 학습을 마친 욜로 모델을 [ 구매 ]하거나 직접 만든 모델을 사용하세요. 저는 이미 학습을 마친 룬 모델을 사용하도록 하겠습니다. 룬을 해방하려면 방향키로 화살표를 찾아야 합니다. 이미지는 아래와 같습니다.

 

 

아래 동영상은 다크넷 욜로로 학습한 룬 찾기입니다. 엔지엠 에디터의 욜로 매치로 찾은 룬의 화살표 방향과 이름이 정확하게 일치하는걸 알 수 있습니다. 이 글의 요점은 욜로 매치를 이용해서 룬을 해제하는건 아닙니다-_-; 욜로 매치로 찾은 모든 이미지를 어떻게 마우스로 순차적으로 클릭할 수 있는지을 알아보는 내용입니다.

 

 

룬 방향을 정확하게 인식했기 때문에 아래 그림과 같이 찾은 룬의 위치와 이름이 표시된걸 알 수 있습니다.

 

 

결과 파일도 따로 저장하도록 옵션을 설정했기 때문에 아래 그림과 같이 저장됩니다. 정확도와 찾은 이미지의 위치 그리고 룬 방향을 알려줍니다. 결과 파일을 저장하면, 테스트하기에 용이합니다. 결과를 체크하면서 학습 모델을 조정하거나 정확도를 조정해서 더 많은 대상 이미지(여기에선 룬을 말함)를 찾을수도 있습니다.

 

 

자~ 이제 본격적으로 찾은 룬을 순서대로 클릭하도록 해볼께요. 이미 스스로 만드신 분들도 있을겁니다. 하지만, 엔지엠 RPA에 아직 익숙하지 않다면 이 내용이 많은 도움이 될겁니다. 아래 그림과 같이 3개의 변수를 추가 해줍니다. 첫번째 "arrows" 변수는 욜로 매치에서 찾은 룬의 좌표를 모두 저장합니다. 그렇기에 변수 형식은 "Array(배열)"로 설정해야 합니다.

※ 엔지엠 변수의 배열은 어떤 형식이든 다 담을 수 있는 만능 타입입니다. 가장 현대적인 스크립트 언어들처럼 다이나믹하게 형식을 유추해서 변환해줍니다.

 

 

두번째 변수인 "index"는 찾은 룬의 순서를 담는 변수입니다. 찾은 이미지(룬)가 현재는 4개로 고정되어 있어서 순차적으로 처리해도 됩니다. 하지만, 배열의 길이가 가변적이라면 어떻게 처리해야 할까요? 그렇습니다. 배열의 길이만큼 반복하면 됩니다. 배열의 길이만큼 반복하면서 반복하는 횟수에 따라 하나씩 이동하면서 화살표의 좌표값을 가져와야 합니다. 이렇게 이동하는 위치를 인덱스 변수에 저장하고, 마우스 클릭은 가져다가 사용합니다. 설명이 복잡해 보일수도 있으나, 이 내용을 다 읽고 첨부된 샘플 스크립트를 확인 해보면 쉽게 이해할 수 있을겁니다.

 

 

마지막 세번째 변수인 "arrow"는 첫번째 "arrows" 변수에서 두번째 "index" 변수 위치의 좌표 값을 저장하는 변수입니다. 결국 이 변수 값으로 마우스가 클릭하게 됩니다.

 

 

욜로 매치에서 찾은 룬들의 좌표 값을 "arrows" 변수에 저장해줍니다.

1. 욜로 매치 액션 선택
2. 변수 > 추가하기 클릭
3. VariableItem 컬렉션 편집기 창에서 추가 버튼 클릭
4. 변수 이름과 데이타 설정
5. 확인 버튼을 클릭해서 작업 완료

 

 

아래 그림을 참고해서 [ For 반복 ]과 [ 배열 값 ], [ 클릭 ]을 추가하세요.

 

 

For 반복 액션의 하위로 액션을 추가하면 For 반복에 액션이 추가됩니다. 반복하는 동안 하위 액션들만 처리됩니다. 배열의 길이가 4라는걸 알고 있기 때문에 For 반복의 속성에서 조건을 4로 입력 해줍니다. 가변적인 길이를 가진 배열이라면 배열의 길이를 찾아올수도 있습니다. 여러가지 상황에 대응하려면 배열의 길이도 변수로 처리하는게 좋습니다. For 반복 액션의 속성과 변수는 아래 그림을 참고해서 설정 해주세요.

 

 

배열 값, 클릭 액션의 속성과 변수는 아래 동영상을 참고해서 설정하세요. 배열 값은 변수 가져오기와 추가하기를 모두 설정해야 합니다.

 

 

스크립트가 완료 되었습니다. 실행 후 결과를 확인 해보세요. 여러분들도 아래 동영상처럼 잘 동작할겁니다.

 

 

이 글에서 만든 스크립트는 첨부 파일로 추가 해놓았습니다. 다운로드 받은 후 에디터에서 열어서 확인 해보세요.

 

개발자에게 후원하기

 

추천, 구독, 홍보 꼭~ 부탁드립니다.

여러분의 후원이 빠른 귀농을 가능하게 해줍니다~ 답답한 도시를 벗어나 귀농하고 싶은 개발자~

감사합니다~

추천0 비추천0