유니티

https://tutorials.pytorch.kr/advanced/super_resolution_with_onnxruntime.html

https://joungheekim.github.io/2020/12/06/code-review/

Unity ML Agent Github

https://github.com/Unity-Technologies/ml-agents

ml-agents-release_17을 다운 받으면

Unity>Window>PackageManager에서 Resistry>ML Agent를 깔아도 됨 이건 정해진 버전만 받을수있음.

 Git에서 원하는 ML-Agent를 다운받아 깔을수도 있음

프로젝트를 복사해서 유니티에서 Add해서 에러난 ML_Agent를  추가할수 있음

깔려있는 버전으로 로딩

로딩시 패키지매니지 에러나면 무시하고 일단 연다. 이방법은 용량이 크나 버전세팅이 맞아에러가 잘 안난다

에러가 나는 이유는 프로젝트 환경패스가 달라져서 나는거라 필요한 패키지를 다시 깔아주면 된다.

+를 눌러 Add package from disk를 선택

com.unity.ml-agents, com.unity.ml-agents.extensions.안의 package.jason을 실행한다.

에러가 사라진다.

유니티와 짝이 맞는 파이썬의 ML-Agent버전을 서로 맞춰야한다. 

Examples폴더의 3DBall안으로 들어

씬폴더내부의 3DBall 을 클릭한다.

에러 무시하고 플레이하면 잘 실행된다.

하이라키의 Agent를 선택한후

Behavio Name은 멀티에이전트 환경에서 여러가지  에이전트마다 행동패턴이 다를경우 다르게 설정해준다.

환경에서 관측을 받아 올때 이미지와 벡터를 받아올수 있는데 Space Size를 받아올 데이터갯수 Stacked는 스누적갯수

벡터크기는 SpaceSize x Stacked Vectors

행동은 상하좌우 같은  이산적인 행동과 연속적인 행동이 있다. 연속적인 행동은 아나로그값을 가진 Axis이고

조합도 가능

학습이 완료되면 NN Model이 생기는데 적용해면 학습된 내용데로 움직인다.

Inference Devicce는 Default나 GPU로 해주고 비헤이비어타입은 default가 좋다 Heristic Only는 정해진대로 inference Only를 학습한대로 한다. 학습시 Default로 해야 잘 된다.

Agent끼리 대결시 team id를 다르게 해준다. 알파고의 흑백같이

에이전트가 학습시 수행할 스템수를 정한다. 이후 리셋하고 다시 시작한다. 버그를 막아주기도 한다.

Agent Inspector살펴보기

Ball 3D Agent(script)

유효성검사를 위해 Model Overrider를 사용하나 여기서는 사용하지 않는다.

https://homubee.tistory.com/38

https://mj-thump-thump-story.tistory.com/entry/VSConda-Visual-Studio%EC%97%90%EC%84%9C-Conda-%ED%99%98%EA%B2%BD%EC%9D%84-%EC%97%B0%EA%B2%B0%ED%95%98%EC%97%AC-Python-%EA%B0%9C%EB%B0%9C

https://davidlds.tistory.com/11

https://velog.io/@kwkim/Python-%EC%95%84%EB%82%98%EC%BD%98%EB%8B%A4Anaconda-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-%EC%84%B8%ED%8C%85

민규식 교수님 git

https://github.com/reinforcement-learning-kr/Unity_ML_Agents_2.0/tree/main/unity_project

Python 설치

https://lonaru-burnout.tistory.com/17

https://lonaru-burnout.tistory.com/17

참조

https://blog.naver.com/hikwail/223463410539

아래는 가상환경을 새로 만들고 `mlagents`를 설치한 후, 발생한 `numpy` 관련 오류를 해결하는 과정의 요약

1. **가상환경 생성**:
   - 새로운 가상환경을 생성하고 활성화했습니다.
   ```bash
   conda create -n myenv python=3.8
   conda activate myenv
   ```

2. **`mlagents` 설치**:
   - `mlagents` 패키지를 새로 만든 가상환경에 설치했습니다.
   ```bash
   pip install mlagents
   ```

3. **`numpy` 버전 문제 해결**:
   - `mlagents-envs`와 호환되지 않는 `numpy` 버전 문제를 해결하기 위해 `numpy`를 `mlagents-envs`가 요구하는 버전(1.21.2)으로 재설치했습니다.
   ```bash
   pip uninstall numpy
   pip install numpy==1.21.2
   ```

4. **`mlagents-learn --help` 명령어로 오류 확인**:
   - `mlagents-learn --help` 명령어를 실행하여 모든 설치가 정상적으로 이루어졌는지 확인했습니다.
   - 만약 오류가 발생했다면, 해당 오류에 맞게 추가적인 패키지를 설치하거나 버전을 조정했습니다.

5. **`mlagents-learn`을 통한 학습 재개**:
   - 학습을 이어서 진행할 때 필요한 경로와 `--resume` 옵션을 사용하여 `mlagents-learn`을 실행했고, 학습이 정상적으로 진행됨을 확인했습니다.
   ```bash
   mlagents-learn config.yaml --run-id=<run_id> --resume
   ```

3D로 프로젝트 만들었는데 처음부터 에러다 ㅠㅠ

The layout "C:/Users/4cat1/AppData/Roaming/Unity/Editor-5.x/Preferences\Layouts\current\default-2022.dwlt" could not be fully loaded, this can happen when the layout contains EditorWindows not available in this project.
UnityEditor.WindowLayout:LoadDefaultWindowPreferences ()

 골드메탈님 답변은

Edit > Preferences > GI > GI Cache Clear 버튼 눌러보시고, 
Scene 창은 Window > General > Scene으로 다시 켤 수 있어요.

window>Asset Store>

1

https://blog.naver.com/devramyun/223057042241

DronSetting.cs

이건 지운다

DronAgent.cs

디시전리퀘스트를 추가한다.

빌드

빌드후 실행 너무 많이 움직이면 리셋되어야함.