LLM이 아이폰을 직접 제어
마치 컴퓨터가 아이폰을 '눈'과 '손'으로 조종하는 것과 같아요. 맥의 아이폰 미러링 창을 통해 화면을 보고(OCR), 터치와 키보드 입력을 가상으로 전달해서 앱을 실행하거나 조작합니다. 탈옥이나 Xcode 없이도 LLM 에이전트가 실제 아이폰을 제어할 수 있게 해주는 도구예요.
이 레포, 나한테 필요한가?
사람 검수 전
- 무엇인가
- 마치 컴퓨터가 아이폰을 '눈'과 '손'으로 조종하는 것과 같아요.
- 맥의 아이폰 미러링 창을 통해 화면을 보고(OCR), 터치와 키보드 입력을 가상으로 전달해서 앱을 실행하거나 조작합니다.
- 탈옥이나 Xcode 없이도 LLM 에이전트가 실제 아이폰을 제어할 수 있게 해주는 도구예요.
[README-001 · README-004]- 할 수 있는 일
- LLM 기반 아이폰 자동화 [README-001 · README-002 · README-003]
- 진입 조건
- 중급자용 · Python [분석]
- 먼저 확인
- 터미널에 손쉬운 사용 및 화면 기록 권한을 부여해야 하며, 화면 기록 권한은 터미널 재시작 후에 적용됩니다. [README-004 · README-001]
이걸로 실제로 할 수 있는 일
기능명보다 사용자가 완성할 수 있는 작업과 결과를 우선해 정리했습니다.
LLM 기반 아이폰 자동화
Claude Code나 Codex 같은 에이전트가 아이폰 화면을 읽고 앱을 실행하거나 조작하는 자동화 시스템
테스트 자동화 도구
실제 아이폰에서 앱의 UI 동작을 자동으로 테스트하고 검증하는 도구
개인 비서 에이전트
사용자 명령에 따라 아이폰에서 일정 확인, 메시지 전송, 앱 실행 등을 수행하는 AI 비서
기능보다 중요한 건
내 상황과의 적합성.
공식 기능과 시작 조건을 바탕으로 한 AI 판단입니다. 도입 전 원문과 실제 환경에서 다시 확인하세요.
- LLM 에이전트를 활용해 실제 아이폰에서 앱을 자동으로 테스트하거나 조작해야 하는 경우
- 탈옥이나 복잡한 설정 없이 아이폰 자동화를 빠르게 구축하려는 경우
- 개인 비서 에이전트가 아이폰의 앱을 직접 제어하게 하고 싶은 경우
- 안드로이드 기기를 제어해야 하는 경우
- 이미 Appium이나 Xcode UI Testing으로 구축된 테스트 인프라를 대체해야 하는 경우
- 팀 전체가 macOS 환경이 아닌 경우
기술과 도입 조건
자동 감지된 기술 스택, 문서 상태와 유지보수 메모를 한곳에 모았습니다.
Python 3.10+ · pyobjc-framework-Quartz · pyobjc-framework-Vision · pyobjc-framework-AppKit · pyobjc-framework-ApplicationServices · macOS iPhone Mirroring · CGEvent (HID 수준 입력) · Vision-framework OCR
README에 상세한 설치 및 사용 가이드가 포함되어 있으며, SKILL.md와 helpers.py 파일을 참조하도록 안내합니다.
최근 24시간 내 push 기록이 있습니다. 유지보수 품질과 응답 속도는 별도 확인이 필요합니다.
가장 짧은 시작 경로
- 01설치
README의 셋업 프롬프트를 Claude Code나 Codex에 붙여넣으면 에이전트가 자동으로 설치를 진행합니다.
- 02실행
설치 후 `phone-harness --doctor`로 연결 상태를 확인하고, 에이전트에게 '날씨 앱을 열어줘' 같은 명령을 내리면 됩니다.
GitExplain 자동 분석은 설치 명령을 직접 실행해 검증한 결과가 아닙니다.
아래 내용을 Codex 같은 코딩 에이전트에 붙여 넣으면 공식 문서를 다시 확인한 뒤 내 환경에 맞는 설치를 안내합니다.
너는 내 로컬 개발 환경에서 오픈소스 저장소를 안전하게 설명하고 설치하는 시니어 엔지니어야.
저장소: https://github.com/shawnpana/phone-harness
GitExplain 요약: 마치 컴퓨터가 아이폰을 '눈'과 '손'으로 조종하는 것과 같아요. 맥의 아이폰 미러링 창을 통해 화면을 보고(OCR), 터치와 키보드 입력을 가상으로 전달해서 앱을 실행하거나 조작합니다. 탈옥이나 Xcode 없이도 LLM 에이전트가 실제 아이폰을 제어할 수 있게 해주는 도구예요.
주요 언어: Python
난이도 메모: 중급자용
해야 할 일:
1. 먼저 저장소의 최신 README, 설치 문서, manifest를 읽고 현재 기본 브랜치 기준으로 설명해줘.
2. 이 저장소가 무엇이고 내가 무엇을 만들 수 있는지 비개발자도 이해할 수 있게 짧게 설명해줘.
3. 내 운영체제와 기존 개발 환경을 먼저 질문한 다음, 가장 안전한 설치 방법을 단계별로 제시해줘.
4. 명령을 실행하기 전 각 명령이 바꾸는 것과 예상 결과를 알려줘. 파괴적인 명령은 자동 실행하지 마.
5. 필요한 API 키나 비밀 값은 채팅이나 코드에 직접 적게 하지 말고 환경 변수와 .env 예시로 안내해줘.
6. 설치 후 최소 예제를 실행해 성공 여부를 확인하고, 실패하면 오류 원인과 되돌리는 방법을 알려줘.
7. GitExplain 요약과 공식 문서가 다르면 공식 문서를 우선하고 차이를 명시해줘.
GitExplain이 정리한 시작 메모:
1. 설치: README의 셋업 프롬프트를 Claude Code나 Codex에 붙여넣으면 에이전트가 자동으로 설치를 진행합니다.
2. 실행: 설치 후 `phone-harness --doctor`로 연결 상태를 확인하고, 에이전트에게 '날씨 앱을 열어줘' 같은 명령을 내리면 됩니다.도입 전에 놓치기 쉬운 점
터미널에 손쉬운 사용 및 화면 기록 권한을 부여해야 하며, 화면 기록 권한은 터미널 재시작 후에 적용됩니다.
[MEDIUM · README-004 · README-001]이 도구는 macOS의 아이폰 미러링 기능에 의존하므로, 다른 운영체제에서는 사용할 수 없습니다.
[HIGH · README-004 · README-001]근거 원장
이 표는 원문이 어떤 분석 항목에 연결됐는지를 보여주며, 사실 정확도를 보증하는 점수는 아닙니다.