테스트) GPT를 이용한 상품 수집 & 등록 자동화 프로그램 만들기 출처: 알리익스프레스 크롤링

🛍️ 알리익스프레스 상품 정보 자동 수집

온라인 쇼핑몰을 운영하는 셀러들에게 상품 정보 수집 및 자동 등록은 매우 중요한 작업입니다. 이를 자동화하면 업무 효율이 극대화되고, 보다 빠르게 상품을 등록할 수 있습니다.

---

📌 사용자가 입력한 URL 기반 상품 정보 수집

1️⃣ 크롤링할 상품 페이지 이동

url = input("크롤링할 알리익스프레스 상품 URL을 입력하세요: ")
driver.get(url)
    

2️⃣ 상품 정보 추출

title = driver.find_element(By.CLASS_NAME, "product-title-text").text
price = driver.find_element(By.CLASS_NAME, "uniform-banner-box-price").text
print(f"상품명: {title}, 가격: {price}")
    

3️⃣ 옵션 및 이미지 추출

options = [opt.text for opt in driver.find_elements(By.CLASS_NAME, "sku-property")]
images = [img.get_attribute("src") for img in driver.find_elements(By.CLASS_NAME, "magnifier-image")]
    

4️⃣ 데이터 저장

import csv

with open("aliexpress_products.csv", "w", newline="", encoding="utf-8") as file:
    writer = csv.writer(file)
    writer.writerow(["상품명", "가격", "옵션", "이미지"])
    writer.writerow([title, price, options, images])
    

---

✅ 결과

GPT로 생성한 파이썬 코드를 실행하고 크롤링 하고자 하는 알리익스프레스 URL를 입력하면, 크롤링이 완료되었다는 메시지를 확인할 수 있었다.

 

실제로 프로젝트 폴더에 들어가니 csv 엑셀 파일이 생성된 것을 확인할 수 있다.

 

하지만 파일을 열어보니 아무런 정보도 가져올 수 없었다.

 

---

🛠️ 옵션 선택 및 가격 추출 개선

알리익스프레스에서 상품 정보를 자동으로 수집해 스마트스토어나 쿠팡에 등록하는 자동화 프로그램을 개발하려 했습니다. 처음에는 아무런 정보도 가져오지 못했지만, GPT를 활용하여 수십 번의 수정과 테스트를 거친 끝에 드디어 유의미한 데이터를 출력할 수 있었습니다.

---

📌 시행착오 과정

1️⃣ 초기 코드의 한계

처음 작성한 코드로는 상품 정보가 전혀 출력되지 않았습니다. 원인은 웹사이트의 동적 요소 때문이었습니다. 옵션이 반영되지 않거나, 가격이 제대로 가져와지지 않는 문제가 발생했습니다.

2️⃣ GPT를 활용한 수정 과정

옵션을 동적으로 선택하고, 이미지 옵션을 클릭하면 옵션명이 변경된다는 점을 반영해야 했습니다. 이를 해결하기 위해:

• 옵션 클릭 후 새롭게 갱신된 데이터를 다시 읽어오는 방식 적용
• 하위 옵션이 존재하는 경우 순차적으로 선택하도록 개선
• 옵션이 변경될 때마다 가격을 다시 가져오도록 수정

3️⃣ 아직 남은 문제점

비록 데이터 추출이 어느 정도 가능해졌지만, 여전히 실사용하기에는 부족한 부분이 많습니다. 특히:

• 최상위 옵션이 올바르게 선택되지 않는 문제
• 옵션별 가격 변동이 반영되지 않는 문제
• 캡차가 발생하여 자동화가 중단되는 문제
• 속도를 너무 빠르게 하면 차단될 위험

이러한 문제를 해결하기 위해서는 추가적인 수정이 필요합니다.

---

✅ 앞으로의 계획

GPT에게 수정을 위한 정확한 정보를 제공하지 못하고 있습니다. 어떤 부분의 html, xpath, css 소스를 제공해야하는지 아직 헷갈립니다. 일단 계속해서 수정하면서 실사용 가능한 정보를 추출하려고 합니다. 시행착오가 많지만, 점점 나아지고 있다는 점이 가장 큰 성과입니다.

 

 

알리익스프레스 크롤링, 자동화 프로그램, 파이썬 크롤링, 스마트스토어 자동등록, 쿠팡 자동등록, 웹 크롤링 자동화, 셀레니움 파이썬, 옵션 선택 크롤링, 동적 웹페이지 데이터 수집, 해외 구매대행 자동화