import streamlit as st
import requests

def main(url):
    robot_url = f'{url}/robots.txt'
    response = requests.get(robot_url)
    st.text(response.text)

if __name__ == "__main__":
    st.title("사이트 정보 검색")
    url = st.text_input("사이트 URL을 입력하세요:")
    
    if st.button("검색"):
        main(url)

import streamlit as st
import pandas as pd
import requests

def check_robots_txt(url):
    robot_url = f'{url}/robots.txt'
    response = requests.get(robot_url)
    return 'Yes' if response.status_code == 200 else 'No'

def main():
    st.title("사이트 robots.txt 확인")

    # 엑셀 파일 업로드
    uploaded_file = st.file_uploader("사이트 URL이 포함된 엑셀 파일 업로드", type=["xlsx"])

    if uploaded_file is not None:
        # 엑셀 파일 읽기
        df = pd.read_excel(uploaded_file)

        # 'robots.txt 존재 여부' 열 추가
        df['robots.txt 존재 여부'] = df['URL'].apply(check_robots_txt)

        # 결과 출력
        st.dataframe(df)

if __name__ == "__main__":
    main()