(C#) 웹 크롤링: 웹사이트 스크래핑

웹사이트를 그대로 스크래치하는 C# 코드입니다.

WebRequest 클래스

URI(Uniform Resource Identifier)에 요청합니다.

인터넷에서 데이터에 액세스하기 위한 NET 요청/응답 모델입니다.

WebResponse 클래스

URI(Uniform Resource Identifier)에서 응답을 제공합니다.

1. 프로젝트를 생성합니다.

Windows Forms 앱(.NET 프레임워크)

2. 양식에 컨트롤을 배치합니다.

ToolStrip: 텍스트 상자 1개, 버튼 1개

1 RitchTextBox


코드를 참조하여 속성을 수정합니다.

using System;
//using System.Collections.Generic;
//using System.ComponentModel;
//using System.Data;
//using System.Drawing;
using System.IO;
//using System.Linq;
using System.Net;
//using System.Text;
//using System.Threading.Tasks;
using System.Windows.Forms;

namespace Web_crawling
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void toolStripButton1_Click(object sender, EventArgs e)
        {
            //string uri = "http://goog--.---";  // 사이트 주소
            //txtWebAddr.Text = "http://coding-abc.kr";

            WebRequest request;
            WebResponse response = null;
            Stream res = null;
            StreamReader sr = null;

            try
            {
                request = WebRequest.Create(txtWebAddr.Text);
                response = request.GetResponse();
                res = response.GetResponseStream();
                sr = new StreamReader(res);

                string s = sr.ReadToEnd();
                //Console.WriteLine(s);
                richTextBox1.Text = s;
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
            }
            finally
            {
                if (sr !
= null) sr.Close(); if (response !
= null) response.Close(); } } private void Form1_Load(object sender, EventArgs e) { txtWebAddr.Text = "http://coding-abc.kr"; } } }

error: Alert: Content selection is disabled!!