Hunt for Data

Springboot JPA 폼으로 데이터 입력받아 db에 insert하기

catloaf — Mon, 26 Jun 2023 01:13:04 +0900

프리랜서로 활동하면서 개발 의뢰를 받을 수 있을까 싶어 웹사이트를 만들고 있다.

front-end쪽은 bootstrap과 snippet을 사용해 html, css 화면을 만들었다.

문제는 back-end인데 contact 메뉴에서 폼으로 데이터를 입력받아 db에 저장하고 싶어 springboot JPA를 이용해 기능을 구현해보기로 했다.

contact 메뉴 화면

Springboot JPA 폼으로 데이터 입력받아 db에 insert하기 위해 해야할 것들은 다음과 같다.

엔티티 클래스 생성: 먼저, 데이터베이스의 테이블과 매핑될 엔티티 클래스를 생성한다. 이 클래스는 데이터베이스의 테이블과 필드에 해당하는 멤버 변수를 가지고 있어야 한다.
폼 작성: Thymeleaf를 사용하여 데이터를 입력받을 폼을 작성합니다. 폼 요소들은 엔티티 클래스의 멤버 변수와 매핑한다. <input> 요소의 name 속성 값은 엔티티 클래스의 멤버 변수 이름과 일치해야 한다.
컨트롤러 작성: Spring의 컨트롤러에서는 폼 데이터를 처리하는 메서드를 작성한다. 이 메서드는 HTTP POST 요청을 처리하며, 엔티티 객체를 생성하고 폼 데이터를 해당 객체에 바인딩한다.
서비스 및 리포지토리 작성: 데이터베이스와 상호작용하는 서비스 및 리포지토리 클래스를 작성한다. 서비스 클래스는 컨트롤러에서 호출되어 엔티티를 저장하는 역할을 수행한다. 리포지토리 클래스는 실제로 데이터베이스와 상호작용하여 데이터를 저장하고 조회하는 역할을 수행한다.
폼 데이터 처리: 컨트롤러에서 서비스 클래스를 호출하여 엔티티를 저장하는 로직을 추가한다. 서비스 클래스에서는 리포지토리를 사용하여 엔티티를 데이터베이스에 저장한다.
DB url 설정하기

폴더 구조

1. 엔티티 클래스 생성

먼저 entity 폴더를 만들어서 FormData 클래스를 생성해보자.

폼에서 입력받을 데이터는 각각 name(이름), category(기업 or 개인), mail(이메일), phone(연락처), message(의뢰 내용)

로 멤버변수를 설정했다.

package web.webmaestro.Entity;

import javax.persistence.*;

@Entity
public class FormData {

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)//auto-increment, primary key 설정
    private Long id;

    //문자열 길이 설정
    @Column(length = 255)
    private String name;

    @Column(length = 255)
    private String category;

    @Column(length = 255)
    private String mail;

    @Column(length = 255)
    private String phone;

    @Column(columnDefinition = "TEXT")//text 설정
    private String message;

    public FormData(String name, String category, String mail, String phone, String message) {
        this.name = name;
        this.category = category;
        this.mail = mail;
        this.phone = phone;
        this.message = message;
    }
    
   public FormData() {
        
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getCategory() {
        return category;
    }

    public void setCategory(String category) {
        this.category = category;
    }

    public String getMail() {
        return mail;
    }

    public void setMail(String mail) {
        this.mail = mail;
    }

    public String getPhone() {
        return phone;
    }

    public void setPhone(String phone) {
        this.phone = phone;
    }

    public String getMessage() {
        return message;
    }

    public void setMessage(String message) {
        this.message = message;
    }
}

db에서 table을 별도로 만들지 않고 JPA와 FormData 엔티티 클래스로 자동으로 테이블을 생성하므로

칼럼 별 제약 설정을 해주었다.

데이터를 입력받을 생성자와 getter, setter 설정을 같이 해주었다.

@Entity 어노테이션은 해당 클래스가 JPA(Java Persistence API)의 엔티티임을 나타낸다.

@Id 어노테이션은 엔티티의 기본 키를 나타내는 멤버 변수를 표시한다.

@GeneratedValue 어노테이션은 데이터를 입력받을 때마다 자동으로 id 값이 올라가는 auto-increment와 기본 키의 값을 생성하도록 설정한다.

2. 폼 작성

contact.html에서 form action="/form/save" method="post" 로 수정해주었다.

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>WebMaestro homepage</title>
    <!--css-->
    <link rel="stylesheet" type="text/css" href="css/home.css">
    <!--bootstrap-->
    <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/5.3.0/css/bootstrap.min.css">
</head>
<header>
    <!--네비게이션 bar-->
    <nav class="navbar navbar-expand-lg bg-primary" data-bs-theme="dark">
        <div class="container-fluid">
            <a class="navbar-brand" href="/">WebMaestro</a>
            <button class="navbar-toggler" type="button" data-bs-toggle="collapse" data-bs-target="#navbarColor01" aria-controls="navbarColor01" aria-expanded="false" aria-label="Toggle navigation">
                <span class="navbar-toggler-icon"></span>
            </button>
            <div class="collapse navbar-collapse" id="navbarColor01">
                <ul class="navbar-nav me-auto">
                    <li class="nav-item">
                        <a class="nav-link" href="/">Portfolio</a>
                    </li>
                    <li class="nav-item">
                        <a class="nav-link" href="/service">Services</a>
                    </li>
                    <li class="nav-item">
                        <a class="nav-link active" href="/contact">Contact
                            <span class="visually-hidden">(current)</span>
                        </a>
                    </li>
                </ul>
            </div>
        </div>
    </nav>
</header>
<body>
<!--contact form 시작 -->
    <link href="https://cdnjs.cloudflare.com/ajax/libs/font-awesome/5.11.2/css/all.min.css" rel="stylesheet">
    <div class="container">
        <div class="contact__wrapper shadow-lg mt-n9">
            <div class="row no-gutters">
                <div class="col-lg-5 contact-info__wrapper gradient-brand-color p-5 order-lg-2">
                    <h3 class="color--white mb-5">Get in Touch</h3>

                    <ul class="contact-info__list list-style--none position-relative z-index-101">
                        <li class="mb-4 pl-4">
                            <span class="position-absolute"><i class="fas fa-envelope"></i></span> &nbsp;&nbsp;webmaestro.info@gmail.com
                        </li>
                        <li class="mb-4 pl-4">
                            <span class="position-absolute"><i class="fas fa-phone"></i></span> &nbsp;&nbsp;010-3247-3877
                        </li>
                        <li class="mb-4 pl-4">
                            <span class="position-absolute"><i class="fas fa-map-marker-alt"></i></span> &nbsp;&nbsp;경기 광주시
                            <br>양벌로 173

                            <div class="mt-3">
                                <a href="https://www.google.com/maps" target="_blank" class="text-link link--right-icon text-white">Get directions <i class="link__icon fa fa-directions"></i></a>
                            </div>
                        </li>
                    </ul>

                    <figure class="figure position-absolute m-0 opacity-06 z-index-100" style="bottom:0; right: 10px">
                    </figure>
                </div>

                <div class="col-lg-7 contact-form__wrapper p-5 order-lg-1">
                    <form action="/form/save" method="post" class="contact-form form-validate" novalidate="novalidate">
                        <div class="row">
                            <div class="col-sm-6 mb-3">
                                <div class="form-group">
                                    <label class="required-field" for="name">성함</label>
                                    <input type="text" class="form-control" id="name" name="name" placeholder="홍길동">
                                </div>
                            </div>

                            <div class="col-sm-6 mb-3">
                                <div class="form-group">
                                    <label for="category">기업 OR 개인 고객</label>
                                    <input type="text" class="form-control" id="category" name="category" placeholder="회사명을 입력해주세요.">
                                </div>
                            </div>

                            <div class="col-sm-6 mb-3">
                                <div class="form-group">
                                    <label class="required-field" for="mail">Email</label>
                                    <input type="text" class="form-control" id="mail" name="mail" placeholder="honggildong@naver.com">
                                </div>
                            </div>

                            <div class="col-sm-6 mb-3">
                                <div class="form-group">
                                    <label for="phone">Phone Number</label>
                                    <input type="tel" class="form-control" id="phone" name="phone" placeholder="010-111-1234">
                                </div>
                            </div>

                            <div class="col-sm-12 mb-3">
                                <div class="form-group">
                                    <label class="required-field" for="message">원하시는 의뢰 내용을 입력해주세요. .</label>
                                    <textarea class="form-control" id="message" name="message" rows="4" placeholder="예) 크롤링, 웹개발, 파싱 등 자세한 내용은 상담을 통해 견적을 산출합니다."></textarea>
                                </div>
                            </div>

                            <div class="col-sm-12 mb-3">
                                <button type="submit" name="submit" class="btn btn-primary">문의 하기</button>
                            </div>

                        </div>
                    </form>
                </div>
                <!-- End Contact Form Wrapper -->
            </div>
        </div>
    </div>


<!-- ======= Footer ======= -->
<footer id="footer" class="footer">
    <div class="container">
        <div class="copyright">
            &copy; Copyright <strong><span>WebMaestro</span></strong>. All Rights Reserved
        </div>
        <div class="credits">
        </div>
    </div>
</footer>
<!-- End Footer -->
</body>
</html>

form action은 나중에 controller에서 처리하는 엔드포인트다. method는 post 요청으로 처리하겠다는 뜻이다.

각 폼의 하위 태그에서 name은 엔티티 클래스에서 설정한 멤버변수와 매핑된다.

3. 컨트롤러 작성

package web.webmaestro.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import web.webmaestro.Entity.FormData;
import web.webmaestro.service.FormDataService;

//서버 측에서 /form 엔드포인트에 대한 요청을 처리하는 컨트롤러

@Controller
@RequestMapping("/form")
public class FormController {

    private final FormDataService formDataService;

    @Autowired
    public FormController(FormDataService formDataService) {
        this.formDataService = formDataService;
    }

    @GetMapping("/create")
    public String showCreateForm(Model model) {
        model.addAttribute("formData", new FormData());
        return "create-form";
    }

    @PostMapping("/save")
    public String saveFormData(@RequestParam("name") String name,
                               @RequestParam("category")String category,
                               @RequestParam("mail") String mail,
                               @RequestParam("phone") String phone,
                               @RequestParam("message") String message) {
     
        return "redirect:/form/success";
    }

    //성공 시 contactcomplete.html 페이지 보여주기
    @GetMapping("/success")
    public String showSuccessPage() {
        return "contactcomplete";
    }

}

FormController의 showCreateForm메서드는 FormData 객체를 생성한다. /form/create 경로에 대한 GET 요청을 처리하여 create-form 뷰를 반환한다.

saveFormData 메서드는 /form/save 경로에 대한 POST 요청을 처리하여 FormDataService를 통해 데이터를 저장한다. 저장 후에는 /form/success 경로로 리다이렉션된다.

또한 @RequestParam 어노테이션을 사용하여 요청 파라미터에서 값을 받아온다.

4. 서비스 및 라포지토리 작성

먼저 FormDataRepository 클래스를 작성한다.

repository는 데이터베이스 조작을 처리하는 인터페이스이며, Spring Data JPA는 이 인터페이스를 구현한 구현체를 자동으로 생성해준다.

JpaRepository 인터페이스를 사용해주는 것으로 Spring Data JPA를 사용할 수 있다.

Spring Data JPA의 장점은 데이터베이스와의 상호작용을 단순화하고 개발 생산성을 높이기 위한 기능을 제공한다는 점이다.

package web.webmaestro.repository;

import org.springframework.data.jpa.repository.JpaRepository;
import org.springframework.stereotype.Repository;
import web.webmaestro.Entity.FormData;

//데이터베이스 조작 처리

@Repository
public interface FormDataRepository extends JpaRepository<FormData, Long> {
}

여기서 FormData는 엔티티 클래스이며, Long은 엔티티의 식별자(ID) 타입이다.

JpaRepository 인터페이스는 Spring Data JPA에서 제공하는 기본적인 CRUD 작업을 지원하는 인터페이스이며

이미 구현되어 있으므로 해당 인터페이스의 구현체를 따로 작성할 필요가 없다.

다음은 FormDataService 클래스에서 비즈니스 로직을 구현한다. 서비스 클래스는 컨트롤러와 라포지토리 사이의 중간 계층으로 작동 된다.

FormDataService는 FormDataRepository를 주입받아 사용, 생성자 주입을 통해 의존성을 해결한다.

도중에 mariadb utf-8 인코딩 변환 문제로 로직을 추가하는 등의 이슈가 있었으나,

my.ini 파일의 인코딩을 수정하는 것으로 문제를 해결하여 해당 로직은 필요가 없어졌다.

해결방법 :Springboot JPA mariadb에서 CRUD할 때 인코딩 오류 발생 :: Hunt for Data (tistory.com)

package web.webmaestro.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import web.webmaestro.Entity.FormData;
import web.webmaestro.repository.FormDataRepository;

import java.io.UnsupportedEncodingException;
import java.nio.charset.StandardCharsets;//문자열 인코딩 값 변환


@Service
public class FormDataService {

    private final FormDataRepository formDataRepository;

    @Autowired
    public FormDataService(FormDataRepository formDataRepository) {
        this.formDataRepository = formDataRepository;
    }

    //formDataRepository를 통해 폼 데이터를 저장하는 역할, 이 메서드를 통해 폼 데이터를 데이터베이스에 저장
    public void saveFormData(String name, String category, String mail, String phone, String message) {
        //String utf8Category = convertToUTF8(category);

        FormData formData = new FormData(name, category, mail, phone, message);
        formDataRepository.save(formData);//인코딩 변환한 카테고리 저장
    }

    //문자열 값 받을 때 인코딩 변환하는 메서드
    /*
    private String convertToUTF8(String value) {
        try {
            byte[] utf8Bytes = value.getBytes("UTF-8");
            return new String(utf8Bytes, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            // 처리할 예외 처리 코드 추가
            return value; // 예외 발생 시 변환하지 않은 값 반환
        }
    }
    */
}

saveFormData메서드는 formDataRepository를 통해 폼 데이터를 데이터베이스에 저장한다.

5. 폼 데이터 처리

마지막으로 FormController 클래스에서 FormDataService의 saveFormData 메서드를 호출하여 데이터를 저장한다.

package web.webmaestro.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import web.webmaestro.Entity.FormData;
import web.webmaestro.service.FormDataService;

//서버 측에서 /form 엔드포인트에 대한 요청을 처리하는 컨트롤러

@Controller
@RequestMapping("/form")
public class FormController {

    private final FormDataService formDataService;

    @Autowired
    public FormController(FormDataService formDataService) {
        this.formDataService = formDataService;
    }

   //FormData 클래스로 table 생성
    @GetMapping("/create")
    public String showCreateForm(Model model) {
        model.addAttribute("formData", new FormData());
        return "create-form";
    }

    //폼에서 입력받은 데이터 저장
    @PostMapping("/save")
    public String saveFormData(@RequestParam("name") String name,
                               @RequestParam("category")String category,
                               @RequestParam("mail") String mail,
                               @RequestParam("phone") String phone,
                               @RequestParam("message") String message) {
                               
        formDataService.saveFormData(name, category, mail, phone, message);//폼 데이터 처리하기
        
        return "redirect:/form/success";
    }

    //성공 시 contactcomplete.html 페이지 보여주기
    @GetMapping("/success")
    public String showSuccessPage() {
        return "contactcomplete";
    }

}

5. db url 설정하기

application.yml 파일에서 db url, username, password 등을 입력한다. 엔티티 클래스를 생성할 때 table이 자동으로 만들어지는 ddl-auto: update 설정을 한다. (create는 기존 걸 삭제하고 새로 만들어지는 것이므로 update로 설정해야 한다.)

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/db_name
    username: user
    password: 1234
    driver-class-name: com.mysql.cj.jdbc.Driver
    initialization-fail-fast: true

  jpa:
      database-platform: org.hibernate.dialect.MySQL8Dialect
      hibernate:
        ddl-auto: update
        naming:
          physical-strategy: org.springframework.boot.orm.jpa.hibernate.SpringPhysicalNamingStrategy
        properties:
          hibernate:
            dialect: org.hibernate.dialect.MySQL8Dialect
            hbm2ddl:
              charset_name: UTF-8

build.gradle 파일에 의존성도 제대로 설정되어 있는지 확인한다.

plugins {
	id 'java'
	id 'org.springframework.boot' version '2.7.12'
	id 'io.spring.dependency-management' version '1.0.15.RELEASE'
}

group = 'web'
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '11'

repositories {
	mavenCentral()
}

dependencies {
	implementation 'org.springframework.boot:spring-boot-starter-thymeleaf'
	implementation 'org.springframework.boot:spring-boot-starter-web'
    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
	implementation 'com.mysql:mysql-connector-j:8.0.32'
	testImplementation 'org.springframework.boot:spring-boot-starter-test'
	// email 인증
	implementation 'org.springframework.boot:spring-boot-starter-mail'


}

tasks.named('test') {
	useJUnitPlatform()

db를 만들땐 intellij의 Database 메뉴란에서 사용하고자 하는 db를 선택해서 생성한다.

나 같은 경우는 Wnmp의 mariadb를 사용했기 때문에 mariadb 설치시 입력한 User와 password를 입력했다.

User, password, db 이름만 입력하면 된다. Test Connection을 누른 후 성공하면 db는 생성된 것이다.

db는 datagrip을 통해 관리하는 것이 편하기 때문에 datagrip과 주로 같이 사용한다.

이렇게 설정을 다해준 후 front-end 화면에서 데이터 입력했더니, db에 data가 insert가 되는 것을 확인했다.

이후 보완해야 할 점

확장성을 고려하지 않고 엔티티 클래스만 생성하여 기능을 구현하였다.

여기에 DTO클래스를 추가로 생성하여 확장성을 고려해야 한다.

Springboot JPA mariadb에서 CRUD할 때 인코딩 오류 발생

catloaf — Sun, 25 Jun 2023 23:46:00 +0900

Springboot 에서 폼으로 데이터를 입력 받아 JPA로 mariadb에 CRUD하는 기능을 만들던 중

한국어로 입력 시 자꾸만 utf8 인코딩 오류가 발생했다.

data truncation: incorrect string value: '\xea\xb0\x9c\xec\x9d\xb8' for column

처음엔 비즈니스 로직에서 utf8 변환을 하거나 application.yml 파일에

database url 설정을 아래로 해주었으나 그럼에도 계속 오류는 발생했다.

jdbc:mysql://URL?useSSL=false&useUnicode=true&characterEncoding=utf8

구글링 해보니 mariadb 자체의 인코딩 설정을 바꿔줘야 했다.

windows에서는 my.ini 파일을 찾아 수정해주면 되었다.

[client]
default-character-set = utf8

[mysql]
default-character-set = utf8

[mysqld]
init_connect="SET collation_connection=utf8_general_ci"
init_connect="SET NAMES utf8"
character-set-server = utf8
collation-server = utfg_general_ci
skip-character-set-client-handshake

db의 인코딩을 확인해보니 utf8로 설정이 바뀐 걸 확인했다.

그런데도 해결이 안돼서 2시간을 삽질했는데

table의 인코딩을 확인 안했던 것이었다.

show full columns from db.table;

바뀐 설정의 table이 아닌 이전에 만들어진 설정의 table이 계속 살아있어서

오류가 계속 발생했던 거였다.

이전에 만든 table을 삭제하고 변경한 설정으로 다시 table을 만들고

폼에 데이터를 입력했다.

db에 데이터가 들어간 것을 확인할 수 있었다.

pyinstall 실행 파일 생성시 오류 ModuleNotFoundError: No module named 'PyQt5'

catloaf — Tue, 22 Feb 2022 10:04:19 +0900

멀쩡히 실행파일 잘 생성하다가 갑자기 이런 오류가 떴다.

cmd창을 관리자모드로 실행 뒤 --hidden-import PyQt5를 추가하여 아래 명령어로 실행했더니 해결됐다.

그 밖의 권한 오류나 엑셀 창을 켜놓고 실행하여 생기는 오류도 있었는데 오류창과 엑셀 프로그램을 닫고 실행했더니 오류가 사라졌다.

pyinstaller -w -F --hidden-import PyQt5 run.py

쇼핑몰 주문 업체별 주문파일 생성하기, 대량 이메일 발송 업무 자동화 프로그램 파이썬 개발, Gui, PyQT5, QT designer, pyinstaller exe 실행 파일 만들기 디버깅 error 해결, pyinstaller exe파일 용량 줄이는..

catloaf — Thu, 10 Feb 2022 15:08:17 +0900

RPA: 업무 프로세스 자동화 프로그램 개발

회사에서 다른 마케팅팀 직원들이 쓸 수 있는 사내용 업무 자동화 프로그램 개발 업무를 맡게 되었다. 주로 하는 업무는 데이터 분석 프로젝트 제안과, 데이터 분석, 엔지니어링이지만 처음 만드는 개발 프로그램인만큼 신경이 쓰여 틈틈히 정리해두었다.

현재 업무 프로세스

*** 쇼핑몰 admin 에서 주문파일 다운 → 2. 업체별로 주문파일 엑셀파일로 저장 → 3. 각 업체별 주문파일 메일로 배송 및 송장번호 회신 요청 → 4. 송장번호 회신받기(메일로) → 5.B*** 쇼핑몰 admin에 송장번호 등록

개발 가능 범위

1.** 쇼핑몰 admin 에서 주문파일 다운 (구현)

→ xls 파일 → xlsx 형식으로 자동변환

2. 업체별로 주문파일 엑셀파일로 저장 (구현)

→ xlsx 엑셀파일 pandas로 전처리

→ 브랜드명/업체명 리스트 사전만들기

→ dataframe으로 브랜드명 data 조회

→ 업체명으로 각 dataframe 엑셀파일 저장

저장한 엑셀파일 기반으로 대량발송 가능한 email 리스트 만들기 (구현)

→ 메일주소/제목/본문/첨부파일 내용 엑셀 자동 생성할 수 있도록 프로그래밍

각 업체별 주문파일 메일로 배송 및 송장번호 회신 요청 (구현)

→ SMTP 서버로 MIME(Multipurpose Internet Mail Extensions)템플릿: 메일 작성을 위한 표준적인 형식

→제목, 본문, 첨부파일 다르게 대량으로 이메일 보내기

개발 시간

개발 가능 범위 확인 및 검토, 파일요청 : 5일

개발 진행 : 약 10 일

개발 소스코드

https://github.com/Areum120/bmwjoymall/tree/main/product_classification

1.convert_to_xlsx ->주문파일.xls ->xlsx 형식으로 변환 2.excel_classification->주문파일 불러와서 업체명 조회하여 각 업체별 주문내역 엑셀 파일 생성 3.create_email_list->생성한 엑셀파일 기준으로 수신자,제목,본문,첨부파일 내용 이메일리스트 작성 4.mailing_auto->이메일리스트로 대량 메일 자동 발송

1.https://github.com/Areum120/bmwjoymall/blob/main/product_classification/convert_to_xlsx.py 2.https://github.com/Areum120/bmwjoymall/blob/main/product_classification/excel_classification.py 3.https://github.com/Areum120/bmwjoymall/blob/main/product_classification/create_email_list.py 4.https://github.com/Areum120/bmwjoymall/blob/main/product_classification/mailing_auto.py

사용법(GUI 완료 → exe 실행파일 개발 진행)

추후 자동화 프로그램을 웹으로 고도화하려면 서버가 필요하므로 서버 없이 어플리케이션 배포방법 필요, GUI 프로그래밍으로 사용자가 프로그램 사용할 수 있도록 인터페이스 개발 중

개발 진행 : 1/17(월)~1/21(금), 2/3~4

GUI app 개발 완료(2/3) → 실행파일 개발 완료 (2/10)

https://github.com/Areum120/bmwjoymall/tree/main/GUI

느낀점

- 틈틈이 풀었던 코딩테스트가 도움이 많이 된 것 같음

- 입사했을 때보다는 프로그래밍 실력이 향상되었음

- 단순 기능 개발보다 사용 유저가 ‘편하게 사용할 수 있도록’ 기능 구현하는 것이 어려움

- GUI 프로그래밍 멀티 스레드 개념이 어려움, GUI 작동 시 이유없이 프로그램 자동 종료되는 문제로 며칠 골머리 앓았는데 예외시 종료 방지 코드로 디버깅할 수 있었음.

- 실행파일 생성에 3~4일 넘게 소요됨, 실행 오류로 디버깅이 어려웠고 경로설정으로 인한 오류 외 다양한 오류가 많았음

pyinstaller exe 실행 파일 만들기 디버깅 에러 해결 과정

디버깅하는 과정은 콘솔로 exe 파일을 만든다음 cmd에서 run.exe 로 실행하였음

많은 사람들이 .spec 파일 명시를 중요하게 다루었으나 정작 .spec 파일은 따로 건드리지 않고 exe 파일 생성하였으니 잘 작동되었음

pyinstaller exe 실행안됨 에러(errors) 들

1. FileNotFoundError: [Errno 2] No such file or directory:

→ 경로 재설정 해결

경로 문제가 제일 빈번했는데 path문제는 루트가 어디로 설정 되어있는지 기본값은 무엇인지부터 시작해야함

2. ImportError: DLL load failed while importing QtCore: 지정된 프로시저를 찾을 수 없습니다.

→ conda update pyqt 로 해결 spec파일의 pathex 경로를 파이썬 bin 경로를 붙여야 하는 줄알았으나 다르게 해결됨

3. this application failed to start because no qt platform plugin could be initialized

→ 시스템 환경변수 경로 추가

변수이름 : QT_QPA_PLATFORM_PLUGIN_PATH

변수값 : C:\Users\workscombine\Desktop\work\bmwjoymall_rpa\project_env\Lib\site-packages\PyQt5\Qt5\plugins\platforms

4. PermissionError: [WinError 5] 액세스가 거부되었습니다: 'C:\\Users\\웍스컴바인\\Desktop\\work\\bmwjoymall_rpa\\dist\\run.exe’

→cmd 명령창 관리자 계정으로 실행하여 명령 실행

5. [Exception: Cannot find existing PyQt5 plugin directories.

Paths checked: C:/Users/·¹º§¿¡ ¸Â/AppData/Roaming/Python/Python39/Site-packages/PyQt5/Qt/plugins]

→ 사용자계정 한글이름 영문으로 변경 후 해결 (참고 블로그 :https://superhky.tistory.com/297 )

많은 분들이 노하우와 정수가 담긴 글을 써주셔서 다행히 많은 문제를 해결할 수 있었다.

용량 줄이는 법

cmd 창에서 python 이라고 치면 anaconda에 설치된 python이 기본 설정으로 나온다

python 3.9를 다운받아서 시스템 환경변수 편집에서 path 설정을 편집 -> 새로만들기로 추가한다

C:\Users\workscombine\AppData\Local\Programs\Python\Python39\Scripts

C:\Users\workscombine\AppData\Local\Programs\Python\Python39

그다음 cmd창에서 python을 쳤을 때 conda가 아닌 새로 설치한 python이 기본설정으로 되어 있는 걸 확인할 수 있다.

그 다음 run.py를 만든 폴더로 들어가 가상환경을 생성해준다

cd project_env/Scripts
activate

생성한 가상환경을 활성화 한 후 cd..로 다시 run.py가 있는 곳으로 가서 exe 실행파일을 생성해준다

pyinstaller -w -F run.py

아나콘다의 python이 활성화 되면 아래에서 Python(conda) 라고 되어 있다.

설치 완료 되니 아나콘다로 exe 파일 생성했을 때는 340MB 였던 파일이 60MB로 줄어들었다.

(참고 블로그:

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=blueqnpfr1&logNo=221582183962)

그외 참고하였던 블로그

https://iamaman.tistory.com/3289

https://blog.winterjung.dev/2017/02/23/pyinstaller

https://tina0430.tistory.com/34

https://netpilgrim.net/1011

https://4uwingnet.tistory.com/4
https://fidelislee.tistory.com/entry/Python-PyQt%EB%A1%9C-GUI-%EC%96%B4%ED%94%8C-%EB%A7%8C%EB%93%A4%EC%96%B4-%EB%B3%B4%EA%B8%B0-22
https://developer-mistive.tistory.com/59
https://blog.daum.net/goodgodgd/30

AWS EC2 PuTTY로 접속 시 System restart required, remote side unexpectedly closed network connection 오류 해결 방법

catloaf — Fri, 31 Dec 2021 10:11:32 +0900

서버를 다른 계정에서 이관 후 SSH키를 새로 생성하여 PuTTygen으로 ppk파일로 변환한뒤

로그인했을 떄 System restart required 메세지가 나타난다

$ sudo reboot

위 명령어를 치면 해결된다고 하는데, 위 명령어를 치니까

remote side unexpectedly closed network connection 라는 경고창이 나타나면서 오류가 났다.

찾아보니 사용자/.ssh 폴더의 Known_hosts라고 기존의 이관전 계정에서 설정했던 파일이 있다.

Known_hosts의 코드와 일부 충돌한거라고 보는데 충돌코드를 삭제하거나, 서버가 하나로만 관리하면

Known_hosts파일을 삭제해도 무방, 삭제 후 재접속하니 오류없이 잘 접속된다.

Argo CD 배포하는 법

catloaf — Tue, 14 Dec 2021 17:04:02 +0900

1. aws ArgoCD 주소로 들어간다

2. ID/Pw 로그인한다.

3. 프로젝트를 클릭한다 (아래 버튼x)

4. 맨오른쪽 Pod 를 눌러서 delete를 누른다

5. 새창이 뜨면 ok를 누른다

소스트리 깃 commit 이전으로 되돌리기 - 용량 큰 파일 push 오류 날 때 커밋 삭제하는 법

catloaf — Wed, 8 Dec 2021 10:26:21 +0900

깃허브는 100mb 이상의 파일을 올리려면 bitbucket에서 LFS 저장소를 생성하여 업로드하는 방법이 있다

하지만 기존의 깃허브 저장소는 100mb 이상의 큰 용량 파일을 올리게 되면 오류가 난다.

이 때 실수로 커밋 후 git add로 스토리지 영역에 올려두었을 때

푸시(Push) 오류가 나면서 다른 변경된 사항도 푸시(push)하지 못하는 난감한 경우가 있다.

방법은 용량이 큰 파일을 commit하기 이전의 commit 커밋 상태로 되돌리면 된다.

즉 git add를 취소하는 것이다.

이전 커밋으로 변경하기 위해서는 git bash 터미널 창을 열어야 한다.

소스트리 창에서 터미널을 열어도 된다

소스트리 오른쪽 맨 위 "터미널"

git bash 창이 열리면 이전의 커밋 기록을 살핀다. n개의 커밋을 돌리는 식으로 명령어를 넣어도 되지만

이전 커밋기록이 많아서 갯수가 헷갈리는 경우 특정 Git code를 지정하여 되돌릴 수 있다.

깃에서 커밋 삭제하는 법

1. git log 입력한다.

$ git log

그러면 이전에 깃에 커밋했던 기록들이 죽 나온다.

만약에 12월 7일 화요일 오후 5시 10분경 "date update" 라고 커밋한

파일 용량이 100mb 이상의 큰 파일이라고 치자.

2. 되돌리고 싶은 git 커밋 코드를 지정한다.

여기서 중요한건 해당 커밋 이전의 상태로 되돌려야 하므로

그 아래 커밋 기록의 코드를 입력해야 한다.

3. git reset --hard 35d3f2388158724bb8f37bb9acf6a6ec3077590a 입력한다.

$ git reset --hard 35d3f2388158724bb8f37bb9acf6a6ec3077590a

--hard 옵션은 현재 HEAD에서 추가된 변경사항들을 모두 되돌려준다.

그러면 오류가 나서 푸시되지 않은 "Push1" 이 사라진다.

만약 스테이지에 올려두고 싶다면 --hard가 아닌 --soft옵션을 사용한다.

$  git reset --soft

코드 입력이 더 번거롭다 하는 경우 위에서 취소하고 싶은 커밋 갯수를 입력하면 된다

$ git reset HEAD~4

위에서 취소하고 싶은 커밋 이전의 커밋 코드를 지정한것과 달리 갯수를 지정할 땐 지우고 싶은 갯수만 지정하면 된다.

지우고 싶은 커밋 포함하여 4개인 것을 확인할 수 있다.

가장 최근의 커밋을 취소하려고 하는 경우 아래 코드를 사용하면 된다.

$ git reset HEAD^

4. git log 와 git status로 현재 상태 점검한다.

이전 기록으로 되돌아간 걸 확인한다면

$  git log --oneline

$ git status

여기서 궁금한 점!

Q. 그러면 그 이후의 커밋 기록은 다 없어지는 건가요?

A. 네 커밋 기록은 없어지지만 변경된 파일 내용은 어디로 도망가지 않습니다. 다른 파일들의 변경사항은 다시 commit 메세지를 생성하면 됩니다.

여기서 문제는 용량이 큰 파일이었으므로 이전 커밋 환경으로 돌아가면 스테이지에 올라가지 않은 파일이

소스트리에 뜹니다.

용량이 큰 파일은 따로 보관하거나 필요없는 경우 삭제해주면 됩니다.

나 같은 경우는 회사컴퓨터가 아닌 개인 컴퓨터에서 깃허브에 미리 푸시(push)해둔 변경사항이 있기에 용량이 큰파일을 삭제 후 깃허브에 Push해놓은 변경사항을 회사컴퓨터에서 다시 Pull을 받으니 내가 원하는 상태가 되었다.

만약 커밋을 이미 푸시(push)해 버렸다면?

git reset은 HEAD 위치를 바꿔버려서 로컬 저장소의 상태를 커밋 이전으로 강제 변경해준다.

하지만 커밋을 협업중인 원격 저장소에 push해버린 경우 로컬 저장소에서 커밋을 취소해버리면 원격 저장소와 상태가 달라져 버린다. 이럴 땐 git revert를 사용해주면 된다.

git reset : 커밋 취소

git revert : 커밋 내용 되돌리기

Mysql 데이터베이스, 테이블 용량 조회하는 법

catloaf — Wed, 8 Dec 2021 09:27:56 +0900

1. 데이터 베이스 용량 조회

"bmwgs" => DB name임

SELECT table_schema "bmwgs",
SUM(data_length + index_length) / 1024 / 1024 "Size(MB)"
FROM information_schema.TABLES
GROUP BY table_schema;

2. 테이블 용량 조회

'car_model_keyword" => table name임

SELECT table_name AS 'car_model_keyword',
                 ROUND(SUM(data_length+index_length)/(1024*1024), 2) AS 'All(MB)',
                 ROUND(data_length/(1024*1024), 2) AS 'Data(MB)',
                 ROUND(index_length/(1024*1024), 2) AS 'Index(MB)'
FROM information_schema.tables
GROUP BY car_model_keyword
ORDER BY data_length DESC;

putty 리눅스 서버 접속, ppk파일로 로그인 하는법

catloaf — Mon, 6 Dec 2021 13:04:12 +0900

1. putty를 설치한다

2. putty를 실행한다

Host Name에 접속 URL을 입력한다 Port는 22 그대로 입력

3. putty key generator를 열어서 Load를 클릭 Type of key to generate는 RSA로 설정

4. dashboard.pem 파일을 연다

4. 아래 창이 나오면 성공

5. Save Private key를 클릭한다

6. 저장하고 싶은 폴더에 파일이름 입력 후 저장 누르면 ppk(putty private key) 파일 생성

7. SSH > Auth > Browse에서 .pem 으로 생성한 ppk파일을 연다

8. open을 누르면 새창이 뜬다

9. id값 입력

(여기서 id는 ubuntu)

10. Glances 입력하면 기본적인 CPU, RAM, NIC, DISK 뿐만 아니라 GPU, Docker Containers 상태까지 모니터링한다.

11/ 23 일기

catloaf — Wed, 24 Nov 2021 09:56:26 +0900

To do

운동하기-> 집에서 요가 매트를 깔고 운동했다 백신 미접종자는 Pcr 검사 또는 백신 접종 후 운동시설을 이용할 수 있다고 한다. 내년에 안전한 백신 나오면 맞을까 했는데 고민이다

learn

이진수를 십진수로 바꾸는 법, 십진수를 이진수로 바꾸는 법, 그리고 비트에 대해서 공부했다

feel

이제 프로젝트 막바지에 도달했다. 데모데이 발표일에 발표자가 잘 발표하고 일주일 기다리면 경과가 나오므로 당분간은 여유가 있을 것 같다. 좀 여유를 가지고 앞으로의 계획을 천천히 생각해볼 필요가 있다

plan

탈잉에서 직장에서의 성과를 잘 표출하는 법, 커뮤니케이션 강좌를 들을 생각이다. 내년 연봉협상에서 유리한 고지를 차지하면서도 만약 협상이 잘 안될 시 이직 계획도 생각해놔야 할 것 같다
포트폴리오는 깃헙 블로그를 만들어서 업데이트를 해야할 지 고민이다