1. 정형화 및 내재화 되어 있는 테스트 프로세스가 없어서 모든 테스트 케이스를 자동화하면 망하는 사례
현재 우리 회사 : 빌드를 시도 때도 없이 자주 내려줌 —> 매일 반복적인 테스트만 겨우겨우 하고 있음
이상황에서 테스트 자동화를 적용하려 할때…
난관 어느 부분까지 적용해야 할까
테스트 자동화는 자동화 할수있는 영역과 없는 여역
—————
1. 자동화 테스트 프로세스 정형화
2. 대대적인 GUI 변경으로 인하여 현재까지 개발이 완료된 스크립트들은 모두 버려져야 함
끄적끄적
릴리즈 노트 빌드 노트 등등
jenkins 사용법
1. 테스트 자동화가 기본적으로 갖춰야 할 틀인 자동화 프레임웍에 대해서
nhn 테스트고도화 팀 - NTS
mongoDB : jmeter 2.11
hadoop : 플러그인 추가
plugin 구조로 되어 있어 확장 가능 —> 가장 좋음
tomcat 7, 8에서 websocket 프로토콜 지원 가능
http recording이 가능
브라우저의 프록시 서버 설정을 통해서
ui 테스트 가능
jenkins와 jmeter 연동이 가능?
성능테스트자동화
jenkins 와 grinder 연동 가능?
응답시간을 서버 time과 network time으로 나눌수있다
latency time —> 첫번째 버퍼가 왔을때
나머지 두번째 부터 마지막 까지 왔을때를 네트워크 타입
소프트웨어 품질
크게 2가지 : Functional (소프트웨어가 무슨 what 동작을 하느냐) / nonFunctional (어떻게 how 동작을 하느냐)
non functional : 코드 품질 관리로 가능
품질 관리 하면 생각나는 것은 : 가장 많이 하는것은 코드리뷰
코드 품질 관리는 개발자 부터 시작하는것이 맞다
현재 코드리뷰의 목적을 잘 달성하고 있는가?
코드리뷰는 바로바로 해야 하는데.. 현실에서는 쉽지 않다
이유는 리뷰할 시간이 없다 리뷰하는 사람이 해주겠지라고 생각함
잘 돌아가면 그냥 릴리즈해
왜 이렇게 제대로 되지 않는가?
눈에 보이지 않는 코드 품질을 보여줘야 한다.
그럼 실제로 눈으로 보이지 않는 코드를 그럼 관리해보자 그리고 품질을 높혀보자
그 툴로 대표적으로 sonarqube가 있는데…
기존의 정적분석 도구는 시간에 따른 버그의 추이 여러 프로젝트의 결과의 비교를 보여주지 못한다. 단발성으로만 결과를 보여주는데 이것은 플랫폼 즉, 결과 관리, 추적, 비교 등등이 가능하기때문에 플랫폼이라고 부를수있다.
소나큐브는 프로파일을 통해서 일관된 품질 관리 가능
기준에 만족하지 못하면 그에대한 노티 및 다시 개발을 요청 등이 가능 : Quality gate
개발 언어의 장벽을 많이 해결해줌
소나큐브가 코드 품질을 관리하는 기준으로 7가지가 있다
이런 요소들을 각 소스파일이나 프로젝트에 퀄리티 프로파일이라는 룰 셋을 만들어서 적용할수있다.
쿼트 gate를 통해서 품질 관리 종료등을 관리할수있다.
find bug 등의 결과와 같은 결과를 얻을수있음 (같은 소스로 구현됨)
플러그인을 통한 기능 확장 가능
metrics : 품질결과를 수치적으로 관리
developer tools : 플러그인을 개발할수있는
gevernance
languages : 한국어는 없음
localization :
visualization / reportin : 품질 결과 시각화
developer’s seven deadly sins: 7가지 실수 항목에 맵핑시켜서 관리
1. 적절하지 않은 아키텍처ㅗ아 설계
코드 복잡도를 계산하는 매트릭스중 하나 : cyclometric complicity
2. 중복코드 관리
3. 단위테스트 : tdd 개념 테스트 코드를 먼저 만들어야 한다…는 생각에서 관리
4. 코드 복잡도 관리 :
5. 잠재적인 발생 가능성 있는 버그 : 코딩 룰
드릴 다운 피처 : 파일 단위단위에 대한 검증 가능
공수산정 : 코드 품질을 상향시키는데 걸리는 공수 계싼가능 커스터마이징 가능
6. 널리 알려진 코딩 표준 : 25 개 정도의 툴과 연동이 가능
7. 주석 관리 : public class에 대한 주석 관리
코드 품질의 위의 7가지 항목으로 봐야 한다.
더 집중화된 품질을 관리하기 위해서는
품질 프로파일
한줄 하줄이 코딩 룰 —> 각 프로젝트에 맞게 잘 조합해서 사용가능
프로파일이라고 하는 룰 셋을 만듬
threadhold 값을 가지고 통화했는지 종료 여부 판단가능
현재 좋은 상태로 가는지 나쁜상태로 가는지 확인가능 : 트렌드 정보를 통해
지금부터는 소나큐브를 실제로 돌려보자
ci로 사용되는 jenkins 와 어떻게 통합되는지
먼저 소스
jenkins를 통해서 코드 빌드시 소나를 통해 코드 리뷰
빌드시작 —> 단위테스트 후 빌드시 소나큐브를 부름 —> 빌드 하면서 바로 코드 품질 확인 —> 그 결과는 소나 서버에 떨어짐 —> 정적분석이 완료되면 빌드 성공
코드 프로파일 = 룰
심각도도 조정가능
설명 및 해당 룰을 위반하지 않게 하려면 어떻게 코드를 작성해야 하는지 가이드
플러그인 센터를 통해서 플러그인 관리 추가 가능
중점 : 지속적인 통합환경 활용 / drill-dow
상용도구와 오픈소스 도구
Fauls positive/ nagative
정적분석 프로세스의 어려움
—> 개잘자의 능력을 판단하는 문화는 피해야 함
—> 사람이 항상 개입해야 한다.
