ChatGPT가 뜬 지 몇 달이 지나서, 인터넷에 이것저것 질문하고 업무에도 쓸 수 있는 여러가지 방법들도 올라오고 있습니다. 그 중에 유용한 분야로 문장으로 지시하면 코드를 써주는 기능이 있죠. 챗GPT가 어디까지 복잡한 코드를 이해하고 코딩을 해줄 수 있는지는 모르겠는데, 챗GPT로 코딩을 하려면 인공지능 성능은 둘째치고 먼저 내가 코딩하고자 하는 내용을 문장으로 조리있게 쓰는 것 부터가 일단 시작이죠. 예를 들어 여러 조건문, 클래스, 이벤트 들이 난무하는 작동을 챗GPT로 만들게 하려면 일단 내가 생각하는 작동방식을 문장으로 쭉 풀어서 써줘야 하는데, 일단 그것부터가 어렵겠죠. 하지만 몇몇 분야에 대해서는 챗GPT가 크게 도움이 될만한 부분이 있을 것 같았는데, 바로 데이터 시각화 부분이였습니다...

본 슬라이드는 고등학교 수업에서 통계 및 데이터 분석의 중요성과 사회연구를 위한 통계, 데이터 분석 방법을 이해할 수 있도록 제작한 강의자료입니다. 1,2차시 내용으로 구성되어 있으며, 1차시에서는 통계와 데이터의 개념적인 부분을 설명하고 활용 사례를 소개하며, 2차시에서는 사회조사 및 연구 실습을 위한 설문조사 설계, 통계분석, 데이터 시각화에 관한 기초적인 이론을 설명하였습니다. 강의자료 관련 질문사항이나 의견사항은 이메일로 보내주세요 :) (ellun7@gmail.com) 사회연구 유형 및 설문조사 방법 사회과학에서 연구는 크게 통계적인 방법 등 정량적인 분석을 하는 '양적 연구'와 수치화할 수 없는 고유의 특성을 조사하고 해석하는 '질적 연구'로 분류할 수 있습니다. 통계 및 컴퓨터 기술의 발달로..

본 슬라이드는 고등학교 수업에서 통계 및 데이터 분석의 중요성과 사회연구를 위한 통계, 데이터 분석 방법을 이해할 수 있도록 제작한 강의자료입니다. 1,2차시 내용으로 구성되어 있으며, 1차시에서는 통계와 데이터의 개념적인 부분을 설명하고 활용 사례를 소개하며, 2차시에서는 사회조사 및 연구 실습을 위한 설문조사 설계, 통계분석, 데이터 시각화에 관한 기초적인 이론을 설명하였습니다. 통계의 개념과 필요성 통계는 우리의 TV나 인터넷 속, 공부나 일할 때와 같이 우리의 일상생활 여러 곳에서 접할 수 있습니다. 통계는 표면적으로는 숫자를 나열한 것이지만, 그 숫자는 단순한 수의 양이나 크기가 아니라, 통계가 산출된 기준이라든가 배경지식에 따라서 여러가지 의미를 가지고 해석될 수 있습니다. 그래서 통계자료를 ..

opencv는 c++ 기반의 영상, 이미지 처리 오픈소스 라이브러리로 많이 활용되고 있는데요. 몇 년전부터 딥러닝 기술이 많이 이루어지면서 대용량 데이터 학습 및 처리를 위해 속도 향상을 위해 GPU의 중요성이 올라가고 있어서, opencv 4.2 버전부터는 라이브러리 자체에서 NVIDIA GPU 가속 기술인 cuda를 지원하고 있습니다. 하지만 막상 opencv에서 cuda 가속을 사용하려면 단순히 인터넷이나 서버에서 라이브러리를 다운받아 쓰는 게 아니라, 사용자의 하드웨어 및 개발환경에 맞춰서 라이브러리를 생성하는 빌드(build) 작업을 해주어야 하는데, 이 과정이 꽤 번거로울 뿐 아니라 시간도 엄청 오래 걸리고(2시간 이상) 사용자 컴퓨터에 따라 인터넷을 보고 따라해도 잘 안되는 경우가 많아서 여..

본 슬라이드는 중고등학교 대상 빅데이터 기초 개념을 이해하고 데이터 분석가 진로 강의용으로 제작한 강의자료입니다. 빅데이터의 특징과 인공지능과의 관련성, 그리고 데이터 분석절차, 데이터 분석 사례, 그리고 데이터 분석가 관련 진로에 대해 소개하는 내용으로 구성되어 있습니다. 데이터의 정의와 존재, 그리고 빅데이터의 특징 데이터는 이미 우리 주변에 많이 존재합니다. 스마트폰으로 촬영한 사진에도 사진 이미지 뿐만 아니라 부가적으로 저장되는 데이터가 있으며, 유튜브 영상, 버스도착정보 등 일상생활 중에 마주치는 많은 것들이 데이터로 저장되어 있습니다. 빅데이터는 일반적으로 대량의 데이터를 뜻하지만, 일반적으로 5V(대규모, 다양성, 빠른 속도, 신뢰성, 가치) 중 일부를 지니고 있으면 빅데이터라고 불립니다. ..

본 슬라이드는 고등학생 대상 진로 멘토링 강의용으로 제작한 빅데이터 전문가(데이터 분석가) 직업 소개 자료입니다. 직업 소개와 저의 데이터 분석 및 참여 경험, 관련 전공 및 취업분야와 데이터 분석가가 되기 위한 필요 역량으로 내용이 구성되어있습니다. (2021. 9. 4 / 슬라이드 순서 변경 및 빅데이터 분석,활용 사례 파트를 수정하였습니다.) 빅데이터 전문가(데이터 분석가) 진로 관련 진학 및 취업 방향 빅데이터 전문가는 대량의 데이터를 관리하고 분석하여 의사결정에 도움이 되는 정보를 제공하거나 예측하는 모델을 설계하는 일 등을 하는 직업입니다. 빅데이터 전문가는 기존에 IT와 경영 분야에서 존재하던 데이터베이스 관리자, 통계 및 경영 분석가 등의 직업들이 2010년대 들어 서로 융합되어 탄생한 직..

데이터를 정리하거나 분석할 때 날짜 시간을 기준으로 정렬하거나 비교할 일들이 많은데, 데이터 분석으로 많이 사용하고 있는 파이썬(python)은 날짜 타입이 여러 종류가 있어서 헷갈리기 쉽습니다. 그 이유는 파이썬에서 수학계산이나 데이터 분석을 위해서는 거의 필수로 활용되는 라이브러리인 numpy와 pandas가 자체 데이터 타입을 갖고 있기 때문인데요. 이것들은 기본 파이썬 데이터 타입과 용도는 비슷하지만 기능과 문법에 차이가 있기 때문에, 제대로 구분하지 않고 인터넷에서 검색해서 복사 붙여넣기하면 제대로 작동하지 않는 경우가 많습니다. A. 파이썬 날짜 시간 타입 이해 먼저 파이썬에서 및 numpy, pandas에서 정의된 날짜타입은 아래와 같습니다. 라이브러리 날짜, 시간 클래스 타임델타 클래스 d..

데스크탑이나 노트북, 업무용 PC 등 다양한 컴퓨터 단말에서 프로그램을 개발하려면 소스코드 및 프로젝트에 필요한 파일을 웹 상에 올려놓고 쓸 수 있는 환경을 만들어놓는 것이 거의 필수라고 할 수 있습니다. 이 때 소스코드 버전관리와 웹 공간에 보관 및 배포를 위해 많은 개발자들이 GitHub(깃헙)을 이용하고 있습니다. 원래는 팀 단위 프로젝트에서 서로 코드를 수정하다가 이상하게 꼬이지 않게하기위해 형상관리하는 목적으로 주로 사용되는데, 개인 개발자의 경우에도 일종의 클라우드 저장소처럼 사용할 수도 있고, 손쉽고 체계적으로 코드를 관리할 수 있어서 좋습니다. 깃헙은 'Git'(깃)이라는 관리 프로그램을 기반으로 작동하는데, Git은 원래 콘솔에서 명령어를 타이핑해서 이용하는 방식이라 초보 개발자나 분석가..

- MBTI 성격유형과 평균소득 간 상관관계 첫 번째 글 - MBTI 성격 유형과 평균소득 간 관계에 대한 뇌피셜한 분석 (1) 작년, 재작년쯤 부터 MBTI가 사람 성격을 파악하는 도구로 인기를 끌고 있습니다. 옛날의 혈액형 성격설, 별자리 성격설의 계보를 잇는 듯 한데, 이에따른 비판도 많이 있죠. 비록 MBTI는 과학적 근 ellun.tistory.com - MBTI 성격유형과 평균소득 간 상관관계 두 번째 글 - MBTI 성격 유형과 평균소득 간 관계에 대한 뇌피셜한 분석 (2) - 연령대별 분석 연령대별 성격유형과 평균소득 통계 (연령대별 MBTI 성격유형별 평균소득) 'The Income Effect of Personality Type' 보고서에서 또 다른 흥미로운 점은 연령대별로 세분화한 평..

- 이전 글 - MBTI 성격 유형과 평균소득 간 관계에 대한 뇌피셜한 분석 (1) 작년, 재작년쯤 부터 MBTI가 사람 성격을 파악하는 도구로 인기를 끌고 있습니다. 옛날의 혈액형 성격설, 별자리 성격설의 계보를 잇는 듯 한데, 이에따른 비판도 많이 있죠. 비록 MBTI는 과학적 근 ellun.tistory.com 연령대별 성격유형과 평균소득 통계 (연령대별 MBTI 성격유형별 평균소득) 'The Income Effect of Personality Type' 보고서에서 또 다른 흥미로운 점은 연령대별로 세분화한 평균소득 통계입니다. 이 자료를 통해서 20대, 30대, 40대, 50대 연령대별로 어떤 성격유형이 평균소득 상승에 더 연관성이 높은 지 분석해보았습니다. '1) 연평균 소득 (근사)'는 위의 ..

작년, 재작년쯤 부터 MBTI가 사람 성격을 파악하는 도구로 인기를 끌고 있습니다. 옛날의 혈액형 성격설, 별자리 성격설의 계보를 잇는 듯 한데, 이에따른 비판도 많이 있죠. 비록 MBTI는 과학적 근거가 부족해서 심리학계에서는 인정받고 있지는 못하지만, 어쨌든 경험적, 임상적으로는 어느정도 사람의 성격을 구분하는 척도로 기업, 기관의 경영에 활용하는 등 효과를 나타내고 있기 때문에, 심리학계에서 주로 활용하는 성격지표인 'Big 5'와 별개로 여전히 대중성을 누릴 수 있을 것으로 생각됩니다. 언제부턴가 MBTI 16개 성격유형별 평균소득 순위를 나타내는 위의 짤이 인터넷에 많이 떠돌아 다녔는데요. 생각과는 다르게 아주 근거없는 자료는 아니고, 'Truity Psychometrics LLC'라는 성격검사..

지난 글에서는 대신증권 CybosPlus API로 코스피, 코스닥 전 종목의 과거 주가정보를 가져오는 코드를 만들었습니다. 이번에는 이 코드를 약간만 변형해서 코스피, 코스닥 등 과거 주가지수를 가져오는 코드를 만들어 보겠습니다. 과거 주가지수 불러오기 위해 변경한 코드는 아래와 같으며, 개별 종목 주가 불러오는 코드와 차이점 위주로만 간단히 설명드립니다. ##지수정보 가져오기 (최초 생성) import win32com.client import pandas as pd import time import datetime column_dailychart = ['code', 'section', 'date', 'open', 'high', 'low', 'close'] instStockChart = win32com...

알고리즘 트레이딩이나 주가 분석을 위해서 가장 먼저 할 일이 주식 종목 리스트와 주가정보를 가져오는 것인데요. 주식 종목 리스트에 비해서 주가정보는 데이터 양이나 가져올 항목이 훨씬 많아서 좀 더 신경쓸 점이 많습니다. 주식 데이터를 가져오는 여러가지 방법 중에 저는 대신증권 CybosPlus API를 활용하였는데요. 다른 API에 비해 아래와 같은 장점이 있습니다. 1. 수정주가 제공 주식은 여러 기업의 이벤트들로 인해 액면가나 기준가가 변경되는 경우들이 있습니다. 가장 대표적으로는 2019년의 삼성전자 액면 분할이 있겠고, 그 밖에도 많은 회사들이 증자, 감자, 배당과 같은 사유로 주가등락과는 별도로 주식 가격 자체가 크게 변화하는 경우들이 꽤 있습니다. 이러한 이벤트들이 발생할 경우 주가변화가 연속..

알고리즘 트레이딩이나 주가 분석을 위해서 가장 먼저 할 일이 주식 종목 리스트와 주가정보를 가져오는 것인데요. 주식 데이터를 가져오는 방법으로 API나 크롤링 등 여러가지 방법이 있고, API는 대신증권, 이베스트투자증권, 키움증권이 있습니다. 한두 종목이나 한 달, 몇 달치의 소량 데이터를 가져올 때는 어떤 API를 사용해도 크게 관계없겠으나, 유가증권 전 종목을 몇 년 치 가져오기 올 때는 여러가지 장애들에 부딪치는데요. 대신증권 CybosPlus API가 가져오는 속도나 데이터 가공 용이성 등 여러가지 측면에서 장점이 있어서 과거 데이터를 대량으로 가져올 때 추천합니다. 이번 글에서는 대신증권 CybosPlus API를 활용해서 Python으로 KOSPI, KOSDAQ 전 종목 리스트를 가져오고 C..

작년부터 주식이나 코인에 관심을 갖는 젊은 분들이 많이 늘어난 것 같습니다. 예전에는 주로 40~50대 아저씨들과 만났을 때나 주로 들리던 주제인데, 요즘은 젊은 사람들 사이에서도 많이 얘기가 오가고, 대학교에서도 투자 스터디나 동아리들이 생기고 있다고 하네요. 특히, 요즘 젊은 층의 주식 투자는 예전보다 훨씬 스마트해지고 있는데, 다양한 인공지능을 활용한 투자 서비스를 활용한다든가, 아니면 코딩을 할 줄 아는 사람들은 본인이 직접 주식 데이터를 활용하여 최적의 투자 방법을 수립하거나 주가를 예측하는 알고리즘 트레이딩, 또는 퀀트 방법을 활용하기도 합니다. 알고리즘 트레이딩이나 주식 분석을 하기 위해서 가장 먼저 필요한 것은 바로 과거 주가 데이터입니다. 주가 데이터를 제대로 확보할 수 있는 것에서 부터..

'빅데이터' 키워드 뉴스 트렌드 분석 - 1. 다른 ICT기술과 비교 및 프로세스 트렌드 Introduction ‘빅데이터’란 단어가 주목받은지도 어느덧 6-7년이 되어갑니다. 대용량, 분산처리, 비정형 데이터로 주목받고 서울시 심야버스 노선 데이터 분석으로 대중에 널리 알려졌으며, 공공과.. ellun.tistory.com 4. 빅데이터 특성(5V)에 대한 빈도 분석 이번에는 데이터 및 빅데이터 뉴스기사에 관련 단어들이 얼마나 많이 등장하는 지 추이를 살펴봅니다. 먼저 빅데이터의 특성으로 많이 정의되었던 5V, 즉 Volume(용량,크기), Velocity(성능,속도), Variety(다양), Veracity(신뢰), Value(가치), 다섯 가지 단어의 등장 빈도와 비중을 보면서, 빅데이터와 데이터에..