Video
Paper Search, Learning, and Note-Organizing in the ChatGPT Era (July 2024)
YouTube에서 보기
한국어 요약
이 발표는 2024년 7월 15일 대학원생, 학부 연구생, 문헌고찰 및 학술 글쓰기를 수행하는 연구자를 대상으로 LLM을 활용한 연구자료 검색, 논문 이해, 노트 정리 방법을 설명한다. LLM의 환각 위험을 지적하고, 검증된 학술 데이터베이스와 연결된 검색 도구, 대화형 PDF 리더, 인용 네트워크 분석 도구, 그리고 Zettelkasten 기반의 외부 기억 체계를 제안한다.
핵심 내용
- LLM은 사실 여부를 직접 판정하지 않고 토큰의 확률적 연쇄를 생성하므로, 그럴듯하지만 허위인 설명이나 존재하지 않는 참고문헌을 만들 수 있다. 따라서 일반 목적 LLM을 학술적 사실 확인에 그대로 사용해서는 안 되며, 검색증강생성 또는 전문 검색 에이전트처럼 검증된 자료와 연결된 체계가 필요하다.
- Consensus, Scholar GPT, Scholar AI, Perplexity의 Academic 검색, scite assistant, Elicit 등의 도구는 문헌 검색, 요약, 인용 연결, 연구 결과와 한계의 표 형식 정리, 또는 인용문이 주장과 실제로 부합하는지의 재검토를 지원한다. 도구별로 사용량 제한, 유료 기능, 처리 시간 증가 등의 제약이 있다.
- 발표에서 소개한 Python 및 Streamlit 기반 검색 파이프라인은 PubMed 검색어를 생성하고 NCBI Entrez API로 초록을 검색한 뒤, Claude API를 이용해 주제 관련성을 1에서 9까지 평가하고 세 줄 요약을 생성하여 결과를 필터링하고 순위를 매긴다. 결과 저장과 노트 작성 기능도 포함된다.
- 권장 독자
- 의생명 연구자, 대학원생, 학부 연구생, 문헌고찰과 학술 글쓰기를 수행하는 연구자.
- 범위와 한계
- 이 내용은 발표에서 제시된 도구와 작업 흐름의 설명 및 권고를 요약한 것이며, 도구 간 성능을 통제된 조건에서 비교한 연구 결과는 아니다. LLM 기반 요약과 분류의 정확성은 원문 및 원자료와 대조해야 하며, 도구의 데이터베이스 범위, 유료 접근성, 처리 시간, 인용 검증 수준에 따라 결과가 달라질 수 있다. 발표는 수동적 요약 읽기가 이해의 환상을 만들고 비판적 사고를 약화시킬 수 있다고 지적한다.
- 연구 맥락
- 이 내용은 의생명 연구에서 인공지능 기반 문헌 검색, 정보 검증, 지식 관리, 데이터 중심 연구 지원이라는 주제와 연결된다.
English summary
Presented on July 15, 2024, this talk describes LLM assisted methods for literature searching, paper comprehension, and note organization for graduate students, undergraduate researchers, and researchers conducting reviews and academic writing. It emphasizes hallucination risks and discusses database connected search tools, interactive PDF readers, citation network tools, and a Zettelkasten based external memory system.
Key points
- LLMs generate probabilistic sequences of tokens rather than directly determining whether a statement is true, so they may produce plausible but false explanations or nonexistent references. General purpose LLMs should therefore not be used without verification for scholarly fact checking; systems connected to verified sources through retrieval augmented generation or specialized search agents are needed.
- Consensus, Scholar GPT, Scholar AI, Perplexity Academic search, scite assistant, and Elicit are described as supporting literature retrieval, synthesis, citation linking, structured extraction of findings and limitations, or reassessment of whether cited sources support a generated claim. The tools differ in usage limits, paid features, and processing time.
- The presentation's Python and Streamlit literature search pipeline generates PubMed search terms, retrieves abstracts through the NCBI Entrez API, uses the Claude API to score topic relevance on a 1 to 9 scale and produce three line summaries, and displays filtered and ranked results with note saving functions.
- Audience
- Biomedical researchers, graduate students, undergraduate research students, and researchers conducting literature reviews or academic writing.
- Scope and limitations
- This summary reports the presentation's descriptions and recommendations rather than results from a controlled comparison of the tools. The accuracy of LLM based summaries and classifications requires checking against the original papers and source data, and results may vary with database coverage, paid access, processing time, and the level of citation verification. The presentation also warns that passively reading generated summaries can create an illusion of understanding and may weaken critical thinking.
- Research context
- The content is thematically connected to artificial intelligence assisted literature retrieval, information verification, knowledge management, and data oriented support for biomedical research.
AI-assisted summary based on the cited primary source. Model gpt-5.6-luna, prompt academic-hub-v2, generated 2026-08-29T03:41:07+00:00.