我用Python爬了10万条招聘数据，发现了这些趋势

# 我用Python爬了10万条招聘数据，发现了这些趋势 ## 前言 每年都在讨论“Java已死”、“Python是未来”，不如用数据说话。我花了一周时间爬取了主流招聘网站的10万+开发者岗位数据。 ## 爬虫实现 ```python import requests from bs4 import BeautifulSoup import time def crawl_jobs(keyword, page=1): url = 'https://www.example.com/search' params = {'keyword': keyword, 'page': page, 'city': '全国'} headers = {'User-Agent': 'Mozilla/5.0 ...'} resp = requests.get(url, params=params, headers=headers) soup = BeautifulSoup(resp.text, 'html.parser') jobs = [] for item in soup.select('.job-item'): job = { 'title': item.select_one('.job-title').text.strip(), 'salary': item.select_one('.salary').text.strip(), 'company': item.select_one('.company').text.strip(), } jobs.append(job) time.sleep(1) # 礼貌爬取 return jobs ``` ## 数据清洗 ```python import pandas as pd df = pd.read_csv('raw_jobs.csv') def parse_salary(s): s = s.replace('K', '').replace('k', '') parts = s.split('-') if len(parts) == 2: return (float(parts[0]) + float(parts[1])) / 2 return None df['avg_salary'] = df['salary'].apply(parse_salary) df = df.dropna(subset=['avg_salary']) ``` ## 数据分析 | 技术栈 | 岗位数 | 平均薪资(K) | |--------|--------|-------------| | Java | 28,340 | 22.5 | | Python | 18,220 | 24.8 | | Go | 12,450 | 28.3 | | JavaScript | 15,670 | 19.2 | | Rust | 2,180 | 32.5 | ## 踩坑 > 1. 爬取频率太快被封IP，建议加代理池 > 2. 不同城市的薪资差异很大，分析时要考虑城市因素 > 3. 很多岗位标题党，“Java开发”实际上要求全栈 ```python import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] languages = ['Java', 'Python', 'Go', 'JS', 'Rust'] salaries = [22.5, 24.8, 28.3, 19.2, 32.5] plt.bar(languages, salaries) plt.title('各技术栈平均薪资对比') plt.ylabel('平均薪资 (K)') plt.savefig('salary_comparison.png', dpi=150) ``` ## 趋势总结 1. **Java依然是岗位最多的**，但Go和Rust薪资溢价明显 2. **AI相关岗位增长最快**，同比增长45% 3. 远程办公岗位占比12%，比去年翻了一倍 4. 大厂和中小厂薪资差距在缩小